Dienstag, 16. April 2024, 14:02 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Lieber Besucher, herzlich willkommen bei: INVESTOX-Forum. Falls dies Ihr erster Besuch auf dieser Seite ist, lesen Sie sich bitte die Hilfe durch. Dort wird Ihnen die Bedienung dieser Seite näher erläutert. Darüber hinaus sollten Sie sich registrieren, um alle Funktionen dieser Seite nutzen zu können. Benutzen Sie das Registrierungsformular, um sich zu registrieren oder informieren Sie sich ausführlich über den Registrierungsvorgang. Falls Sie sich bereits zu einem früheren Zeitpunkt registriert haben, können Sie sich hier anmelden.

LoboTrader Männlich

Fortgeschrittener

Registrierungsdatum: 13. Oktober 2012

Beiträge: 118

Wohnort: BW

1

Freitag, 4. Oktober 2013, 17:31

Verarbeitung langer Historie mit kleinen Kompressionen : Tickdaten versus Kombinations-Titel versus Berechnungs-Titel

Hallo

Referenz zum Thema : Kombititel vs. Einzelkontrakt

Ziel : Es soll ein HS über max 10 Jahre hinweg getestet werden . Das HS basiert in der kleinsten Kompression auf MIN1 nutzt aber auch die MIN5 , MIN15 und MIN30 (Es läuft bei mir
heute bereits im MT4 , ich ahne aber viele Optimierungsmöglichkeiten, die ich mit INV nun gerne realisieren will .) Also 8 Dateien , 4 kurze und 4 lange , mit unterschiedlichen Komp .
Diese werde ich in den nächsten Monaten sehr häufig immer wieder benötigen . Zu Beginn arbeite ich mit "kurzen" Dateien, nur ein Jahr Historie sollen für die ersten Test reichen .
Wenn das HS halbwegs steht, dann muss der Zeitraum schließlich erweitert werden (5 bis max 10 Jahre )

Auch werde ich diese Historien einmal in der Woche oder im Monat aktualisieren wollen .

Zur Einarbeitung und Vorbereitung (wie das in INV geht) :

1.) Aus meinem TPRT Abbo habe ich mir zum Beginn 15 Monate Tickdaten gezogen . 335 Mio Tick in 5 GB == meine vorläufige "MASTER-Datei" (die ich aber später dann , wenn ich weiss wie alles funktionieren soll , auf die "10" Jahre noch zu erweitern habe) . Für die Entwicklung werde ich vielfach auf alle Kompressionen zurückgreifen, also bereite ich die komprimierten Kurse vor . Die restlichen Jahre ziehe ich (soweit denn überhaupt bei Taipan vorhanden) wenn der grundsätzliche Weg klar ist .
2.) Nun konvertiere ich diese 5GB-Datei, die sich im RTT Ordner befindet . Dazu nutze ich einen Berechnungstitel (BT) . Ich beginne mit dem MIN1 und MIN5 (die anderen Kompressionen folgen später) . Die BT lassen sich sehr einfach erstellen : Man eröffnet den Berechnungsdialog , gibt die jeweilige Kompression an , legt dann den Titel im RTT fest und setzt in der Berechnung dann Close=Close, H=H , L=L und O=O . Volumen ist N/A, Def´s gibt es keine . Mit dieser Angabe berechnet INV sich automatisch die Kurse in der gewünschten Kompression aus der MASTER-Datei UND speichert diese dann im Ordner "Berechnungen" auch ab . Meine Datei im MIN1 wird gute 12 MB groß, die im MIN5 nur noch 2,5 MB . Deutliche Reduzierung . Dramatischer Zeitvorteil.
3.) Nach 2 Wochen Lektüre im Forum und im Buch bin ich unsicher, wann genau der Kombinations-Titel (KT) und wann der BT zu verwenden ist . Aber ich denke, dass ich das heute nun gelernt habe . Um Sicherheit für mich zu haben und nachfolgenden Generationen INV´ler das Leben etwas leichter zu mache dieser Thread : Genau wie vorher beim BT setze ich nun den KT ein und das klappt auch wunderbar. Einziger Unterschied : Die KT werden nicht auf dem Rechner gespeichert sondern lediglich im Titelcache zwischengespeichert . Sobald dieser geleert wird (multiple Gründe dafür, dass das immer wieder geschieht) muss der jeweilige KT immer wieder neu berechnet werden . Bei meiner MASTER-Datei ca 6 Minuten lang und das trotz SSD . Indiskutabel lang für den häufigen Gebrauch .
4.) Wenn ich also mein Ziel bequem erreichen will, dann muss ich für meine Arbeit BT´s nutzen und keine KT´s ! Stimmt das in meinem konkreten Fall - 10 Jahre eine Minute - so , lieber INV-erfahrene Leser ?
5.) Aber den KT benötige ich , um die langen BT´s (5 ...10 Jahre) zu erstellen .
5.1.)Zuerst lade ich meine großen MASTER-Dateien. Das werden dann für einen Titel und 10 Jahre Ticks (WENN es die denn überhaupt gibt, bei TP) schlappe 50 GB , ganz grob. Ich würde mir 10 einzelne Dateien downloaden , jede 5 GB .
5.2.) Mit BT konvertiere ich diese 10 großen Dateien in 10 BT´s (jede dann etwa 12 MB) und dann jeweils in die 4 Kompressionen die ich eben benötige .
5.3.) Mit den KT nun kombiniere ich 4 Sätze mit je 10 BT einmalig zu 4 einzelnen KT .
5.4.) Ausschließlich zur Speicherung, zum dauerhaften Verbleib auf meinem Rechner , konvertiere ich dann diesen KT in einen BT . Denn dieser wird ja wieder im Ordner Berechnungen abgespeichert .

?(
Ist das so richtig und ist das der effizienteste Weg ? Und zum Aktualisieren spule ich durch diese Schritte - aber eben nur für das aktuelle Jahr - einmal komplett durch diesen Prozess hindurch , es gibt keinen Shortcut ?
Auch habe ich keinen Weg gefunden, mir von TPRT komprimierte Historien dieser Größe(mehrere Jahre) zu laden und dann v.a. auch zu speichern . Das war mein erster Versuch, logischerweise, aber schon vor 2 Wochen . Oder habe ich da einen Fehler gemacht ?

:love:
Vielen Dank für das "bis hierher gelesen und mit durchdacht zu haben", vielen Dank für eventuelle Antworten die mich bestätigen oder mir Tips geben .

Schönes Wochenende und freundliche Grüße
der Lobo

PS.: Zu Beginn habe ich bei meinen Bemühungen, die Rechnerzeit zu minimieren, so ziemlich an sämtlichen Knöpfchen des "Einstellung INVESTOX- anpassen gedreht" , an denen man so drehen konnte . Die "maximale Anzahl Perioden nach Komprimierung" habe ich dann seit heute wieder hoch genommen , für 15 Monate auf 500.000 Minuten ist einfach besser als 32.000 . Da hat mir der Thread, den ich oben verlinkt habe, dann doch SEHR geholfen ;)
Do not trade alone ....

hd40307g

unregistriert

2

Samstag, 5. Oktober 2013, 10:30


Hallo Lobo,
deine Zeit und Größenangaben der Tick-Datei kamen mir etwas arg groß vor, sodass ich meinen TPRT-FDAX Kontrakt auf Tick-Basis ab 1.5.2012 eingelesen habe, Dieser ist insgesamt nur 2,5 GB gross. Das Einlesen dauerte ca. 2 Minuten mit einem I7-NB mit SSD 840pro.

Welches Underlying verwendest du denn, dass du so gigantische Daten-Volumina erhälst, den EURUSD? Das ist bei mir die größte Datei mit 16,6 GB bei TPRT.
Ich komme seit nunmehr 13 Jahren ohne die Verwendung von Kombititeln aus, BT Verwende ich primär für SIMU-HSe...

Das Einlesen der 16,6 GB mit 1,066 Milliarden Ticks dauerte exakt 9 Minuten auf 1 Minuten Komp. Diese Datei reicht ebenfalls zurück bis zum Mai 2002 und dürfte so ziemlich das Umfangreichste sein, was TPRT im Intradaybereich zu bieten hat. Du siehst, es geht alles auch ohne Kombi-Titel. Nur im GC-Bereich verwende ich diese, da es so bequemer ist, die diversen TPRT-Titel zusammenzuwürfeln...


Die 500 Millionen-Grenze für die Tick-Zahl wurde ja von Herrn Knöpfel in einem der letzten Updates auf 1 Milliarde angehoben. Wie man sieht geht auch noch ein wenig mehr...
:thumbup:


Viele Grüsse,
Frieder

Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von »hd40307g« (5. Oktober 2013, 11:02)


LoboTrader Männlich

Fortgeschrittener

Registrierungsdatum: 13. Oktober 2012

Beiträge: 118

Wohnort: BW

3

Samstag, 5. Oktober 2013, 11:34

Guten Morgen , Frieder

habe Dank für Deine freundliche Unterstützung .

Vorab sei erwähnt, dass ich nicht auf 13 Jahre sondern nur auf 2 Monate Erfahrung mit INVESTOX zurückblicke . Durchaus möglich , wenn nicht sogar wahrscheinlich, dass ich irgendeinen dummen Anfängerfehler (in Bezug auf die Softeware) mache . An genug Knöpfen habe ich bereits gedreht um vielleicht etwas verstellt zu haben, ohne die Auswirkungen überblicken zu können . Andererseits arbeite ich gerne und seit Jahren an PC und Software und an diesem speziellen Problem sind nun schon 2 Wochen Freizeit investiert .

Wir nutzen diesselbe SSD , 2 Dual Core 2,3 GHz , Win7 & WLAN

Richtig, die Datei ist der EURUSD im Tick importiert :

Es sind die Tickdaten ab dem 2.7.2012 , 15 Monate etwa . Ich habe nicht herausgefunden, wie ich mir von TPRT die Kompression MIN1 laden und dauerhaft auf dem Rechner speichern kann . Im RTT habe ich keine Möglichkeiten gefunden, die Kompression zu wählen . Soweit ich im Forum gesucht und gefunden habe, geht es wohl nicht . Vielmehr muss man die Tickdaten downloaden und dann in Kompessionen konvertieren . Daher kam ich auch auf die Verwendung von BT und KT, auch dazu finden sich eine Reihe von Posts/Threads hier im Forum . Soweit mein aktuelles Verständnis .

Mein Ziel ist es ja, Historieen im MIN1 und höher zuerst für gut ein Jahr und später dann für max 10 Jahre zu haben . Diese sind die Grundlage für die eigentliche Entwicklung .

Freundliche Grüße
Lobo
Do not trade alone ....

hd40307g

unregistriert

4

Samstag, 5. Oktober 2013, 11:49

Hi Lobo,
ich habe dir eine Boardmail gesendet
Frieder

Investox

Administrator

Registrierungsdatum: 31. August 2002

Beiträge: 5 680

5

Samstag, 5. Oktober 2013, 15:55

Hallo,

siehe auch: http://investox.de/FAQ/FAQDaten.htm#VomServerladen

Viele Grüße
Andreas Knöpfel

LoboTrader Männlich

Fortgeschrittener

Registrierungsdatum: 13. Oktober 2012

Beiträge: 118

Wohnort: BW

6

Samstag, 5. Oktober 2013, 17:30

Hallo Frieder

nochmals vielen Dank für Deine Hilfestellung . Es freut mich , dass BT offensichtlich der richtige Weg sind .

Wichtig auch der Hinweis auf den Intradaystop und das Feature des Simu-Trader, der mich die Funktionalität des HS überprüfen läßt. Damit kann ich sicherstellen , dass der Ersatz der Ticks durch die MIN-Bars die Funktionalität meines HS nicht negativ beeinflußt . Bzw. wie die Funktionalität beeinflußt wird , wenn eben nur zur O oder C der Kerze gehandelt wird .

Deinem wichtigen Hinweis auf die Größe meiner Historie ( ich 5 GB für 15 Monate EURUSD versus 13 Jahre FDAX in 16,6 GB) folgend , habe ich die Parameter in RTT genauer durchgesehen , den Dateninspektor zu Rate gezogen und viele gleiche Ticks ohne Umsatz gefunden "gleiche Ticks mit 0-Volumen zusammenfassen" ergibt eine fast 50%-ige Reduzierung der Dateigröße .


Freundliche Grüße
Lobo
Do not trade alone ....

LoboTrader Männlich

Fortgeschrittener

Registrierungsdatum: 13. Oktober 2012

Beiträge: 118

Wohnort: BW

7

Samstag, 5. Oktober 2013, 18:21

Hallo,

siehe auch: http://investox.de/FAQ/FAQDaten.htm#VomServerladen

Viele Grüße
Andreas Knöpfel
Vielen Dank , Hr.Knöpfel :

das Feature , sich die Daten direkt online in der Kompression zu laden, so , wie man sie im Moment gerade braucht , ist natürlich sehr praktisch und effizient . Soweit ich gesehen habe, werden diese Daten ebenfalls im Titelcache gespeichert und können nicht gespeichert werden ( EDIT 6.10 Vielleicht mag das Abspeichern dieser Daten eine spätere sinnvolle Ergänzung sein, denn dann könnte in Folge auch Offline schön mit diesen Daten arbeiten ? Nicht nötig, BT´s funktionieren ganz hervorragend. Habe jetzt in wenigen Minuten ganze Titellisten konvertiert, das reicht völlig. Ende EDIT) .


Freundliche Grüße
Lobo
Do not trade alone ....

Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von »LoboTrader« (6. Oktober 2013, 11:23)