INVESTOX-Forum

Zitat

Original von Thomas

Im Grunde genommen wird mit der Auswahl einzelner Handelssysteme aus einer großen Menge sowieso nichts gewonnen. Wer 50 Handelssysteme erstellt hat zwangsläufig 3 gute dabei, selbst wenn er die Strickmuster seiner Oma als Input verarbeitet hat.

Trial and Error bringt überhaupt nichts. Leider.

So sehe ich das auch, ganz genau so.
Das bedeutet aber auch:
Wer immer nur ein System nimmt, sei es aus dem Kontrollzeitraum oder sonstwo her, um dann bei seinen selbstgewählten "Out-of-Sample" -Zeiträumen auf gute Performance zu stoßen, begeht denselben Denkfehler, wie jener, der gleich das beste System aus dem Kontrollzeitraum selektiert.

Zitat

Original von testeritis
Das bedeutet aber auch:
Wer immer nur ein System nimmt, sei es aus dem Kontrollzeitraum oder sonstwo her, um dann bei seinen selbstgewählten "Out-of-Sample" -Zeiträumen auf gute Performance zu stoßen, begeht denselben Denkfehler, wie jener, der gleich das beste System aus dem Kontrollzeitraum selektiert.

Du meinst, weil eine einzige Stichprobe nicht statistisch signifikant wäre?

Als ich eben den Beitrag schrieb habe ich auch darüber nachgedacht ob man stattdessen lieber mehrere Generationen mit dem Out-Of-Sample Bereich vergleichen sollte. Doch auch dies ist nicht immer sinnvoll. in Abhängigkeit der Konstruktion und Optimierung können NN's sehr unterschiedliche Generationen hervorbringen. Bei GA Optimierung verändert sich sogar die Zahl der Inputs.

Eine echte Lösung gibt's wohl nicht. Man sollte sich immer bewusst sein, dass Backtesting nichts über die Zukunft aussagen muss.

Bezogen auf einzelne Parameter hat der Robustheitstest etwas.

Zitat

Original von Thomas

Du meinst, weil eine einzige Stichprobe nicht statistisch signifikant wäre?

Ich meinte eher, dass es genauso wenig zielführend ist, wenn die GA die besten HS aus 50 HS per Parametersuche ermitteln, wie das Vergleichen eines beliebigen HS mit 50 Out-of-Sample-Zeiträumen.

Zitat

Eine echte Lösung gibt's wohl nicht. Man sollte sich immer bewusst sein, dass Backtesting nichts über die Zukunft aussagen muss.

[/quote]

D´accord. Bleibt die Frage: Kann Backtesting das überhaupt?

Beste Grüße
Bernd2

Zitat

Original von testeritis
Ich meinte eher, dass es genauso wenig zielführend ist, wenn die GA die besten HS aus 50 HS per Parametersuche ermitteln, wie das Vergleichen eines beliebigen HS mit 50 Out-of-Sample-Zeiträumen.

Da bin ich voll und ganz einer Meinung mit dir.

Zitat

Original von testeritisD´accord. Bleibt die Frage: Kann Backtesting das überhaupt?

In die Zukunft sehen natürlich nicht. Trotzdem soll es Marktcharakteristiken geben, die seit bestehen der Märkte konstant sind. Andere Phänomene sind zumindest über Jahrzehnte konstant. Wenn ich heute noch einmal ein NN trainieren würde, würde ich ganz anders ran gehen (was nicht heißt dass ich erfolgreicher wäre).

Die Kernfrage ist ob man sich überhaupt damit beschäftigen sollte wohin der Markt geht. Faktisch scheint noch niemand dieses Problem gelöst zu haben. Es gibt jedoch Leute, die trotzdem Geld verdienen, auch wenn es nicht sehr viele sind. Die Lösung des Rätsels könnte folglich darin bestehen die Risiken zu minimieren und gleichzeitig Potentiale voll auszuschöpfen. Wenn das gelingt wird man auch mit einem Random Entry noch gutes Geld verdienen.

Hallo testeris,

Zitat

Frage: Was meinst Du genau mit Kontrollzeitraum als Bewertungszeitraum "einstellen"? Die generelle Verwendung als Selektionskriterium für die Güte des HS, vermute ich.

der Bewertungszeitraum wird in den Trainingsbedingungen des NN eingestellt, hat also mit dem HS erst einmal nichts zu tun.

Zitat

Frage: Was genau meinst Du mit "Handelsschwellen"?

Der Output des NN oszilliert um einen Mittelwert, bei Roc also um Null.
Es gibt Leute, die den Nulldurchgang in den Entry/Exitbedingungen als Handelsschwelle einstellen. Dies halte ich für wenig sinnvoll. Wenn mein NN-Output die ROC in 3 Perioden darstellt, so bedeutet ja der Nulldurchgang eine Prognose von 0. Weshalb sollte ich da eine Position eingehen.

Zu den Varianten 1 - 4 soviel,
ich (ich betone ich, andere können es halten wie sie wollen) schaue mir nur den Optimierungszeitraum an, den Zeitraum, in dem das NN und auch das HS die Kurse kennt. Dort suche ich mir ein gutes und wenn dann das Ergebnis im KZ auch gut ist, so ist es i.O. Ansonsten gehe ich davon aus, das das NN nicht ausreichend gut generalisiert hat.

Viele Grüße
Fritz