Samstag, 27. April 2024, 11:19 UTC+2

Sie sind nicht angemeldet.

  • Anmelden
  • Registrieren

Dago

unregistriert

1

Mittwoch, 16. September 2009, 15:53

Inputinitialisierung

Hallo zusammen,
eine rein akademische Frage: Wenn bei der Initialisierung eines NN vor dem Training alle Inputs die gleiche Gewichtung bekämen, würde dann jedes Trainig gleich ausfallen? (vorausgesetzt man trainiert nur eine Generation ohne GA-Optimierung)
Viele Grüße

Bernd

Experte

Registrierungsdatum: 5. Juni 2005

Beiträge: 4 071

Wohnort: Iringsweg

2

Mittwoch, 16. September 2009, 17:48

Nein. Siehe Doku Training, Schritt 6 Optionen zum Training festlegen.
Gruss
Bernd

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

3

Donnerstag, 17. September 2009, 09:08

Hallo Dago,

Backprop arbeitet mit dem Gradientenabstiegsverfahren das nach folgenden Schema funktioniert:

Start: zufällig gewählte Gewichtskombination

Das Gradientenabstiegsverfahren startet mit einer zufällig gewählten Gewichtskombination. Für diese wird der Gradient bestimmt und um eine vorgegebene Länge - der Lernrate - hinabgestiegen, sprich die Gewichte werden entsprechend verändert. Der Gradient kann dabei definiert werden als eine Funktion eines Skalarfeldes, welche die Änderungsrate und Richtung der größten Änderung in Form eines Vektorfeldes angibt.

Ende: Erreichen eines lokalen Minimums oder der maximalen Anzahl von Zyklen


Für die neu erhaltene Gewichtskombination wird wiederum der Gradient bestimmt und abermals eine Modifikation der Gewichte vorgenommen. Dieses Verfahren wiederholt sich solange, bis ein lokales Minimum (bzw. globales Minimum) erreicht ist oder eine zuvor festgelegte maximale Anzahl von Wiederholungen erreicht worden ist.

Aufgrund der zufällig gewählten Gewichtskombination werden die Karten jedes mal neu "gemischt". Das erschwert u.a. das nachtrainieren in gewisser weise und macht einen Feed-Forward im Rahmen des überwachten Lernens unmöglich-um auch noch mal das Thema anzusprechen! Noch drastischer wir es bei einer Netzstruktur beide Anzahl der Samples vorgegeben wurde (Crossvalidation)!
Happy Trading

Dago

unregistriert

4

Donnerstag, 17. September 2009, 13:41

Hallo Udo,
vielen Dank für die ausführliche Antwort. Ich habs mir schon fast gedacht, daß es nicht nur an der zufälligen Gewichtung hängt, wenn immer unterschiedliche Trainingsergebnisse herauskommen. Einerseits ist es damit natürlich schwierig Inputs auszutesten, die gut generalisieren, andererseits ist man auf der sichereren Seite, wenn man Inputs gefunden hat, deren Generalisierungsfähigkeit von keiner NN-Generation verdorben werden kann.
Eine weitere Herausforderung besteht in einem vernünftigen RM: Wie groß ist die Chance, daß eine gewählte Generation stabil weiterläuft? Selbst wenn man den Aufwand auf sich nimmt und nur 100 Testläufe macht, sind es immer noch zu wenig, um aussagekräftige Zahlen zu bekommen. Hier würde ein Feed-Forward-Test gekoppelt mit einem passenden Trainigsverfahren wirklich jede Menge Erleichterung mit sich bringen.
Viele Grüße

Registrierungsdatum: 30. August 2002

Beiträge: 8 155

Wohnort: Trade-Planet

5

Donnerstag, 17. September 2009, 15:12

Hallo Dago

Eine weitere Herausforderung besteht in einem vernünftigen RM: Wie groß ist die Chance, daß eine gewählte Generation stabil weiterläuft?


Who knows? :) Verfahren die den Einbruch der Kapitalkurve zuverlässig "vorher sehen" habe ich bislang leider nicht konstruieren können-sonst hätte ich sie verkauft und vom Erlös gelebt.. 8o

Spaß beiseite, das NN neigt imho immer ein bisschen zum Curve Fitting. Manche NNs halten sehr lange,andere wiederum nur ganz kurz. Das hat viele Hintergründe deren Ursache man mal in spezifischen Threads besprechen müsste. Das Backprop-Verfahren lebt von der Aufbereitung und Qualität der Inputs und weniger von der Anzahl der Schichten oder sonstigen Einstellungsmöglichkeiten. Stabile Netze erkennt man primär und ohne großartige mathematisch/statistische Hilfe daran, das wenn man sie 20 mal und mehr hintereinander trainiert die Kapitalkurve nicht erheblich zu den vorgehenden Steigungen Out of Sample abweicht! Trainiert man das NN beispielsweise 20 mal und 10 mal sind die Ergebnisse im umgesetzten HS gut,aber 10 mal macht es die Grätsche sollte man mit einem Wackelkanidaten rechnen! Dementsprechend straff sollte das Risiko beachtet werden! NN sind relativ gut wenn es darum geht große Portfolios zu managen um Synergien im Intermarket-Handel aufzudecken,die man diskretionär nicht als solche erkennt, wenn man erfahrungsgemäß nicht wüsste,das die Märkte "nichtlinear" gekoppelt sind! Das kann man sehr einfach selber testen: Lege 5 Indices übereinander und versuche nicht lineare Korrelationen und die Verknüpfung der Synergien bei den 5 Probanden mit der "Kraft des Auges" zu finden! ;)

Hier würde ein Feed-Forward-Test gekoppelt mit einem passenden Trainigsverfahren wirklich jede Menge Erleichterung mit sich bringen.
Es ist zwar keine Garantie, aber zumindest trägt man der Dynamik der Märkte besser Rechnung. Zeitreihen entwickeln immer wieder gleiche Muster. Es stellt sich natürlich die Frage ob das Klassifizierungs-Verfahren gleiche Muster gleich klassifiziert oder ob das Ergebnis der Klassifizierung auch über abweichende Muster herangezogen werden kann. Aber die Frage stellt sich den nicht ADMGler zum jetzigen Zeitpunkt ohnehin nicht..;)
Happy Trading