Zuerst die Basis formalisieren
Es muss klar sein, wie ein Zufallstipp entsteht, wie viele Tipps eingesetzt werden, welche Trefferregel gilt und wie viele Ziehungen betrachtet werden. Passt das Basismodell nicht zum realen Versuch, schätzt eine Million Läufe nur die falsche Frage besonders genau.
Beim Vergleich einer Strategie mit Zufall erhalten beide Seiten dasselbe Kombinationsbudget. Sonst wird Umfang statt Auswahlqualität gemessen.
Die Verteilung ist wichtiger als der Mittelwert
Ein Durchschnitt verdeckt die Streuung. Zwei Verfahren können denselben Mittelwert und dennoch unterschiedliche Randbereiche haben. Deshalb gehören Median, Quantile und der Anteil simulierter Ergebnisse oberhalb des beobachteten Werts in den Bericht.
Ein einzelner besonders guter Simulationslauf belegt keinen Vorteil. Entscheidend ist die Position des realen Ergebnisses in der gesamten Zufallsverteilung.
- Median und Mittelwert.
- 5- und 95-Prozent-Quantil.
- Anteil der Simulationen mindestens so gut wie der Istwert.
- Zahl der Läufe und Seed.
Wie viele Läufe genügen?
Das hängt von gewünschter Genauigkeit und Ereignisseltenheit ab. Für zentrale Kennzahlen können Zehntausende Läufe informativ sein; für extrem seltene Gewinne sind deutlich mehr Läufe oder eine analytische Berechnung nötig.
Ein neuer Lauf mit anderem Seed zeigt die Stabilität. Schwankt die Schätzung stark, ist die Stichprobe zu klein oder das Ereignis für diesen Ansatz zu selten.
Häufige Fehler
Kennzahlen dürfen nicht nach Sichtung der Resultate gewechselt und nur der beste Seed darf nicht veröffentlicht werden. Ebenso problematisch ist ein Vergleich auf denselben Daten, auf denen das Modell bereits intensiv angepasst wurde.
Monte Carlo ist besonders gut als Plausibilitätsprüfung: Entsteht ein ähnlicher Wert häufig allein durch Zufall, braucht es keine komplizierte Geschichte über ein verborgenes Signal.