Warum Dein KI-Backtest lügt

Es war noch nie so einfach, sich eine profitable Strategie zu bauen. Ein Chat-Prompt, ein Screenshot aus einem YouTube-Video, zwanzig Minuten Geduld – und ein KI-Tool liefert Dir einen fertigen Indikator, einen Backtest und eine Equity-Kurve, die schön von links unten nach rechts oben läuft. Früher brauchte dieselbe Selbsttäuschung Wochen mit Excel oder dem Strategy-Optimizer. Heute kostet sie nichts mehr.

Denn genau das ist sie in den meisten Fällen: Selbsttäuschung. Das Problem heißt Overfitting, es ist so alt wie das Backtesting selbst – aber KI hat es demokratisiert.

Zwanzig Minuten bis zur „profitablen" Strategie

Ich habe kürzlich ein Video gesehen, das den Mechanismus unfreiwillig perfekt vorführt. Ein Trader nimmt eine simple Einstiegsregel aus einem Kurzvideo, lässt sie sich von einem KI-Chat als Indikator bauen und startet den eingebauten Backtest. Die erste Kurve überzeugt nicht ganz. Also wird gedreht: fünf Zeitrahmen durchprobiert, ein Trendfilter an- und wieder ausgeschaltet, der Stop-Abstand in sieben Varianten getestet, dann einmal quer durch die Märkte geklickt – bis am Ende feststeht, dass die Strategie auf Gold im 4-Stunden-Chart „mit Abstand am besten" funktioniert. Datenbasis: rund drei Monate. Und für den Fall, dass eine Kurve nach unten zeigt, gibt es im Video noch einen Profi-Tipp: Dann invertiere die Strategie einfach.

Das Entscheidende an dieser Szene: Da sitzt niemand, der Zuschauer bewusst täuschen will. Der Erzähler ist sichtbar begeistert – er glaubt selbst, gerade eine funktionierende Strategie gefunden zu haben. Genau das macht Overfitting so gefährlich: Es fühlt sich wie Forschung an und ist doch nur Suchen, bis das Ergebnis gefällt.

Warum das mathematisch schiefgehen muss

Stell Dir 200 Menschen vor, die je zehnmal eine Münze werfen. Mit hoher Wahrscheinlichkeit wirft mindestens einer davon zehnmal hintereinander Kopf. Niemand käme auf die Idee, diese Person für ein Münzwurf-Talent zu halten – bei 200 Versuchen muss so eine Serie irgendwo auftauchen.

Beim Backtesting passiert exakt dasselbe, nur merkt man es nicht, weil man selbst der Werfende ist. Fünf Zeitrahmen mal sieben Stop-Varianten mal Filter an/aus mal ein Dutzend Märkte – das sind Hunderte Kombinationen auf denselben Daten. Dass eine davon eine schöne Kurve produziert, ist keine Entdeckung, sondern eine Garantie. Die Kurve beschreibt, was in der Vergangenheit zufällig zusammenpasste. Über die Zukunft sagt sie nichts.

Verschärft wird das Ganze durch kleine Stichproben. Drei Monate ergeben je nach Strategie 30 bis 60 Trades – auf dieser Ebene regiert die Varianz, nicht die Edge. Wie stark Zufallsserien selbst profitable Systeme aussehen lassen können – und unprofitable glänzen lassen –, habe ich an anderer Stelle vorgerechnet. Wer auf so einer Basis „den besten Markt" auswählt, wählt mit hoher Wahrscheinlichkeit den Markt mit der günstigsten Zufallsphase.

KI hat das Problem nicht erfunden – nur radikal verbilligt

Overfitting gab es lange vor KI. Jeder Strategy-Optimizer in NinjaTrader konnte schon immer Parameter so lange durchrechnen, bis die Vergangenheit perfekt passte. Neu sind zwei Dinge.

Erstens der Aufwand: Das Durchprobieren kostet praktisch nichts mehr. Was früher ein mühsames Wochenende war, ist heute ein Nachmittag mit Chat-Prompts – die Zahl der getesteten Kombinationen explodiert, und mit ihr die Wahrscheinlichkeit, Zufall zu finden.

Zweitens die Überzeugungskraft: Ein KI-Tool liefert zu jedem Fund auf Wunsch eine wohlklingende Begründung – warum das Setup „institutionelle Liquidität nutzt" oder „das Verhalten der Market Maker abbildet". Aus einem Werkzeug wird eine Bestätigungsmaschine, die jede Zufallskurve mit einer Geschichte adelt. Was KI im Trading-Alltag wirklich leisten kann, habe ich in einem eigenen Artikel eingeordnet – das hier ist die Kehrseite: Sie kann Dich auch schneller und eloquenter in die Irre führen als jedes Tool zuvor.

Ich nehme mich davon übrigens nicht aus. Auch ich habe eine Zeit lang nach automatisierten Strategien gesucht – und bin dabei genauso in die Overfitting-Falle gelaufen wie alle anderen. Hängen geblieben ist vor allem eine Erkenntnis: Meine Leidenschaft für das Trading kommt von der Price-Action und dem diskretionären Teil. Algo-Trading ist ein Spielfeld für Datenmenschen – für mich war es eine kurze, lehrreiche Testphase. Inzwischen bin ich längst wieder manuell im Schützengraben.

Woran Du einen ehrlichen Test erkennst

Die Gegenmittel sind unspektakulär und seit Jahrzehnten bekannt – sie gelten mit KI genauso wie ohne:

• Regeln vor dem Test fixieren. Einstieg, Stop, Ziel, Markt und Zeitrahmen stehen fest, bevor der erste Backtest läuft – wie bei einem sauberen Wenn-Dann-Szenario. Was danach angepasst wird, ist dokumentierte Änderung, nicht stilles Nachjustieren.
• Auf ungesehenen Daten prüfen. Teile die Historie: Auf einem Teil wird entwickelt, auf dem anderen – den das Tool nie gesehen hat – einmalig geprüft. Bricht die Kurve dort ein, war sie angepasst statt belastbar.
• Stichprobe ernst nehmen. Dreistellige Trade-Zahlen über verschiedene Marktphasen. Eine Strategie, die nur auf einem Markt, einem Zeitrahmen und in einem einzigen Quartal funktioniert, ist kein System, sondern ein Fund.
• Kosten einrechnen. Kommissionen und Slippage machen aus vielen glänzenden Scalping-Kurven ehrliche Nullsummen – gerade bei kleinen Kurszielen.
• Misstrauensregel. Je glatter die Kurve und je besser die Kennzahlen, desto mehr Skepsis – nicht weniger. Ein ehrliches Testergebnis sieht meist unspektakulär aus.

Und wenn ein Ergebnis nur durch Invertieren einer Verlustkurve entsteht: Das ist kein Trick, sondern derselbe Zufall mit umgekehrtem Vorzeichen.

Was KI beim Backtesting wirklich gut kann

Das alles ist kein Argument gegen KI beim Testen – im Gegenteil. Die Handwerksarbeit erledigt sie brillant: sauberen Backtest-Code schreiben, Logikfehler in Regeln finden, Randfälle aufspüren, Ergebnisse zusammenfassen, Szenarien formulieren. Wer eine fertig definierte Strategie hat, bekommt mit KI in Stunden eine Testumgebung, für die früher Programmierkenntnisse und Wochen nötig waren. Das ist ein echter Fortschritt.

Die Grenze verläuft nicht beim Werkzeug, sondern bei der Rolle: KI als Handwerker, der baut, was Du vorher definiert hast – ja. KI als Richter, der so lange sucht, bis ein Urteil gefällt, das Dir gefällt – nein.

Fazit: Testen heißt widerlegen

Ein Backtest ist ein Werkzeug zum Widerlegen, nicht zum Bestätigen. Die richtige Frage ist nicht „Wie bekomme ich diese Kurve schön?", sondern „Was müsste passieren, damit ich diese Strategie verwerfe?" – und genau das prüft man dann. Alles andere ist Aussuchen mit Umweg.

Wer so lange sucht, bis die Kurve stimmt, hat nicht getestet. Er hat gefunden, was er finden wollte – und der Markt wird sich dafür nicht interessieren.

Häufige Fragen

Kurze Antworten auf die häufigsten Fragen zu Backtests, Overfitting und dem sinnvollen Einsatz von KI beim Testen.

Wie viele Trades braucht ein aussagekräftiger Backtest?

Eine feste Zahl gibt es nicht, aber als Faustregel: dreistellig – und verteilt über verschiedene Marktphasen, also Trends, Seitwärtsmärkte und volatile Wochen. 30 bis 60 Trades aus drei Sommermonaten sagen fast nichts aus, denn auf dieser Ebene dominiert die Varianz das Ergebnis. Je weniger Trades, desto wahrscheinlicher bewertest Du Zufall statt Strategie.

Was bedeutet Out-of-Sample?

Du teilst Deine Daten in zwei Hälften: Auf der einen entwickelst und justierst Du die Strategie, auf der anderen – die das Tool nie gesehen hat – prüfst Du sie ein einziges Mal. Bricht die Performance auf den ungesehenen Daten ein, war Deine schöne Kurve angepasst statt belastbar. Das ist der einfachste und wirksamste Schutz gegen Overfitting.

Warum läuft meine Strategie live schlechter als im Test?

Meist aus drei Gründen: Der Test war an die Vergangenheit angepasst (Overfitting), er hat Kosten wie Kommissionen und Slippage ignoriert, oder die Stichprobe war zu klein, sodass eine günstige Zufallsphase wie Edge aussah. Dazu kommt die Ausführung: Ein Backtest füllt jede Order perfekt – der Markt nicht.

Ist Backtesting mit KI damit sinnlos?

Nein, im Gegenteil: KI ist ein hervorragender Handwerker für Backtests – sie schreibt den Code, findet Logikfehler und wertet Ergebnisse schneller aus, als Du es je von Hand könntest. Sinnlos wird es erst, wenn Du sie als Richter missbrauchst und so lange an Parametern drehen lässt, bis die Kurve gefällt. Die Regeln des ehrlichen Testens gelten mit KI genauso wie ohne.