Backtesting wird durchgeführt, um neue Ideen und Strategien zu bewerten und zu testen. Bei Wikipedia steht dazu: „Backtesting bzw. Rückvergleich bezeichnet den Prozess, eine Strategie, Theorie oder ein Modell zu evaluieren, indem die Strategie bzw. die Theorie bzw. das Modell auf historische Daten angewendet wird.“
Das heißt, der Strategie werden die Daten zur Verfügung gestellt, die sie benötigt und die zu einem Zeitpunkt in der Vergangenheit bereits verfügbar/bekannt waren. Von da aus werden Daten für die Zukunft hinzugefügt, so wie sie auch in der Realität eintreffen könnten. Dabei entscheidet die Strategie so, wie sie das auch in der entsprechenden historischen Situation getan hätte. Zum Beispiel können Orders direkt ausgeführt werden oder eigene Orders eingestellt werden. Ziel ist, die wirklichen Bedingungen möglichst realistisch zu reproduzieren. Die Ergebnisse der Strategie-Aktionen werden dann ausgewertet; so kann man beispielsweise finanzielle Benchmarks mit den Ergebnissen anderer Strategien vergleichen.

Backtesting basiert auf der Annahme, dass sich die Zukunft ähnlich verhält wie die Vergangenheit. Für einzelne Tage ist diese Aussage offensichtlich falsch, weil jeder Tag anders ist. Daher ist es wichtig, dass beim Backtesting möglichst große Zeiträume simuliert werden. Anders als am Finanzmarkt ändert sich der Strommarkt sehr schnell – sei es durch geänderte Regularien und Marktbedingungen (Beispiele sind hier die Einführung von xbid/sidc, sdat oder des Regelarbeitsmarktes) oder durch Veränderungen des Marktes/der Marktteilnehmer (Zunahme von Erneuerbaren, Abschaltung von AKWs, geänderte Strategien/Digitalisierung). Daher sind ältere Daten schnell nicht mehr repräsentativ. Hier ist es nicht immer ganz einfach einen passenden Trade-Off zu finden.

Insbesondere für die Vermarktung von EEG-Mengen ist es wichtig, dass die gehandelten Mengen zu dem entsprechenden Tag passen, der simuliert wird. Da die Prognose-Abweichungen bei allen Vermarktern ähnlich sind, spricht man von markt-korrelierten Mengen: muss man selbst verkaufen, müssen auch alle anderen verkaufen – und umgekehrt. Um seine Strategie zu testen, sollten also echte Prognoseabweichungen mit den dazu passenden Tagen simuliert werden.

Beim Backtesting handelt es sich um eine Simulation mit „veralteten“ Daten. Das führt zu folgenden Schwierigkeiten:

• In der Regel sind die historischen Marktteilnehmer statisch:
  • Die anderen Markteilnehmer reagieren nicht auf eigene Orders: Man wird nicht weggeklickt, auch wenn man sich direkt vor die andere Orderbuch-Seite stellt.
  • Andere Orders auf der eigenen Seite reagieren nicht auf eigene Orders. Es gibt beispielsweise kein Aufschaukeln aufgrund des eigenen Verhaltens.
  • Das Orderbuch wird nicht „wieder aufgefüllt“; werden Mengen ausgeführt, hat das weder Einfluss auf die Preise noch auf die gezeigten Mengen.
• Der kontinuierliche Intraday-Markt Strom ist nur bedingt liquide. Illiquide Märkte lassen sich besonders schlecht nachstellen, da einzelne Aktionen ggf. große Auswirkungen auf den Markt haben.
• Jeder Tag ist anders, weshalb die Gefahr des Überoptimierens besteht (overfitting): Eventuell findet man eine Strategie, mit der man ideal für die Vergangenheit gerüstet ist – aber nur minimale Abweichungen führen zu umso schlechteren Ergebnissen.
• Sondersituationen werden (häufig) bewusst ausgenommen. Das bedeutet aber auch, dass diese durch andere Mechanismen abgefangen werden müssen, damit kein wirtschaftlicher Schaden entstehen kann.
• Jeder Test ist nur so gut wie die Daten, mit denen er gemacht wird. Sowohl die Börsendaten als auch Positionsdaten müssen historisch vollständig und korrekt sein.

Man kann mehr oder weniger Aufwand betreiben, um den einzelnen Punkten zu begegnen. Am wichtigsten ist sicherlich, sich dieser Schwierigkeiten und deren Implikationen bewusst zu sein. So lassen sich die richtigen Schlüsse aus dem Backtesting ziehen – und die Methode hat einen Mehrwert und unterstützt bei der Suche nach der passenden Strategie.

Was muss nun also beachtet werden, damit ich von den Vorteilen des Backtesting auch im Stromhandel profitiere?

• Aufgrund der vielen Einschränkungen sind im Strommarkt die Ergebnisse von Backtesting-Runs und von wirklich am Markt ausgeführten Strategien nicht miteinander vergleichbar. Um Fehlanreize zu vermeiden, sollte man sich bewusst sein, dass das Backtesting sowohl den Erfolg überschätzen, weil beispielsweise der Einfluss auf den Markt missachtet wurde, oder auch unterschätzen kann, weil beispielsweise der Spread immer mitgenommen wird und niemals Orders weg geklickt werden.
• Backtesting-Strategien, die miteinander verglichen werden sollen, sollten ähnliche Ansätze verfolgen. Zudem sollte man sich bewusstmachen, welche Aspekte durch die Einschränkungen bevorzugt und welche benachteiligt werden.
• Backtesting eignet sich um unterschiedliche Werte für einzelne Parameter miteinander zu vergleichen.
• Nach Parameter-Studien sind die Parameter zu bevorzugen, die auf einem Plateau liegen: Ähnliche Eingangsparameter führen nur zu kleinen Abweichungen des Ergebnis. Für diese Werte ist die Wahrscheinlichkeit groß, dass kleine Änderungen im Markt ebenfalls zu nur kleinen Abweichungen im Ergebnis führen.
• Die grundlegende Strategie-Entwicklung sollte im Strommarkt mit Intelligenz stattfinden und nicht mit dem reinen Vergleich von Backtesting-Ergebnissen.
• Auch wichtig: dem Backtesting nicht blind vertrauen und die Produktivphase ebenfalls als Testphase verstehen. Wenn sich eine Strategie im Backtesting bewährt hat, muss sie nicht in der Realität ebenfalls funktionieren. Daher fängt man am besten zunächst mit kleinen Mengen an und bewirtschaftet eventuell nicht direkt das ganze Portfolio mit der neuen Strategie. Stattdessen beobachtet man die Ergebnisse ständig und kann so schnell reagieren und Neues ausprobieren.

Backtesting liefert also niemals die (r)eine Wahrheit, kann aber dabei unterstützen, eigene Strategien zu validieren und zu verbessern. Gleichzeitig ist die Einstiegshürde groß, weil neben den Daten Software benötigt wird, um die Informationen synchron zusammenzuführen und den Markt entsprechend zu simulieren. Daher haben wir in iTrade versucht, unseren Nutzern einen möglichst einfachen Zugang zum Backtesting zu bieten und gleichzeitig die notwendige Flexibilität aufrecht zu erhalten. Das Backtesting in iTrade kann vollständig über die UI gesteuert werden. Dabei bieten wir die folgenden Parameter, um einen möglichst umfänglichen, einfachen und flexiblen Umgang zu gewährleisten:

• Es können bereits bestehende oder in der UI neu angelegte Strategien getestet werden.
• Über csv-Dateien können neue Strategien zum Testen hinzugefügt werden.
• Der zu testende Zeitbereich kann komfortabel ausgewählt und angepasst werden.
• Es können die Viertelstunden und Stunden ausgewählt werden, die simuliert werden sollen.

Wer hier nicht die UI nutzen möchte, der kann die Strategien und Aufträge direkt in der Datenbank anlegen. Damit wird ein höheres Maß an Automatisierung erreicht und der Nutzer kann sogar ein automatisiertes Parameter-Tuning aufsetzen. Und um den oben erwähnten Einschränkungen entgegen zu wirken, erkennt iTrade auch im Backtesting Eisberg-Orders im Orderbuch und ist in der Lage, eigene Trades in Orders umzuwandeln. So wird dem eigenen Einfluss auf den Markt besser Rechnung getragen.