15. Sept. 2022
Mit KI zum Bundesliga Tippkönig
Bundesliga 2020 / 2021
Die Bundesliga Saison 2020/21 war eine besondere: Das erste Mal seit knapp 60 Jahren mussten die Profiteams ohne Publikum auskommen. Um uns die Auswirkungen auf die Spielausgänge genauer anzuschauen, haben wir eine Boxplot-Visualisierung verwendet (siehe Abbildung 1). Diese zeigt die Anzahl der Spiele je möglichem Spieleausgang (Heimmannschaft gewinnt, Unentschieden, Auswärtsmannschaft gewinnt) der Bundesliga, in den Saisons von 2010 bis 2020. Die Blöcke repräsentieren dabei den Bereich, in dem 75 % der jeweiligen Ausgänge liegen. Die orangene Linie stellt die durchschnittliche Spielanzahl je Ausgang dar. Und die vertikalen Linien markieren den Bereich, in dem sich die letzten 25% des jeweiligen Ausgangs befinden. Das rote Kreuz entspricht den Werten aus der Saison 2020/2021. Zwar befindet sich das Kreuz für Heimsiege und Unentschieden außerhalb der 75 %, dennoch gab es in den letzten 10 Jahren bereits größere Ausreißer. Diese Ausreißer befinden sich in den Bereichen der vertikalen Linien, in die auch die Saison 2020/2021 fällt. Es gab somit keine starke Veränderung der Spieleausgänge durch das fehlende Publikum. Auch interessant zu sehen ist, dass der Heimvorteil auch ohne Zuschauer existiert. Für eine detailliertere Analyse können wir [1] empfehlen.
Schauen wir uns die Vorhersagen von MILK für die Saison 2020/21
einmal genauer an. Am eigentlichen MILK Modell wurden seit der
Erstellung in 2020 keine Änderungen vorgenommen.
In Blau sind die Anzahl der Vorhersagen und in Orange die Anzahl
der tatsächlichen Ergebnisse pro Spielausgang dargestellt. Wir können
deutlich sehen, dass es
einen Bias hin zur Heimmannschaft gibt. Ein Bias ist ein Phänomen, das
auftritt, wenn ein Algorithmus im maschinellen Lernprozess systematisch
voreingenommene Ergebnisse liefert. In unserem Fall ist eine leichte
Bevorzugung der Heimmannschaft nicht schlecht, da es statistisch gesehen
immer mehr Heimsiege als Heimniederlagen gab, allerdings nicht 2-mal
so viele.
Die Grafik 2 zeigt aber nicht auf, wie viele der Vorhersagen wirklich übereinstimmen. Dies soll die folgende Konfusionsmatrix darstellen.
Bei einer Konfusionsmatrix sollten die Werte im besten Fall auf der Hauptdiagonale (oben-links, unten-rechts) liegen. Die Summe einer Spalte entspricht der Anzahl der Vorhersagen eines Ergebnisses und die Summe der Zeilen dem tatsächliche Ergebnis. Das heißt, von unseren 52 „Unentschieden“ Vorhersagen waren insgesamt nur 13 korrekt. Bei der Vorhersage „Sieg der Heimmannschaft“ liegt MILK in knapp über 50% der Fälle korrekt (88 von 173). Beim Summieren der Diagonale sehen wir, dass MILK insgesamt in 139 von 306 Spielen den richtigen Spielausgang vorhersagte. Mit 45,4 % sind wir zwar deutlich besser als das zufällige Raten (bei drei möglichen Spielausgängen – 33%) aber nur leicht besser als nur das Heimteam vorherzusagen (in der Saison 42,1 %).
Die Saison haben wir am Ende mit 355 Punkten im Mittelfeld unserer Tipprunde abgeschlossen. Der erste Platz hatte 90 Punkte Vorsprung vor uns. Mit 10,44 Punkten pro Spieltag lagen wir mehr als einem Punkt hinter unserem Ergebnis auf dem Validation-Set und 2,5 hinter dem ersten Platz.
EM 2020/2021
Nach einem Jahr Verzögerung hat 2021 endlich das große Spektakel angefangen, für das MILK eigentlich entwickelt werden sollte. Neben MILK hat auch eine aktualisierte MILK Version mit zusätzlichen Turnier-Trainingsdaten teilgenommen: MILK2.0. Bei der Europameisterschaft gab es durch den Turniermodus eine Herausforderung, die im Bundesligabetrieb nicht besteht. Tipps sollten nicht für das finale Endergebnis gegeben werden, sondern für das Ergebnis nach 90 Minuten. Am Ende erreichten wir mit MILK2.0 Platz 12 und mit MILK Platz 20 bei insgesamt 51 aktiven Mittippern.
Bundesliga 2021/22
Trotz der durchwachsenen Ergebnisse haben wir die beiden MILK Versionen auch dieses Jahr wieder auf die Bundesliga losgelassen. Am Ende lag MILK auf Platz 1, dicht gefolgt von MILK2.0 auf dem dritten Platz. Der erste menschliche Tipper liegt mit 9 Punkten hinter MILK. Jetzt stellt sich natürlich die Frage: Was hat sich geändert im Vergleich zur letzten Saison? Sind die Mittipper nicht mehr so engagiert oder warum funktionieren die MILKs so gut? Oder liegt es daran, dass die Fans wieder zurück im Stadion sind? Schauen wir uns zuerst einmal die aktuelle Verteilung der Vorhersagen an.
Hinweis: Durch neue Spielinformationen, wie z. B. Champions League und Europacup Spielen, unterscheidet sich ein Teil der Ergebnisse, die hier präsentiert werden, von den tatsächlich getippten Ergebnissen. Da nicht immer alle Informationen zu den vorherigen Spielen bis zum Spieltag zur Verfügung standen, wurde das Ergebnis ohne diese Informationen vorhergesagt. Da die Informationen mittlerweile zur Verfügung stehen, kann es zu Abweichungen kommen.
In beiden Modellen sehen wir einen Rückgang an „Auswärtssieg“ Vorhersagen und deutlichen Anstieg der „Unentschieden“ Vorhersagen. Aber wie viele unserer Vorhersagen waren eigentlich korrekt in der Tendenz? Dies ist in folgenden Abbildungen zu sehen.
MILK2.0 hat in 145 Spielen (47,4 %) der Spiele den richtigen Gewinner vorhersagt, MILK dagegen in 150 Spielen (49 %). Das ist 3,6 Prozentpunkte besser als im letzten Jahr. Zudem konnte MILK in diesen Spielen öfter das exakte Ergebnis vorhersagen, wodurch MILK insgesamt mehr Punkte erhalten hat. Die genaue Aufteilung ist in den nächsten Abbildungen zu sehen.
Man könnte nun hinterfragen, ob die Ergebnisse von MILK und MILK2.0 überhaupt repräsentativ sind, da wir nur 20 aktive Tipper in dieser Bundesliga Saison waren. Um sicherzugehen, dass das nicht der Fall ist, haben wir uns mehrere offene Kicktipprunden angeschaut, die das gleiche Punktesystem verwenden. Erfreulicherweise waren wir in 4 von 5 Runden Platz 1 (20-40 Spieler) und einmal Platz 2 (~150 Spieler).
Zusätzlich haben wir uns angeschaut, auf welchem Platz wir in der offiziellen Bundesliga Tipprunde von Kicktipp wären, in der es über 15 000 aktive Mitspielende gibt. In dieser wird ein anderes Punktesystem verwendet. Am Ende sind wir mit MILK auf Platz 134 gelandet und gehören somit zu den Top 1%. Mit 30 Punkten mehr wären wir bereits in den Top 20. Zum Vergleich können wir uns den Platz 1 aus der Kicktipprunde anschauen:
Die erstplatzierte Person hat in 0,3 % der Spiele (9 Spiele) öfter den richtigen Gewinner vorhergesagt und konnte zudem häufiger das Ergebnis sowie die korrekte Tordifferenz vorhersagen. Prozentual gesehen sind diese Unterschiede minimal, machen aber eine Punktedifferenz von 78 Punkten aus.
Fazit
Nach zwei Jahren MILK konnten wir unseren ersten Sieg in der firmeneigenen Kicktipprunde holen. Auch in anderen Kicktipprunden wären wir sehr erfolgreich gewesen. Das heißt allerdings nicht, dass wir uns nicht noch verbessern können. Wie bereits im ersten Blogbeitrag [2] erwähnt, sagt MILK nie 0 Tore voraus und nur in sehr seltenen Fällen 3 oder mehr Tore. Zwar konnte MILK2.0 das Problem etwas reduzieren, dennoch ist dies noch verbesserungswürdig.
[1] – https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0248590
