Wie wir die Prognosegüte ermitteln...

• Wie wir die Prognosegüte ermitteln...

  Wahlfieber Team, 19.09.2021 00:09

  #1
  

  Nachfolgend wird ausführlich erläutert, wie wir auf Wahlfieber die Güte einer Prognose ermitteln, welche Methoden zur Fehlerberechnung dafür anwendet werden und wie wir die einzelnen Prognosen - ob nun beispielsweise eine klassische Umfrage oder ein Prognosemarkt - abschließend in einen direkten Vergleich zueinander stellen, um die jeweils genaueste Prognose einer Wahl zu bestimmen.

  • Reply

  Link prediction

  There is 1 a reply to this post.

• Vorbemerkung: Eine Gliederung der unterschiedlichen Prognosenmethoden

  Wahlfieber Team, 19.09.2021 00:22, Reply to #1

  #2
  

  Grundsätzlich sind zwei gängige Methoden zur Ermittelung einer Prognose zu unterscheiden:

  Einerseits die klassische Umfrage, bei der durch ein persönliches Interview, via Telefon oder online die Wahlabsicht erfragt wird, andererseits die kollektive Methode, bei der die freiwillig Teilnehmenden ihre (prozentuale) Gesamterwartung über den Ausgang einer Wahl abgeben. - Bei der zweiten Methodik erfolgt die Ermittelung der Prognose dabei entweder mittels eines interaktiven Marktmodells, auf dem gemeinsam agiert wird, oder durch die Abgabe einzelner Tipps zum Wahlausgang, die abschließend gemittelt werden.

  Während die klassische Umfrage überaus aufwendig ist - u.a. ob der hohen Anzahl von Befragten (1000 und mehr), um die Fehlerquote gering zu halten - genügen bei der kollektiven Methode mitunter etwa 50 Teilnehmende, die zudem nicht repräsentativ ausgewählt werden müssen. Bei Politik affinen und mit der Methodik vertrauten Personen kann die Anzahl sogar noch weiter reduziert werden, auf beispielsweise 30 oder gar nur 15 bis 20 Teilnehmende.

  Darüber hinaus haben sich in den letzten Jahren einige wenige sogenannte Expertenprognosen etabliert, welche die vorhandenen Prognosen zusammenführen und ggf. gewichten oder ergänzen, ohne selbst eine eigene Datenerhebung durchzuführen. Teils werten dabei Einzelpersonen bzw. kleinere Gruppen (so gut wie) alle Prognosen und Einschätzungen aus, teils werden lediglich die klassischen Umfragen zusammen geführt. Im zweiten Fall kann davon ausgegangen werden, dass die prognostische Eigenleistung eher gering ausfällt und primär ein (mitunter leicht gewichtetes) Mittel aus den Umfragen als "eigene" Prognose dient.  - Die erste Gruppe wird getrennt gelistet, die zweite den Umfragen zugeordnet.

  Somit ergibt sich folgendes grobes Gesamtbild:

  1. Umfrageprognosen

  • a) klassische Umfragen (sog. "Sonntagsfragen")
  • b) weitere Umfragen (KEINE "Sonntagsfragen")
  • c) sonstige Prognosen auf Basis von Umfragen

  2. kollektive Prognosen

  • a) marktbasierte Prognosen (sog. "Wahlbörsen")
  • b) tippbasierte Prognosen (sog. "Wahltipps")

  3. (Einzel- und/oder) Expertenprognosen

  4. Sonstige Prognosen

  • a) Nachwahlumfragen (sog. "18 h-Prognose")
  • b) Sonstige
  • Reply

  Link prediction

  There is 1 a reply to this post.

• Die Auswertung der Prognosen - Ermittlung der Prognosegüte, Teil 1

  Wahlfieber Team, 19.09.2021 00:29, Reply to #2

  #3
  

  Die Güte einer Prognose wird in zwei Schritten ermittelt:

  In einem ersten Schritt werden für jede abgegebene Prognose folgende Abweichungsfehler berechnet:

  • der MAF: mittlerer absoluter Fehler --- oft auch englisch MAE - Mean absolute error
  • der MAPF: mittlerer absoluter prozentualer Fehler - oft auch MAPE- Mean absolute percentage error
  • der MQF: mittlerer quadratischer Fehler--- oft auch MSE- Mean squared error

  Hierbei handelt es sich um drei gängige und wissenschaftlich anerkannte Methoden, um die Fehler einer Prognose zu bestimmen. Je geringer der jeweilige Fehler ausfällt desto genauer ist eine Prognose.

  In der Praxis stellt man jedoch schnell fest, dass die Reihenfolge bei den drei Berechnungen sehr unterschiedlich ausfallen kann. Eine Einzelbetrachtung der jeweiligen Fehlerberechnungen erscheint somit nicht sinnvoll, erst in Summe ergibt sich ein klareres Bild darüber, welche Prognose wirklich die Beste gewesen ist.

  Allerdings sagt auch die Zusammenführung von MAF, MAPF und MQF am Ende nur wenig darüber aus, wie "gut" oder genau die jeweiligen Prognosen wirklich sind. Sie gibt lediglich eine Reihenfolge wieder.

  Es bedarf daher weiterer Auswertungen ...

  • Reply

  Link prediction

  There is 1 a reply to this post.

• Die Auswertung der Prognosen - Ermittlung der Prognosegüte, Teil 2

  Wahlfieber Team, 19.09.2021 00:30, Reply to #3

  #4
  

  Bei der Ermittlung der eigentlichen Prognosegüte war uns wichtig, dass das Endresultat einfach zu berechnen, somit leicht nachvollziehbar und gleichsam einleuchtend ist.

  Vorbemerkungen:

  Wir haben daher versucht, ein Ergebnis zu kreieren, dass sich an den gängigen Schulnoten orientiert. (von 1 = sehr gut bis hin zu 6 = ungenügend), damit man selbst auf den flüchtigen Blick sofort erkennt, welche Prognose (sehr) gut und welche Prognose eher schlecht ist.

  Uns ist sehr wohl bewusst, dass es unmöglich ist, eine Skala zu kreieren, die exakt bei 6 endet. Es wird immer Prognosen geben, die einen Wert über 6 erreichen. "Ungenügend" mag den Bodensatz markieren, aber gekanntlich ist auch bei "Six feet under" längst nicht Schluss. - Wenigstens kann die Kehrseite klar umschrieben werden: Denn im Idealfall tendieren alle drei angeführten Fehlerberechnugnen gen 0.

  Uns ist weiterhin bewusst, dass die Prognosegüte als solche nicht wirklich exakt bestimmt werden kann - nicht zuletzt, weil beispielsweise ein "sehr gut" nicht eindeutig definiert ist. Aber: Man sollte zumindest versuchen, sich einem solchen Ergebnis anzunähern, und sei es auch nur, weil einem das Gefühl oder jahrelange Erfahrung sagen: Das dürfte passen. (Das ist sicher keine exakte Wissenschaft - deren Bedürfnissen wurden bereits im letzten Post Rechnung getragen -, aber der Versuch einer konkreten Annäherung)

  Lösung:

  Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

  • die drei Abweichungsfehler (MAF, MAPF, MQF) werden ebenfalls gemittelt
  • aus dem neuen Mittel wird die Wurzel gezogen - (seltene) Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

  ----------------------

  Neu ab Juni 2024:

  Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

  • die drei Abweichungsfehler (MAF, MAPF, MQF) werden ebenfalls gemittelt. Zuvor werden 2 der 3 Abrechnungsfehler zusätzlich gewichtet: der MAF wird quadriert, der MQF verdoppelt.
  • aus dem neuen Mittel wird die Wurzel gezogen - (seltene) Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

  -----------------------

  -----------------------

  Hintergrund:

  Bislang dominierte der MAPE durch seinen hohen Wert bei der Ermittlung der Prognosegüte - seine Bedeutung wird mit der Änderung verringert. Im weiteren erhielten bislang Prognosen, die (weit) abseits vom realen Ergebnis lagen, häufig noch eine 3 (ergo ein "befriedigend") vor dem Komma.

  Praktisch bewirkt die Änderung, dass sich die allermeisten Prognosen in ihrer Güte verschlechtern, die (sehr) Guten minimal, die Schlechteren zum Teil signifikant. Im ersten Fall hebt sich die Verdoppelung des MQS durch die Quadrierung des MAF größtenteils wieder auf (sofern letzterer Wert deutlich unter 1), im zweiten kommt die Änderung voll zum Tragen - je ungenauer eine Prognose desto größer die negative Veränderung in der Prognosegüte.

  Zwei Beispiele:

  		alt		neu			alt		neu
  			Berechnung:		Berechnung:			Berechnung:		Berechnung:
  MAE		0,62	0,62	0,62	0,3844		2,61	2,61	2,61	6,8121
  MAPE		6,82	6,82	6,82	6,82		24,74	24,74	24,74	24,74
  MSE		0,64	0,64	0,64	1,28		12,39	12,39	12,39	24,78
  Summe			8,08		8,48			39,74		56,33
  Mittelwert			2,69		2,83			13,25		18,78
  Wurzel			1,64		1,68			3,64		4,33
  Prognose-Güte		1,64		1,68			3,64		4,33

  Die obigen Beispiele wurden der Auswertung für die EU-Wahl 2024 in Deutschland entnommen.

  *************

  (Stand : Juni 2024)
  • Reply

  Link prediction

  There is 1 a reply to this post.

• Die Auswertung der Prognosen - Teil 3: Anmerkungen, das Kleingedruckte

  Wahlfieber Team, 19.09.2021 00:30, Reply to #4

  #5
  

  Im Besonderen:

  Der Umgang mit Parteien, die nicht in jeder Prognose ausgewiesen werden.

  Nicht immer ist die Anzahl der Parteien bei den einzelnen Prognosen identisch. Ein direkter Vergleich verlangt aber im Grunde eine identische Schnittmenge.

  Jedoch ist es nicht immer sinnvoll, Parteien aus einer Prognose zu streichen - schon gar nicht, wenn es sich dabei um Parteien handelt, die im Parlament vertreten sind bzw. nach der Wahl vertreten sein werden. Auch erscheint es problematisch, wegen eines einzelnen oder auch zwei Anbietern, die eine Partei, aus welchem Grunde auch immer, nicht ausweisen, die betroffene Partei in der Gesamtauswertung grundsätzlich außen vor zu lassen.

  Für diese Fälle haben wir folgende Lösung gefunden:

  1. Sollte eine (kleine) Partei nicht von allen Instituten/Prognoseanbietern ausgewiesen werden, wird sie dennoch bei der Prognoseauswertung berücksichtigt, wenn sie von einer qualifizierten Mehrheit (2/3) in deren Prognosen aufgeführt wird. Für eine Parlamentspartei ist es ausreichend, wenn sie mindestens bei der Hälfte der Anbieter Berücksichtigung gefunden hat.

  2. In den unter 1. beschriebenen Fällen wird bei der Auswertung die jeweils günstigere Prognose eines Anbieters (entweder mit bzw. ohne die betroffene Partei) zum Vergleich herangezogen.

  3. Die unter 1. genannten Quoren gelten als erfüllt, wenn sie auf die entsprechende Anzahl der einzelnen Prognosen oder aber der einzelnen Institute zutreffen. - (Hinweis: Von einigen Instituten wird zumeist mehr als eine Prognose erfasst. Für gewöhnlich trifft dies auf Wahlfieber, Prognosys, Infratest Dimap und Civey zu.)

  ******

  Hintergrund:

  Eine kleine Partei in einer Prognose auzuweisen, ist stets mit einem Risiko verbunden. Häufig wird dadurch die Prognose nicht verbessert, sondern im Gegenteil verschlechtert. (siehe: MAPF) Andererseits sollten stets alle im (neuen) Parlament vertretenen Parteien von einer Prognose abgebildet werden.

  Ein solches Risiko darf nicht zu Lasten eines einzelnen Anbieters gehen, sollte aber ggf. belohnt werden können.
  • Reply

  Link prediction

  There is 1 a reply to this post.

• Die Auswertung der Prognosen - Teil 4: die Anbieter von Prognosen in Deutschland

  Wahlfieber Team, 19.09.2021 00:31, Reply to #5

  #6
  

  Aktuell sind bei Wahlen in Deutschland folgende Anbieter und Institute (regelmäßig) aktiv - analog zur Gliederung im 2. Post:

  1. Umfrageprognosen

  a) klassische Umfragen (sogen. "Sonntagsfragen")
  zu (fast) allen Wahlen auf Landes- und Bundesebene
  Forschungsgruppe Wahlen (Politbarometer) - Infratest Dimap (ARD + ÖRR-regional)- Civey - INSA - Wahlkreisprognose

  Nur primär zu bundesweiten Wahlen
  Allensbach - Forsa - GMS - Ipsos - pollytix - Trend Research - Verian (ehem. Kantar, Emnid) - YouGov

  In einzelnen Bundesländern auch: Forsa - YouGov

  b) Weitere Umfrage-Prognosen (KEINE "Sonntagsfragen")
  zu (fast) allen Wahlen auf Landes- und Bundesebene
  Wahlfieber-Umfragen auf X

  c) Sonstige Prognosen auf Basis von Umfragen
  zu (fast) allen Wahlen auf Landes- und Bundesebene
  Wahltrends: Dawum - PolitPro -

  Nur primär zu bundesweiten Wahlen
  Wahltrends: INWT Statistics - Pollytix
  
  2. kollektive Prognosen

  a) Wahlbörsen --- PESM (inaktiv) - Wahlfieber (2 Märkte)

  b) Wahltipps --- User folgender Plattformen: PESM (inaktiv) - Wahlfieber - Wahlrecht (inaktiv)

  3. Expertenprognosen

  aus Deutschland: MMI Wahltrend - Prognosys MasterVote - Prognos Umfragen - Wahlfieber Team (MMI)

  aus dem Ausland: Birnstingl aka Trude Beiler

  Nur primär zu bundesweiten Wahlen: PollyVote - Zweitstimme.org

  4. Sonstige Prognosen
  

  a) Nachwahlumfragen --- FGW - Infratest Dimap - bei einer BTW ggf. weitere

  b) Sonstige --- u.E. zur Zeit keine

  *************

  (Stand : Juni 2024)

  • Reply

  Link prediction

  There is 1 a reply to this post.

• Die Auswertung der Prognosen - Teil 5 - die Anbieter von Prognosen in Österreich

  Wahlfieber Team, 19.09.2021 00:32, Reply to #6

  #7
  

  Aktuell sind bei Wahlen in Österreich folgende Anbieter und Institute (regelmäßig) aktiv - analog zur Gliederung im 2. Post:

  1. Umfrageprognosen

  a) klassische Umfragen
  zu (fast) allen Wahlen auf Landes- und Bundesebene
  GMK - Hajek - IFDD - Market - Market-Lazarsfeld - OGM - Spektra - Unique Research

  Nur primär zu bundesweiten Wahlen: Ipsos - INSA
  ...

  b) Weitere Prognosen auf Basis von Umfragen
  zu (fast) allen Wahlen auf Landes- und Bundesebene
  Wahlfieber-Umfragen auf X ----- Wahltrends:  PolitPro

  Nur primär zu bundesweiten Wahlen: 
  APA Wahltrend

  2. kollektive Prognosen

  a) Wahlbörsen --- Wahlfieber (2 Märkte)

  b) Wahltipps --- User folgender Plattformen: Wahlfieber

  3. Expertenprognosen

  aus Österreich: Birnstingl aka Trude Beiler - Wahlfieber Team (MMI)

  aus dem Ausland: ...

  Nur primär zu bundesweiten Wahlen: ...

  4. Sonstige Prognosen
  

  a) Nachwahlumfragen --- ORF - Puls 24

  b) Sonstige --- u.E. zur Zeit keine

  *************

  (Stand : Juni 2024)

  • Reply

  Link prediction