Wie wir die Prognosegüte ermitteln...

  • Wie wir die Prognosegüte ermitteln...

    Wahlfieber Team, 19.09.2021 00:09
    #1

    Nachfolgend wird ausführlich erläutert, wie wir auf Wahlfieber die Güte einer Prognose ermitteln, welche Methoden zur Fehlerberechnung dafür anwendet werden und wie wir die einzelnen Prognosen - ob nun beispielsweise eine klassische Umfrage oder ein Prognosemarkt - abschließend in einen direkten Vergleich zueinander stellen, um die jeweils genaueste Prognose einer Wahl zu bestimmen.

  • Vorbemerkung: Eine Gliederung der unterschiedlichen Prognosenmethoden

    Wahlfieber Team, 19.09.2021 00:22, Antwort auf #1
    #2

    Grundsätzlich sind zwei gängige Methoden zur Ermittelung einer Prognose zu unterscheiden:

    Einerseits die klassische Umfrage, bei der durch ein persönliches Interview, via Telefon oder online die Wahlabsicht erfragt wird, andererseits die kollektive Methode, bei der die freiwillig Teilnehmenden ihre (prozentuale) Gesamterwartung über den Ausgang einer Wahl abgeben. - Bei der zweiten Methodik erfolgt die Ermittelung der Prognose dabei entweder mittels eines interaktiven Marktmodells, auf dem gemeinsam agiert wird, oder durch die Abgabe einzelner Tipps zum Wahlausgang, die abschließend gemittelt werden.

    Während die klassische Umfrage überaus aufwendig ist - u.a. ob der hohen Anzahl von Befragten (1000 und mehr), um die Fehlerquote gering zu halten - genügen bei der kollektiven Methode mitunter etwa 50 Teilnehmende, die zudem nicht repräsentativ ausgewählt werden müssen. Bei Politik affinen und mit der Methodik vertrauten Personen kann die Anzahl sogar noch weiter reduziert werden, auf beispielsweise 30 oder gar nur 15 bis 20 Teilnehmende.

    Darüber hinaus haben sich in den letzten Jahren einige wenige sogenannte Expertenprognosen etabliert, welche die vorhandenen Prognosen zusammenführen und ggf. gewichten oder ergänzen, ohne selbst eine eigene Datenerhebung durchzuführen. Teils werten dabei Einzelpersonen bzw. kleinere Gruppen (so gut wie) alle Prognosen und Einschätzungen aus, teils werden lediglich die klassischen Umfragen zusammen geführt. Im zweiten Fall kann davon ausgegangen werden, dass die prognostische Eigenleistung eher gering ausfällt und primär ein (mitunter leicht gewichtetes) Mittel aus den Umfragen als "eigene" Prognose dient.  - Die erste Gruppe wird getrennt gelistet, die zweite den Umfragen zugeordnet.

    Somit ergibt sich folgendes grobes Gesamtbild:

    1. Umfrageprognosen

    • a) klassische Umfragen (sog. "Sonntagsfragen")
    • b) weitere Umfragen (KEINE "Sonntagsfragen")
    • c) sonstige Prognosen auf Basis von Umfragen

    2. kollektive Prognosen

    • a) marktbasierte Prognosen (sog. "Wahlbörsen")
    • b) tippbasierte Prognosen (sog. "Wahltipps")

    3. (Einzel- und/oder) Expertenprognosen

    4. Sonstige Prognosen

    • a) Nachwahlumfragen (sog. "18 h-Prognose")
    • b) Sonstige
  • Die Auswertung der Prognosen - Ermittlung der Prognosegüte, Teil 1

    Wahlfieber Team, 19.09.2021 00:29, Antwort auf #2
    #3

    Die Güte einer Prognose wird in zwei Schritten ermittelt:

    In einem ersten Schritt werden für jede abgegebene Prognose folgende Abweichungsfehler berechnet:

    Hierbei handelt es sich um drei gängige und wissenschaftlich anerkannte Methoden, um die Fehler einer Prognose zu bestimmen. Je geringer der jeweilige Fehler ausfällt desto genauer ist eine Prognose.

    In der Praxis stellt man jedoch schnell fest, dass die Reihenfolge bei den drei Berechnungen sehr unterschiedlich ausfallen kann. Eine Einzelbetrachtung der jeweiligen Fehlerberechnungen erscheint somit nicht sinnvoll, erst in Summe ergibt sich ein klareres Bild darüber, welche Prognose wirklich die Beste gewesen ist.

    Allerdings sagt auch die Zusammenführung von MAF, MAPF und MQF am Ende nur wenig darüber aus, wie "gut" oder genau die jeweiligen Prognosen wirklich sind. Sie gibt lediglich eine Reihenfolge wieder.

    Es bedarf daher weiterer Auswertungen ...

  • Die Auswertung der Prognosen - Ermittlung der Prognosegüte, Teil 2

    Wahlfieber Team, 19.09.2021 00:30, Antwort auf #3
    #4

    Bei der Ermittlung der eigentlichen Prognosegüte war uns wichtig, dass das Endresultat einfach zu berechnen, somit leicht nachvollziehbar und gleichsam einleuchtend ist.

    Vorbemerkungen:

    Wir haben daher versucht, ein Ergebnis zu kreieren, dass sich an den gängigen Schulnoten orientiert. (von 1 = sehr gut bis hin zu 6 = ungenügend), damit man selbst auf den flüchtigen Blick sofort erkennt, welche Prognose (sehr) gut und welche Prognose eher schlecht ist.

    Uns ist sehr wohl bewusst, dass es unmöglich ist, eine Skala zu kreieren, die exakt bei 6 endet. Es wird immer Prognosen geben, die einen Wert über 6 erreichen. "Ungenügend" mag den Bodensatz markieren, aber gekanntlich ist auch bei "Six feet under" längst nicht Schluss. - Wenigstens kann die Kehrseite klar umschrieben werden: Denn im Idealfall tendieren alle drei angeführten Fehlerberechnugnen gen 0.

    Uns ist weiterhin bewusst, dass die Prognosegüte als solche nicht wirklich exakt bestimmt werden kann - nicht zuletzt, weil beispielsweise ein "sehr gut" nicht eindeutig definiert ist. Aber: Man sollte zumindest versuchen, sich einem solchen Ergebnis anzunähern, und sei es auch nur, weil einem das Gefühl oder jahrelange Erfahrung sagen: Das dürfte passen. (Das ist sicher keine exakte Wissenschaft - deren Bedürfnissen wurden bereits im letzten Post Rechnung getragen -, aber der Versuch einer konkreten Annäherung)

    Lösung:

    Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

    • die drei Abweichungsfehler (MAF, MAPF, MQF) werden ebenfalls gemittelt
    • aus dem neuen Mittel wird die Wurzel gezogen - (seltene) Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

    ----------------------

    Neu ab Juni 2024:

    Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

    • die drei Abweichungsfehler (MAF, MAPF, MQF) werden ebenfalls gemittelt. Zuvor werden 2 der 3 Abrechnungsfehler zusätzlich gewichtet: der MAF wird quadriert, der MQF verdoppelt.
    • aus dem neuen Mittel wird die Wurzel gezogen - (seltene) Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

    -----------------------

    -----------------------

      Hintergrund:

      Bislang dominierte der MAPE durch seinen hohen Wert bei der Ermittlung der Prognosegüte - seine Bedeutung wird mit der Änderung verringert. Im weiteren erhielten bislang Prognosen, die (weit) abseits vom realen Ergebnis lagen, häufig noch eine 3 (ergo ein "befriedigend") vor dem Komma.

      Praktisch bewirkt die Änderung, dass sich die allermeisten Prognosen in ihrer Güte verschlechtern, die (sehr) Guten minimal, die Schlechteren zum Teil signifikant. Im ersten Fall hebt sich die Verdoppelung des MQS durch die Quadrierung des MAF größtenteils wieder auf (sofern letzterer Wert deutlich unter 1), im zweiten kommt die Änderung voll zum Tragen - je ungenauer eine Prognose desto größer die negative Veränderung in der Prognosegüte.

      Zwei Beispiele:

      alt
      neu
      alt
      neu
      Berechnung:Berechnung:Berechnung:Berechnung:
      MAE0,620,620,620,38442,612,612,616,8121
      MAPE6,826,826,826,8224,7424,7424,7424,74
      MSE0,640,640,641,2812,3912,3912,3924,78
      Summe8,088,4839,7456,33
      Mittelwert2,692,8313,2518,78
      Wurzel1,641,683,644,33
      Prognose-Güte1,64
      1,68
      3,64
      4,33

      Die obigen Beispiele wurden der Auswertung für die EU-Wahl 2024 in Deutschland entnommen.

      *************

      (Stand : Juni 2024)

      • Die Auswertung der Prognosen - Teil 3: Anmerkungen, das Kleingedruckte

        Wahlfieber Team, 19.09.2021 00:30, Antwort auf #4
        #5

        Im Besonderen:

        Der Umgang mit Parteien, die nicht in jeder Prognose ausgewiesen werden.

        Nicht immer ist die Anzahl der Parteien bei den einzelnen Prognosen identisch. Ein direkter Vergleich verlangt aber im Grunde eine identische Schnittmenge.

        Jedoch ist es nicht immer sinnvoll, Parteien aus einer Prognose zu streichen - schon gar nicht, wenn es sich dabei um Parteien handelt, die im Parlament vertreten sind bzw. nach der Wahl vertreten sein werden. Auch erscheint es problematisch, wegen eines einzelnen oder auch zwei Anbietern, die eine Partei, aus welchem Grunde auch immer, nicht ausweisen, die betroffene Partei in der Gesamtauswertung grundsätzlich außen vor zu lassen.

        Für diese Fälle haben wir folgende Lösung gefunden:

        1. Sollte eine (kleine) Partei nicht von allen Instituten/Prognoseanbietern ausgewiesen werden, wird sie dennoch bei der Prognoseauswertung berücksichtigt, wenn sie von einer qualifizierten Mehrheit (2/3) in deren Prognosen aufgeführt wird. Für eine Parlamentspartei ist es ausreichend, wenn sie mindestens bei der Hälfte der Anbieter Berücksichtigung gefunden hat.

        2. In den unter 1. beschriebenen Fällen wird bei der Auswertung die jeweils günstigere Prognose eines Anbieters (entweder mit bzw. ohne die betroffene Partei) zum Vergleich herangezogen.

        3. Die unter 1. genannten Quoren gelten als erfüllt, wenn sie auf die entsprechende Anzahl der einzelnen Prognosen oder aber der einzelnen Institute zutreffen. - (Hinweis: Von einigen Instituten wird zumeist mehr als eine Prognose erfasst. Für gewöhnlich trifft dies auf Wahlfieber, Prognosys, Infratest Dimap und Civey zu.)

        ******

        Hintergrund:
        Eine kleine Partei in einer Prognose auzuweisen, ist stets mit einem Risiko verbunden. Häufig wird dadurch die Prognose nicht verbessert, sondern im Gegenteil verschlechtert. (siehe: MAPF) Andererseits sollten stets alle im (neuen) Parlament vertretenen Parteien von einer Prognose abgebildet werden.
        Ein solches Risiko darf nicht zu Lasten eines einzelnen Anbieters gehen, sollte aber ggf. belohnt werden können.
      • Die Auswertung der Prognosen - Teil 4: die Anbieter von Prognosen in Deutschland

        Wahlfieber Team, 19.09.2021 00:31, Antwort auf #5
        #6

        Aktuell sind bei Wahlen in Deutschland folgende Anbieter und Institute (regelmäßig) aktiv - analog zur Gliederung im 2. Post:

        1. Umfrageprognosen

        a) klassische Umfragen (sogen. "Sonntagsfragen")
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        Forschungsgruppe Wahlen (Politbarometer) - Infratest Dimap (ARD + ÖRR-regional)- Civey - INSA - Wahlkreisprognose

        Nur primär zu bundesweiten Wahlen
        Allensbach - Forsa - GMS - Ipsos - pollytix - Trend Research - Verian (ehem. Kantar, Emnid) - YouGov

        In einzelnen Bundesländern auch: Forsa - YouGov

        b) Weitere Umfrage-Prognosen (KEINE "Sonntagsfragen")
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        Wahlfieber-Umfragen auf X

        c) Sonstige Prognosen auf Basis von Umfragen
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        Wahltrends: Dawum - PolitPro -

        Nur primär zu bundesweiten Wahlen
        Wahltrends: INWT Statistics - Pollytix

        2. kollektive Prognosen

        a) Wahlbörsen --- PESM (inaktiv) - Wahlfieber (2 Märkte)

        b) Wahltipps --- User folgender Plattformen: PESM (inaktiv) - Wahlfieber - Wahlrecht (inaktiv)

        3. Expertenprognosen

        aus Deutschland: MMI Wahltrend - Prognosys MasterVote - Prognos Umfragen - Wahlfieber Team (MMI)

        aus dem Ausland: Birnstingl aka Trude Beiler

        Nur primär zu bundesweiten Wahlen: PollyVote - Zweitstimme.org

        4. Sonstige Prognosen

        a) Nachwahlumfragen --- FGW - Infratest Dimap - bei einer BTW ggf. weitere

        b) Sonstige --- u.E. zur Zeit keine

        *************

        (Stand : Juni 2024)

      • Die Auswertung der Prognosen - Teil 5 - die Anbieter von Prognosen in Österreich

        Wahlfieber Team, 19.09.2021 00:32, Antwort auf #6
        #7

        Aktuell sind bei Wahlen in Österreich folgende Anbieter und Institute (regelmäßig) aktiv - analog zur Gliederung im 2. Post:

        1. Umfrageprognosen

        a) klassische Umfragen
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        GMK - Hajek - IFDD - Market - Market-Lazarsfeld - OGM - Spektra - Unique Research

        Nur primär zu bundesweiten Wahlen: Ipsos - INSA
        ...

        b) Weitere Umfrage-Prognosen (KEINE "Sonntagsfragen")
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        Wahlfieber-Umfragen auf X

        c) Sonstige Prognosen auf Basis von Umfragen
        zu (fast) allen Wahlen auf Landes- und Bundesebene
        Wahltrends:  PolitPro

        Nur primär zu bundesweiten Wahlen: 
        APA Wahltrend

        2. kollektive Prognosen

        a) Wahlbörsen --- Wahlfieber (2 Märkte)

        b) Wahltipps --- User folgender Plattformen: Wahlfieber

        3. Expertenprognosen

        aus Österreich: Birnstingl aka Trude Beiler - Wahlfieber Team (MMI)

        aus dem Ausland: ...

        Nur primär zu bundesweiten Wahlen: ...

        4. Sonstige Prognosen

        a) Nachwahlumfragen --- ORF - Puls 24

        b) Sonstige --- u.E. zur Zeit keine

        *************

        (Stand : Juni 2024)

      Beiträge 1 - 7 von 7

      Kauf dir einen Markt!

      » Mehr erfahren

      30.631 Teilnehmer » Wer ist online

      Erlesenes für das politische Ohr

      Kommende Wahlen

      In den nächsten Wochen und Monaten finden u.a. folgende Wahlen und Abstimmungen statt – zu allen Terminen werden (voraussichtlich) Märkte aufgesetzt:

      Wahltermine 2023

      (Hinweis: Links verweisen stets auf Wahlfieber.de - identischer Login)

      1. Halbjahr

      • Deutschland
      • Abgeordnetenhauswahl Berlin
      • Bürgerschaftswahl Bremen
      • Kommunalwahl Schleswig-Holstein
      • -
      • Österreich / Schweiz
      • Landtagswahl Niederösterreich
      • Landtagswahl Kärnten
      • Landtagswahl Salzburg
      • Kantonswahl in Zürich
      • Kantonswahl in Luzern
      • .
      • Europa
      • Präsidentschaftswahl Tschechien
      • Parlamentswahl Griechenland
      • Parlamentswahl Finnland
      • Weltweit
      • Parlamentswahl in der Türkei

      2. Halbjahr

      • Deutschland
      • Landtagswahl Bayern
      • Landtagswahl Hessen
      • -
      • Österreich / Schweiz
      • Nationalratswahl Schweiz
      • Europa
      • Parlamentswahl Luxemburg
      • Parlamentswahl Spanien
      • Parlamentswahl Polen
      • Landtagswahl Südtirol
      • Schottland - Unabhängigkeitsreferendum ?

      • Weltweit
      • Parlamentswahl Neuseeland

      Sonstiges

      • ...

      In Vorbereitung für 2024

        1. Halbjahr
        • Europawahl
        • GOP Presidential nominee 2024
        • Gemeinderatswahl Innsbruck, Salzburg
        • Fußball EM
        • weiteres folgt...
          2. Halbjahr
          • Präsidentschaftswahl USA
          • Landtagswahlen Brandenburg, Sachsen, Thüringen
          • Nationalratswahl Österreich
          • Landtagswahl Vorarlberg
          • weiteres folgt...

          Wie funktioniert das?

          So trägst du mit deinem Wissen zur Prognose bei » Mehr im Infocenter

          Fehler gefunden? Feedback?

          Fehlermeldungen und Feedback bitte per E-Mail an: help@wahlfieber.com