Neue Auswertungstabellen / Neuberechnung der Prognosegüte

• Neue Auswertungstabellen / Neuberechnung der Prognosegüte

  Wahlfieber Team, 16.01.2025 23:06

  #1
  

  Hallo Community,

  wir haben in den vergangenen Wochen die Auswertungstabellen komplett überarbeitet.

  Somit liegt jetzt erstmalig auch eine komplette Auswertung der Wahlen in Österreich vor - analog zu den Auswertungen für die deutschen Wahlen. Wir werden diese nach der Burgenlandwahl einstellen.

  Im Weiteren wurde die Darstellung der Methodiken verändert. Es wird nun differenziert nach:

  • kollektibven Prognosen - Wahlbörsen, Wahl-Tipps
  • klassischen Umfragen - sogen. "Sonntagsfragen"
  • weiteren Umfragen - sonstige Umfragen sowie Prognosen auf Basis der klassischen Umfragen
  • Expertenprognosen

  Für Deutschland wurden zusätzlich die Anbieter bereinigt und ergänzt

  Es fallen künftig weg:

  PESM-Wahlbörse / wahlrecht.de Wahl-Tipp - für beide gilt: Betrieb eingestellt - sowie die Civey-Prognose für den "Spiegel"

  Hinzu kommen:

  • PolitPro Wahltrend, Pollytix Wahltrend - unter: Prognosen auf Basis der klassischen Umfragen
  • MMI-Wahltrend - unter: Expertenprognosen
  • die  Umfragen von Walfieber (auf X) und Sendestoerung.de (ein Nebenprodukt der zuerst angeführten X-Umfrage) - unter: sonstige Umfragen

  ---------------------

  Zusätzlich wurde eine Änderung in der Ermittlung der Prognosegüte vorgenommen:

  1. statt des MAPE wird ab 2024 ein symmetrischer MAPE verwendet - diese Umstellung ruduziert den bisher hohen Anteil des MAPE bei der Bestimmung der Prognosegüte
  2. die richtige Reihenfolge der Parteien fließt nun ebenfalls in die Prognosegüte ein. Jeder Fehler wird mit einem Aufschlag von 0,1 "bestraft"

  Beides führt dazu, dass sich der Abstand in der Güte zwischen guten und schlechten Prognosen signifikant erhöht. Die Anlehnung an Schulnoten bleibt erhalten.

  Die Berechnung der Prognosegüte erfolgt - rückwirkend für 2024 und künftig - gemäß folgender Formel: Wurzel aus dem Mittelwert von MAE³ + 2*MSE + 2*sMAPE - Ausnahme: Liegt der Mittelwert in seltenden Fällen unter 1, wird nicht die Wurzel "gezogen", sondern quadriert.

  Details stehen in Kürze im Thread: http://www.wahlfieber.at/de_du/forum/WaFi-Team/7585/

  ---------------------

  Wenn auch "nur" ein persönliches Ein-Mann-Projekt und keine Team-Leistung:

  Der MMI-Wahltrend wurde ebenfalls weiter entwickelt und liegt nun nicht nur allein für Deutschland, sondern auch für Österreich, die Schweiz und diverse europäische Staaten sowie für die USA und Canada vor. Auch hier gilt: Details folgen.

  Der MMI-Wahltrend ist auf X erreichbar über: https://x.com/wahl_prognosen

  • Reply

  Link prediction

  There is 1 a reply to this post.

• Rangliste der Prognosen zu den Wahlen in Österreich - Stand: Ende 2024

  Wahlfieber Team, 21.01.2025 06:29, Reply to #1

  #2
  

  Vorbemerkung:

  In der nachfolgenden Tabelle sind die letzen 12 Wahlen auf Landes- und Bundesebene in Österreich ausgewertet worden.

  In die Gesamtauswertung sind nur jene Institute und Anbieter eingeflossen, die Prognosen für mindestens sieben Wahlen (incl. zwei bundesweiten Wahlen) abgegeben haben. (Diese Mindestanforderung erfüllen diverse Anbieter nicht - bei denen steht in der Spalte "Rang" keine Ziffer, sondern lediglich ein " X ")

  .		Anzahl		Fehler					Prognose
  .		Prognosen		MAF	MAPF	s MAPF	MQF		Note / Güte		Rang
  				(MAE)	(MAPE)	(sMAPE)	(MSE)
  1. kollektive Prognosen	WB
  1.1 Wahlbörsen
  Wahlfieber		12		1,42	16,13	7,71	3,75		2,93		3
  Wahlfieber (intern)		8		1,42	16,73	8,23	4,11		3,03		4
  1.2 Wahltipps
  Wahlfieber-User		10		1,48	16,82	8,11	4,50		3,08		5
  2. klassische Umfragen	Umfrage
  "Sonntagsfragen"				MAF	MAPF	s MAPF	MQF		Note / Güte		Rang
  IFES		2		1,67	16,98	8,49	4,02		3,14		X
  INSA		2		1,53	26,06	11,61	4,33		3,44		X
  Unique Research		6		1,22	12,82	6,35	2,66		2,57		X
  Hajek		7		2,15	23,11	10,98	7,98		3,99		9
  Market		6		1,56	15,90	8,38	4,74		3,16		X
  OGM		5		1,47	17,85	9,55	3,12		3,08		X
  Lazarsfeld		8		1,66	15,52	7,68	5,70		3,23		7
  GMK		3		2,44	24,04	12,28	8,14		4,29		X
  IFDD		6		1,68	13,99	6,98	5,95		3,19		X
  Triple M Matzka		3		2,54	32,68	14,96	13,36		4,93		X
  Spektra		4		2,23	23,37	13,65	8,86		4,33		X
  Diverse Anbieter		7		2,46	31,53	12,89	9,63		4,47		X
  Diverse - inaktiv		3		2,71	30,04	14,46	12,61		4,96		X
  3. sonstige Umfragen	s. Umfr.
  .				MAF	MAPF	s MAPF	MQF		Note / Güte		Rang
  3.1. weitere Umfragen
  Sendestoerung.de		5		1,51	18,96	8,62	3,98		3,09		X
  Wahlfieber - Umfragen auf X		6		1,57	19,66	8,98	4,45		3,20		X
  3.2 sonstige Umfr.-Prognosen
  APA Wahltrend		3		1,23	14,03	6,78	2,50		2,61		X
  PolitPro Wahltrend		11		1,60	16,25	8,54	5,51		3,28		8
  Sonstige		1		2,16	21,01	9,11	8,38		3,87		X
  4. Expertenprognosen	EP
  Wahlfieber Team (MMI)		12		1,41	16,45	8,05	3,82		2,98		2
  Birnstingl (aka Trude Beiler)		11		1,51	16,09	8,43	4,36		3,11		6
  MMI-Wahltrend		12		1,30	14,40	7,14	3,46		2,79		1
  .				MAF	MAPF	s MAPF	MQF		Note / Güte		Rang
  Durchschnittswerte
  1. kollektive Prognosen
  1.1 Wahlbörsen		20		1,42	16,37	7,92	3,89		2,97		2
  1.2. Wahltipps		10		1,48	16,82	8,11	4,50		3,08		4
  Summe 1		30		1,44	16,52	7,98	4,10		3,01		3
  2. klassische Umfragen
  Summe 2		62		1,90	20,84	10,10	6,76		3,68		9
  3. weitere Umfragen
  3.1. weitere Umfragen		11		1,54	19,34	8,82	4,23		3,15		5
  3.2. Sonstige Umfr.-Prognosen		15		1,56	16,12	8,23	5,10		3,19		7
  Summe 3		26		1,55	17,41	8,46	4,75		3,17		6
  4. Expertenprognosen
  Summe 4		35		1,41	15,65	7,87	3,88		2,96		1
  Gesamtdurchschnitt
  (aller Bereiche 1 - 4)		153		1,64	18,23	8,90	5,23		3,30		8
  .				MAF	MAPF	s MAPF	MQF		Note / Güte
  TOP 3
  MMI Wahltrend	EP		1	1,30	14,40	7,14	3,46		2,79
  Wahlfieber Team (MMI)	EP		2	1,42	16,13	7,71	3,75		2,93
  Wahlfieber	WB		3	1,41	16,45	8,05	3,82		2,98
  Wahlfieber (intern)	WB		4	1,42	16,73	8,23	4,11		3,03
  Wahlfieber User (Wahltipp)	WB		5	1,48	16,82	8,11	4,50		3,08
  Birnstingl (aka Trude Beiler)	EP		6	1,51	16,09	8,43	4,36		3,11
  Lazarsfeld	Umfrage		7	1,66	15,52	7,68	5,70		3,23
  PolitPro Wahltrend	s. Umfr.		8	1,60	16,25	8,54	5,51		3,28
  Hajek	Umfrage		9	2,15	23,11	10,98	7,98		3,99
  Ohne Listung im Ranking
  (da nur 4 - 6 Prognosen)
  Unique Research	Umfrage			1,22	12,82	6,35	2,66		2,57
  OGM	Umfrage			1,47	17,85	9,55	3,12		3,08
  Sendestoerung	s. Umfr.			1,51	18,96	8,62	3,98		3,09
  Market	Umfrage			1,56	15,90	8,38	4,74		3,16
  IFDD	Umfrage			1,68	13,99	6,98	5,95		3,19
  Wahlfieber - Umfragen auf X	s. Umfr.			1,57	19,66	8,98	4,45		3,20
  Spektra	Umfrage			2,23	23,37	13,65	8,86		4,33
  TOP nach Methode				MAF	MAPF	s MAPF	MQF		Note / Güte
  (mind. 7 Prognosen)
  1. Kollektive Prognosen
  Wahlfieber				1,41	16,45	8,05	3,82		2,98
  2. klassische Umfragen
  Lazarsfeld				1,66	15,52	7,68	5,70		3,23
  3. sonstige Umfragen
  PolitPro Wahltrend				1,60	16,25	8,54	5,51		3,28
  4. Expertenprognosen
  MMI-Wahltrend				1,30	14,40	7,14	3,46		2,79
  Beste abgegebene Prognose
  Wahlfieber auf X	Umfrage			0,50	7,16	3,21	0,54		1,70
  (für LTW Steiermark 2024)

  Legende:

  • MAF: mittlerer absoluter Fehler --- oft auch MAE - Mean absolute error
  • MAPF: mittlerer absoluter prozentualer Fehler - oft auch MAPE- Mean absolute percentage error
  • sMAPF - symmetrischer MAPF
  • MQF: mittlerer quadratischer Fehler--- oft auch MSE- Mean squared error
  • "X" in der Spalte R: Prognose wird beim Ranking nicht berücksichtigt
  • "--" in der Spalte R: fließt nicht in Berechnung des Durchschnits ein - zumeist reine zusätzliche Information

  Weitere Erläuterungen unter:

  http://www.wahlfieber.de/de_du/forum/WaFi-Team/7585/

  *********

  Anmerkungen:

  Die Auswertung beinhaltet ebenfalls die Landtagswahl im Burgenland, Jänner 2025

  • Reply

  Link prediction