US Elections 2016: When all survey methods fail, the reason behind is NOT only sampling bias

In 2011 I wrote a post about pollster’s flops that were happening in SE Europe titled “It might happen to you: the case of the Slovenian Parliamentary Elections 2011“. And it is happening to you my dear colleagues all over the world: after recent Brexit flop, Croatian parliamentary elections flop, now we have the case of the ultimate flop US Elections. Seems to me the “pollster” business is close to become a “flopster” business…

For me it was quite clear Brexit was happen and that there is a great probability Trump will win. Actually I was sure, that much, that invested before the elections in Bitcoin – sold them immediately after the results came of course. Bitcoin is the currency that goes up when unpredictable things happen. Finally we pollsters got the “betting” platform.

Preokret pojašnjen: HDZ-HSLS u samom finišu izborne utrke preuzima i dio birača koaliciji pod vodstvom SDP-a

Suprotno svim prognozama istraživanja javnog mnijenja, u nedjelju je na izborima pobijedila koalicija HDZ-HSLS. Valicon “migration-poll” razotkriva da je koalicija HDZ-HSLS u samom finišu izborne utrke uspjela mobilizirati dio birača koji inače nisu namjeravali izaći. No odlučujući uspjeh donijela je činjenica, da su uspjeli oteti i dio birača koji su namjeravali glasovati za koaliciju pod vodstvom SDP. Jedno i drugo preokrenulo je rezultat u korist koalicije HDZ-HSLS.

 

VALICONov Press Release na Hrvatskom:

Volitve za Hrvaški sabor 2016: anketni flop ali preobrat?

Na Hrvaškem je uspelo agencijam, ki so izvajale predvoililne raziskave  (IPSOS Puls in Hendal) in exit-poll (IPSOS Puls) kar pošteno falit končni rezultat. Exit-poll je priznani tuj pollster nekoč označil kot “accounting” business – kar je res: potrebno je izbrati pravi vzorec, korektno preštet glasove in to čimprej sporočit medijem.

Za občutek – končni rezultat:

…in rezultati vzporednih volitev (IPSOS Puls za Nova TV):

Izgleda, da so izvajalci predlagali napačen vzorčni načrt za potrebno natančnost (pričakovan tesen izid namreč pomeni, da bi potrebovali še večje vzorce za pravilen “Call” ob 19:00)– ali premalo volišč, kjer se je anketiralo ali pa premalo izvedenih anket na samih voliščih. Napaka je pri velikosti vzorca n=30.000 zelo verjetno izven meja statističnih značilnosti (ker gre verjetno za večstopnejsko vzorčenje, bi za natančno analizo potrebovali natančen vzorčen načrt in ostale detajle…).

Ta napaka niti ni tako pomembna, bolj zanimivi so komentarji in ugibanja, ki so se pojavila ob razlagah preobratal oziroma flopa. Torej, se je zgodil flop ali preobrat? 

3 velika presenečenja referenduma 2015 (prispevek k razumevanju refrendumov)

Rezultati danes so resnično presentljivi. Res je prišlo 35% volivnih upravičencev, rezultat pa je bil resnično presentljiv, namesto 50:50, 37:63.

Kolega Hohkraut mi je poslal prve podatke VALICONovega migration polla (to je prvi refrendumski migration poll, pa že takoj tako zelo zanimiv). Post-anketo smo zagnali ob zaprtju volišč, re torej za prvih 700 anketiranih, ki so odgovarjali.

Na kratko, za kaj gre pri migration-pollu:

• iste osebe vprašamo po namerah v četrtek in petek pred volitvami,
• po zaprtju volišč – v nedeljo in ponedeljek pa iste vprašamo,
• kaj so res postorili – so se udeležili in kako so glasovali.
• Pri tem je za referendume ključna analiza, kaj se je dogajalo s predvideno udeležno in dejansko in pa seveda, vpliv na izbiro.

Več si preberite v sporočilu za javnost.

Referendumu nasproti: udeležba okoli 35%, zeloooo tesno bo

Poglej, poglej… referendume sem doslej nekako zanemarjal, verjetno tudi zato, ker jih na Valiconu ponavadi ne komentiramo. Včeraj smo se vseeno odločili, da prvič izvedemo pred in post anketo (tako imenovani “migration poll”) na primeru refrenduma. Je bil že čas. Za kaj gre? Iste osebe povabimo nekaj dni pred glasovanjem (ponavadi četrtek) in v nedeljo ob zaprtju volišč, da nam zaupajo svoje namene in dejansko odločitev (tudi neudeležbo). Anketa se izvaja na za naše razmere enormnih vzorcih anketirancev – najmanj 2000.

Več o raziskavi si poglejte tukaj.

O napovedovanju referendumov

Referendumi so sila nehvaležna zadeva za napovedovanje. Zakaj? Če imamo v primeru državnozborskih volitev težavo z napovedjo zaradi neopredeljenih, taktičnega glasovanja in neenakomerne mobilizacije dela volivnega telesa, je pri referendumih problem predvsem v veliko nižji volilni udeležbi, zaradi česar je rezultat veliko bolj podvržen vplivom neenakomerne mobilizacije volivcev.

V kontekstu referendumov je napoved nesmiselna, kvečjemu lahko izmerimo in komentiramo stanje čim bližje glasovanju (pričujoča anketa je bila izvedena včeraj in danes).

Volitve 2014: O “levih” in “desnih”

Zapis takoj po volitvah sem zaključil z mislijo o relevantnosti levega in desnega.

Morda pa predstavlja zmaga SMC začetek konca delitve na leve in desne? SMC je največ glasov sicer res dobil od nekdanjih volivcev levih strank, ne gre pa zanemariti kar nekaj glasov od nekdanjih volivcev desnih strank.

V tednu po volitvah je bilo kar nekaj zapisov povezanih z “levim” in “desnim”, na primer blog Žige Turka in Hada. Pa tudi Janez Šušteršiča, ki  me je v svojem zapisu ”Ne sodi mačka po žaklju” spodbudil, da se poigram s konceptom levo-desno. Ključna stvar je bila tale tabela:

Sicer je res, da govori o strankah leve in desne “koalicija”, kar pa se mi zdi rahlo mimo, sploh glede na to, kaj hoče prikazati s številkami – “Je desnica res največja poraženka volitev?”.

DZ volitve 2014: SMC na krilih taktičnega glasovanja pobiral od povsod, SDS pokopala neudeležba, soočenja pa očitno delajo

Nedeljske volitve so bile tokrat brez večjih presenečenj – v skladu s predvidevanji anketnih napovedi. Za razlago tako že v veliki meri zadoščajo primerjave absolutnih številk v času – SDS-ovi in SD-jevi volivci so izginili. Ampak… so izginili (poniknili med neudeležence) ali so se preselili k drugi stranki? Na taka vpašanja odgovarja migration-poll. Tokrat smo ga še malce začinili z nekjaj vsebinskimi vprašanji, ki še dodatno pojasnjujejo vedenje slovenskega volivca.

Lahko bi se zgodilo marsikaj, volivci pa so se le premešali na levi, na desni pa so ostali doma

Tako nekako bi lahko opisali rezultate že tradicionalne Valiconove migracijske analize (analiza 2011 in analiza 2008). Migracijska analiza temelji na dveh anketah izvedenih na 1127 anketiranih (toliko je bilo zbranega do ponedeljka 17:00), ki so sodelovali pred (četrtek po soočenjih) in po volitvah v nedeljo.

Spodaj so prikazane migracije anketiranih glede na to, koga so volili 2011 in koga so volili na predčasnih volitvah  za DZ.

Volitve 2014: Bo tokrat prišlo do mobilizacije na desni?

Letošnje predčasne volitve so posebne v marsičem,  predvsem pa tovrstne kombinacije okoliščin, še nismo imeli in je tudi ne bomo imeli.

• Potekajo praktično v času poletnih počitnic (prvič doslej) in v nedeljo na dan volitev kakor kaže bo lepo sončno vreme…
• Še huje potekajo v času Svetovnega nogometnega prvenstva. Večina predstavitev kandidatov je potekala prav v času tekem, torej je bila možnost ogleda realnih predstavitev kandidatov zelo slaba, razen tistih nekaj srečnežev, ki so imeli predstavitve v dnevih premora (mislim, da je bil ta srečnež Cerar). Tako so bila soočenja zadnja dva dni šele prva resna priložnost za nagovor volivcev.
• Zanimiva bo analiza, komu so mediji posvečali največ pozornosti – verjetno bo med zmagovalci Janez Janša in SDS, ki so imeli cel teden pred volitvami vsakodnevno dogajanje pred sodiščem, potem je tu Stranka Mira Cerarja (SMC), ki so jo mediji že dokaj zgodaj praktično razglasili za zmagovalca in pa Alenka Bratušek, ki je zaradi pozicije in svojih medijsko zanimivih potez bila stalno v prvem planu.
• Stalnice slovenskih volitev so novo-nastale stranke z imeni voditeljev, ki hitro pridobijo naklonjenost volivcev, dokler jim nečesa ne odkrijejo. Tokrat je to SMC, ki lepo vzdržuje dober rezultat od samega vstopa.

Petkova Diareja ne bi mogla boljše prikazati vzdušja.

Pa se je začelo: Cerar z naskokom, kar smo že videli leta 2011

Za razumevanje dogajanja letošnjih poletnih volitev je potrebno razumeti, kaj se je dogajalo z novimi obrazi leta 2011. Mimogrede, volitve 2011 so silno dobro analizirane v dokumentih, ki so nastali takoj po volitvah za DMS.

Ključna slika je naslednja – prikazuje dinamiko novih obrazov v obdobju kampanije.

Konsolidirani, razsuti in fragmentirani – Volitve v Evropski parlament 2014

Pred časom so me povabili na Frekvenco X na VAL 202, da pokomentiram Natea Silverja v kontekstu sedanjih volitev. Še vedno, še toliko bolj pa ob pregledovanju današnjih napovedi, trdim, da si Nate Silver pri nas nikakor ne bi upal napovedat rezultatov volitev v Evropski parlament 2014.

Silver govori o dveh silno pomembnih konceptih pomembnih za napovedovane: o tveganju in negotovosti:

• tveganje (risk) – njega poznamo, za določeno oceno vemo, kakšen je rizik, da smo zgrešili. Tu govorimo pri anketnem raziskovanju o zanesljivosti ocen, o intervalih zaupanja – večji kot je vzorec, manjše je tveganje.
• negotovost (uncertainty) – je rizik, ki je neizmerljiv. Za ta del lahko uporabio kvalitativna opažanja in intuicijo. Za razvoj intuicije je potrebno nekaj poskusov, ki jih je bilo vsaj v primeru volitev v Evropski parlament za enkrat premalo. Ko to preslikamo v algoritme, potem bodo te ocene boljše.

Stopnja negotovosti je v primeru aktualnih volitev resnično velikanska: nevpletenost. odločanje v zadnjem trenutku, popolnoma novi obrazi, ki so dobro oddelali svojih pet minut, nenapovedljivi vlečni učinki…