¿Porqué las encuestas se “equivocaron”?

Israel Acuña - Edil del Partido Nacional

Tweets por @Agesor24hs

@gesor es de acceso completamente gratuito para nuestros lectores, pero si quieres apoyar nuestro trabajo con un donativo, te damos dos opciones, la primera de un único pago de U$S2 (dolares americanos dos) o la segunda con una suscripción de U$S1 (dolares americanos uno) por mes, la que puedes realizar en pagos mensuales o un pago anual.

El equipo de @gesor agradece desde ya vuestro aporte, el que nos permitirá seguir creciendo y brindando cada vez más contenido.

Si quieres colaborar con un monto distinto, por favor contacta con info@agesor.com.uy indicando el monto con el que quieres colaborar y te haremos llegar el formulario de pago.

Moneda	Compra	Venta
	38.05	41.05
	0.05	0.35
	7.23	9.23
	40.54	45.39

03 de November del 2014 a las 12:38 -

¿Porqué las encuestas se “equivocaron”?

De manera experimental, realizamos encuestas a partir de facebook

De manera experimental, realizamos encuestas a partir de facebook. Con una metodología similar a la del Grupo Radar, se recabaron unas 10.000 respuestas desde el 19 de octubre hasta la elección y 4.400 en el horario de votación dirigida a quienes ya habían votado o decían tener intención firme, donde no era posible indicar la opción de indeciso. La encuesta se hizo sobre la base de preguntar en cada departamento que lista se iba a votar, señalando número, lema y candidatos a presidencia, senado y diputados. Luego en planilla de cálculo se acumuló por lema, candidatura al senado y sublema al senado. Adicionalmente se preguntó edad, sexo,nivel educativo, voto en octubre de 2009 y residencia dentro del departamento. Barrio para Montevideo de acuerdo a las secciones electorales y en el interior se especificaban todas las localidades de más de 5.000 habitantes, localidades de menos de 5.000 habitantes sin detallar y zonas rurales. En ese sentido se obtuvieron respuestas de todos los barrios de Montevideo, de todas las localidades mayores de 5.000 habitantes y de todas las zonas rurales de los departamentos del interior. También se preguntó por nivel educativo y voto en balotaje de 2009, datos que finalmente no se utilizaron. De la misma manera se preguntó por intención de voto en un eventual balotaje. A diferencia del Grupo Radar, no se realizaron preguntas relativas al contexto socioeconómico del encuestado, con lo cual resultó una encuesta muy compacta que llevaba un término medio de dos minutos para cada respuesta.

Para convocar a los encuestados se utilizaron avisos pagos de facebook, y un software online estándar para encuestas.

Se observó que la muestra resultaba sumamente distorsionada, fundamentalmente en lo que refería a voto en 2009 y sexo, ya que estaban sobrerrepresentados votantes del Frente y mujeres. La idea inicial era ponderar cada voto de manera de equilibrar la muestra. La principal incógnita era averiguar si la presencia de un votante en facebook y la disposición a contestar una encuesta online pudiera implicar un sesgo que descartara la metodología.

Proyectando los indecisos por edad y voto en el 2009 se obtuvo un resultado muy similar al que Grupo Radar publicara el 22 de octubre en una encuesta realizada en días similares.

La evolución de la encuesta fue la siguiente. En la tabla se muestran cortes de 1000 respuestas, y luego se promedian en dos de 5.000 y una total.


Inicio	Fin	Cant.	FA	PN	PC	PI	AP	PE	PT	BL	AN	IN
##########	##########	1030	41,90%	30,80%	13,70%	2,50%	1,00%	2,00%	0,00%	1,50%	1,40%	5,20%
##########	##########	1031	41,10%	30,90%	12,20%	3,90%	1,70%	1,00%	0,00%	1,40%	1,50%	6,40%
##########	##########	1030	43,00%	31,40%	13,70%	3,00%	1,00%	1,50%	0,30%	0,70%	0,70%	4,60%
##########	##########	1010	48,40%	27,70%	14,10%	1,80%	2,40%	0,50%	0,00%	0,70%	0,80%	3,70%
##########	##########	1010	43,90%	31,80%	12,00%	2,60%	1,40%	1,30%	0,10%	1,00%	1,30%	4,50%
##########	##########	1010	43,20%	29,50%	14,70%	2,30%	1,00%	0,30%	0,20%	1,10%	1,20%	6,40%
##########	##########	1010	42,30%	35,30%	11,20%	1,70%	1,00%	1,30%	0,10%	1,20%	0,80%	5,10%
##########	##########	1010	40,00%	31,60%	14,30%	2,00%	1,20%	0,80%	0,00%	0,80%	2,60%	6,70%
##########	##########	1010	44,50%	28,70%	12,60%	1,80%	1,50%	0,60%	0,40%	2,40%	0,90%	6,70%
##########	##########	1010	43,70%	27,70%	14,20%	3,30%	1,50%	2,50%	0,50%	0,90%	0,80%	4,90%

##########	##########	5111	43,70%	30,50%	13,10%	2,80%	1,50%	1,20%	0,10%	1,10%	1,10%	4,90%
##########	##########	5091	42,70%	30,60%	13,40%	2,20%	1,20%	1,10%	0,30%	1,30%	1,30%	6,00%

##########	##########	10202	43,20%	30,50%	13,30%	2,50%	1,40%	1,20%	0,20%	1,20%	1,20%	5,40%
	Real		47,80%	30,90%	12,90%	3,10%	1,10%	0,80%	0,10%	1,90%	1,50%
	Diferencia		4,60%	0,40%	-0,30%	0,60%	-0,30%	-0,40%	0,00%	0,70%	0,30%

	Boca de Urna	4416	47,50%	32,50%	14,00%	2,80%	1,30%	0,50%	0,00%	0,70%	1,00%
	Real		47,80%	30,90%	12,90%	3,10%	1,10%	0,80%	0,10%	1,90%	1,50%
	Diferencia		0,30%	-1,60%	-1,10%	0,30%	-0,20%	0,30%	0,10%	1,20%	0,50%

Aquí se observan varios elementos que explican los “errores” de las encuestadoras, y vayan comillas porque en realidad como veremos por la metodología utilizada no pueden calificarse de tales. Lo que se ve con claridad que cuando se toman mil muestras, la diferencia alrededor del promedio para el Frente Amplio es del orden de un máximo de 3,5%, que es el margen de error para una muestra de este tipo en una variable que se encuentra en el 50%. Luego para los demás lemas esa dispersión se acota. Que quiere decir, que si un encuestador hace mil encuestas va a tener este tipo de dispersión. Podrá acotar el error promediando con encuestas anteriores, pero eso no necesariamente puede mejorar el ajusta, ya sea por mala suerte en la muestra, ya que por definición la muestra se toma al azar, o porque la variable medida se mueva rápidamente.

Lo segundo es el ajuste que tienen las dos muestras acumuladas. Teóricamente porque en este caso el margen de error baja al orden del 1%, pero además todo indica que se trataba de un escenario estacionario, que además incluía a los indecisos que permanecieron invariables hasta el fin del horario de votación.

Lo siguiente que ocurrió fue que nuestro resultado de boca de urna, con 4400 respuestas tuvo un ajuste con error mínimo. El primer pronóstico fue 47,5/32,4/14,0/2,8/1,3/0,5/0,0/ Por cierto en un primer instante cuando vimos que encuestadores arrancaban con el Frente en 43% asumimos que la metodología era equivocada. En realidad los “equivocados” para nuestra sorpresa resultaron otros. Este resultado dio un fuerte indicio sobre la validez de la metodología.

Va de paso un error cometido por un cálculo equivocado de votos blancos y anulados que nos llevó a dar ganador al Si.

Lo otro que queda en evidencia, es que no sólo los indecisos se mantuvieron hasta que entraron en el cuarto secreto, sino que además se volcaron en su totalidad al Frente. Al menos en términos estadísticos, los indecisos que eventualmente se pudieran haber volcado a otras opciones, son virtualmente indetectables con la metodología utilizada.

También observamos que durante la jornada de votación de 8 a 19:30, el primero de cinco cortes en que dividimos la muestra, le dio al FA 41, y luego 46, 46, 47 y 50. Hay que decir que la muestra se ajusta para que todos los rangos de edad tengan el peso del conjunto de la población, con lo cual esto no se puede explicar por mayor presencia de votantes de mayor edad en la muestra. Lo que podría existir es un efecto que los votantes –o navegantes de internet- de las primeras horas de la mañana son menos propensos de votar al Frente.

Así, algún encuestador privilegió el corte de la mañana, terminó de complicarla, porque para peor le coincidía con la encuesta previa y la proyección de indecisos asociada con lo cual les daba confianza para publicarla. En nuestro caso para hacer la proyección descartamos el primer corte ya que desde el análisis tanto estadístico como político resultaba claro que las últimas muestras lucían más consistentes con nuestra impresión previa –a contramano de la opinión general- que los indecisos –o quizás voto oculto- se volcarían al Frente. Dicho esto con la salvedad que en nuestra primera encuesta proyectamos los indecisos con la metodología generalizada. Dado que nuestro objetivo era validar la metodología, la coincidencia con el resto de las encuestadores, en particular Radar y Opción, nos mostraba que la metodología podía ser viable.

Con los resultados a la vista pudimos ver incluso que lo que mejor ajustaba con el resultado final era la media de los últimos tres cortes. Los cuales además mostraban a las claras que la probabilidad de mayoría en diputados del Frente empezaba a tomar cuerpo.

Es claro en consecuencia que hubo un error de base en las hipótesis de distribución de indecisos, algo que es imposible superar con herramienta estadística alguna por más sofisticada que sea. El error consistió claramente en utilizar modelos de proyección de indecisos que surgidos de elecciones pasadas, y trasladarlos linealmente como si fueran una ley permanente e inmutable. Por cierto que a falta de otra referencia, el error es más que comprensible. Con los datos a la vista, queda bien clara esa dificultad, con lo cual, con vistas al futuro deberán tomarse los resguardos del caso a la hora de la comunicación pública de las proyecciones de indecisos.

Por otra parte, una encuesta que realizamos la semana posterior a la elección, indicaba que un porcentaje de decisiones del mismo orden se daba el último día, incluso en el propio cuarto secreto, lo que sugiere que estos indecisos lo fueron hasta el último momento a pesar de su predisposición al voto al Frente.

En resumen, mala suerte con la muestra en las encuestas previas, mala suerte con la muestra en la muestra del boca de urna y un modelo de proyección de indecisos válido en elecciones anteriores pero no en esta explican lo ocurrido.

Este trabajo estuvo a cargo de Walter Galmarini en el análisis político electoral y Bruno Vuan en los aspectos técnicos y estadísticos.

(1856)

A los lectores de @gesor que realizan comentarios, en particular a quienes ingresan en la condición de incógnito, no se molesten en hacer comentarios ya no son publicados debido a que no dejan registro de IP ante eventual denuncia de alguna persona que se sienta dañada por ellos.
Igualmente reiteramos lo que hemos escrito en anteriores oportunidades, que pueden referirse con la dureza que se entienda pertinente pero siempre dentro del respeto general y no discriminando ni agraviando, o con expresiones que de alguna manera inciten a la violencia. Los comentarios son una herramienta maravillosa que debemos preservar entre todos.

Quiere comentar esta noticia?

* Campos obligatorios

* Nombre:
* Correo Electrónico:
* Comentario:


* Caracteres