Los sondeos, a examen

He colgado esta entrada en pleno 20N, horas antes de cerrarse las urnas. No es, pues, sobre resultados electorales. Intencionadamente, porque muchos aspectos del análisis que prometí sobre las encuestas preelectorales deben hacerse “a ciegas”, antes de que los propios datos oficiales fuercen algunos argumentos y, desde luego, para evitar cualquier tentación ‑y acusación‑ de ventajismo.

Se está extendiendo entre algunos colegas una postura “resultadista” a la hora de valorar la calidad de los estudios de intención de voto. Según ella, lo que deberíamos hacer cuando los resultados coinciden básicamente con los pronósticos, es sacar pecho y desplegar los mayores esfuerzos en resaltar la calidad de los institutos. En caso contrario, recurriremos a clásicos como el voto oculto, a la imposibilidad de interpretar el grado de movilización de unos u otros, a movimientos de última hora que no pudieron ser captados… cualquier cosa que sea suficientemente borrosa para retirarnos discretamente de la primera línea de actualidad.

No comparto esa actitud. Con lo que conocemos y deducimos de los estudios publicados con ocasión de estas elecciones ya podemos determinar si se han sujeto a las buenas prácticas de la investigación y a las metodologías apropiadas a los sondeos electorales. Lo podemos y lo debemos hacer antes de publicarse los resultados finales. Anticipo que el balance me resulta algo preocupante. Insisto, antes de conocer el grado de acierto de los sondeos o, mejor dicho, con independencia y a pesar de dicho acierto.

Sé que valorar el trabajo de las empresas con solo el material que se publica puede no ser suficiente. Existe una conocida y razonable tensión entre el medio y el instituto. El primero quiere recibir una información de calidad, por supuesto, pero enseguida está preocupado por el gran titular, por explotar la información al máximo, por la literatura asociada al estudio, por la notoriedad, la publicidad y la audiencia. Eso choca, a veces, con la preocupación del instituto porque se publique información detallada de la metodología y la técnica del estudio y porque no se alcancen más conclusiones que las razonablemente fundadas… Solo a veces, porque otras la tensión cede su sitio a la complicidad.


Prácticas manifiestamente mejorables

En las cuatro semanas anteriores al 20N he identificado y controlado 48 encuestas de intención de voto de ámbito nacional. Nueve de ellas las he tenido que excluir por carencia de elementos de credibilidad básicos: falta de autoría o autoría no identificable, por ejemplo. Las 39 restantes han tenido distintos grados de insuficiencia a las que, salvo excepción, haré referencias solo genéricas. Veamos un surtido no exhaustivo.

En algunas de ellas hay falta de referencias a la muestra, a las fechas de campo, al sistema de recogida o a una combinación de esos factores. En varias más cualquier ficha técnica se sustituyó por algún dato anecdótico de la operación.

En un par de casos, aparece como muestra neta lo que a todas luces no es sino el acumulado móvil de lo que en la jerga denominamos un tracking. La muestra real del período de referencia no llega a la cuarta parte. Por consiguiente, los márgenes de error que se expresan tampoco son correctos. En cuanto a los márgenes de error, práctica menos trascendental pero muy extendida ha sido la de estimar el correspondiente a un muestreo aleatorio simple cuando previamente se habían declarado sistemas de afijación estratificada o no proporcional de la muestra.

Una práctica casi generalizada ‑y esta de la máxima importancia‑ ha sido la de no informar de la pregunta directa sobre intención de voto; ni de su enunciado ni de sus resultados. A mi juicio, se trata de la clave de todo sondeo de intención de voto y tiene dos funcionalidades: de una sabemos, junto a las preferencias a los distintos partidos, qué porcentaje de personas no responde o no sabe aún qué votar. Como se puede entender, esa magnitud nos pone sobre la pista de lo que podrían aún moverse los resultados y, también, de lo que se juega el instituto porque tiene siempre que probabilizarlos, es decir, que inferir cuál será finalmente su actitud ante la urna.

De otro lado, al conocer la intención directa de voto junto a la estimación de voto válido, podemos deducir en qué dirección y con qué peso (con suerte, incluso por qué razón) el instituto ha hecho las correcciones que entendiera pertinentes, es decir, cuál ha sido la cocina de la encuesta.

Luego están las extralimitaciones y la más frecuente la de estimar los escaños según los datos de una encuesta. No se necesitan mucho comentarios, salvo reseñar que ha habido encuestas que han repartido el Congreso a partir de una muestra de 500 entrevistas que, en la mayoría de los casos, no serían suficientes casi ni para una sola provincia.


El universo de los sondeos: el increible caso del universo menguante

Está, por último, un fenómeno de los últimos años, sobre el que pasamos de puntillas una y otra vez. Me refiero a que, por diversas razones, cada vez el universo representado por una muestra de las que se utilizan en los sondeos preelectorales es menos representativo del universo teórico.

Veamos las características generales de estos sondeos: dicen representar al conjunto de individuos con derecho a voto; seleccionan una muestra de determinada cuantía y criterios de distribución; y con esos criterios se buscan teléfonos para hacer ‑y se hacen‑ las entrevistas necesarias. Pero la distancia entre la teoría y la práctica es muy distinta y se ve afectada cada vez por más limitaciones que merman su representatividad y su calidad. Sugiero que se siga el ejemplo aproximativo de cuadro siguiente: el increíble caso del universo menguante.

Casi 36 millones de españoles podríamos votar hoy, pero es notorio que las encuestas se hacen a una muestra solo de residentes en España; luego ya dejamos fuera casi 1,5 millones de españoles censados en el extranjero. A continuación debemos contar con un hecho sociológico nuevo pero muy relevante en la cuestión que debatimos: la cantidad de personas, casi todas disponiendo de móvil, que viven en hogares sin teléfono fijo. El prestigioso Estudio General de Medios establece el último dato en 24,2%. Es decir, que a los 34 millones de electores que nos quedaban, debemos ahora descontar nada menos que otros ocho millones a los que solo se podría acceder incorporando teléfonos móviles a nuestra muestra, cosa que, por muchas razones tediosas e explicar aquí, no se hace en estas ocasiones.

De los casi 36 millones potenciales, ya solo nos quedan 26. Pero, por lo general, para extraer los números telefónicos donde llamar, los institutos se basan en directorios o guías que sabemos que están incompletas (a veces faltan operadores) o no incorporan los teléfonos de personas que, atendiendo a su privacidad, no quieren constar en guías telefónicas. (Añádase a ello la práctica cada vez más frecuente de tener programado el aparato para que rechace llamadas procedentes de números ocultos…). Por unas razones u otras, los cálculos más prudentes dicen que no pasan del 80% los teléfonos de hogares que están en guías de uso público; entonces tendremos que descontar un nuevo 20% a nuestro universo menguante y estaríamos en solo el 62% del universo, es decir, en 22 de los casi 36 millones con derecho a voto.

Además, podemos darnos definitivamente un tiro en el pié si recordamos aquéllos que en la pregunta de intención directa de voto no expresaban preferencia por ningún partido, en torno a  otro 20% de nuestra muestra, ya bastante perjudicada. Tendríamos que descontar, por eso, otros 4,4 millones de electores y resultaría que nuestras estimaciones de voto se están basando en informaciones directas que recogemos de muestras (más o menos grandes) que no llegan a representar la mitad del universo.


De la opacidad a la transparencia

A pesar de su extensión, no tienen estas líneas el objetivo de resolver una problemática por lo que se ve de bastante calado. Sí el de incitar a su debate en los ámbitos profesionales en los que precede. El sector tiene madurez más que sobrada. Los clientes también.

Porque este oscurantismo puede resultar más que sospechoso, no solo para los estudios preelectorales sino para el conjunto de la investigación social y de mercado. Conduce inevitablemente a pensar, cuando los sondeos “aciertan”, que es producto de prácticas ocultas, casi esotéricas; pero cuando se equivocan, que es la simple consecuencia de una insoportable impericia.

Nada bueno, en todo caso, si miramos para otro lado.