Datos del CIS VS datos de Sociométrica

Datos del CIS VS datos de Sociométrica

Contexto

Tras las Elecciones Europeas, numerosos medios, demoscópicas y personas independientes han realizado análisis post electorales.
Entre ellos Sociométrica analizando cómo han votado a PP y PSOE en las Elecciones Europeas.

Hasta aquí todo bien.
¿El problema? El siguiente Tweet que publicó Sociométrica para difundir el artículo de El Español.

Concretamente el final de esta frase: «Hilo basado en Datos de Sociometrica (NO del CIS, por su notable imprecisión)».
¿Por qué? Por es Falso y Sociométrica lo sabe. Al igual como lo saben todos los profesionales del sector de la demoscopia política. Todas las personas que nos dedicamos a esto sabemos perfectamente que el problema del CIS no son sus datos, sino las estimaciones de Tezanos. Esas estimaciones totalmente sesgadas hacia la izquierda y que han manchado la imagen de una institución como el CIS.

Pero lo malo y erróneo del CIS son sus estimaciones, no sus Datos. Y lo vamos a seguir repitiendo hasta la saciedad y lo vamos a demostrar.

Por ello, nos vimos en la necesidad de responder al Tweet de Sociométrica, recalcando lo que acabamos de explicar.

La idea en ese momento era solo recalcar esa falsedad que twittearon sabiendo que era falso. Pero Sociométrica decidió ahondar en su mentira de que los datos del CIS son malos.

Y ya no solo eso, si que menciona que los datos del CIS son una «desastre y un despilfarro de dinero público».
Esto ya superó el límite de la decencia profesional de una empresa demoscópica que debería de ser objetiva, y ya serán los medios los que le pongan la subjetividad e ideología que consideren.

El revolcarse en su mentira consciente embarrando y difamando al CIS cuando el problema es Tezanos, nos llevó a una consideración.

Sociométrica ha publicado datos en brutos. Vamos a analizarlos y ha compararlos con los datos brutos del CIS. A ver si tienen razón en que los datos del CIS no son de fiar. Por que al final, cuando criticas que estás usando tus propios datos antes que los del CIS es porque los tuyos son mucho mejores.

Y eso hicimos.

Análisis de Datos del CIS VS datos de Sociométrica

Exploración de datos

Primero, miramos a ver qué datos brutos había publicado Sociométrica. Para nuestra sorpresa, se han publicado de manera errática. Hay estimaciones en los que publican sus datos. En otras no.

Primero encontramos una base de datos de 519 casos, pero con esto no se podía hacer una comparación en condiciones. Más tarde, encontramos otra, de 1.279.

Esto ya es otra cosa. Si las juntamos tenemos casi 2.000 casos de dos encuestas consecutivas y a solo un mes de las elecciones. Y además, justo el CIS había publicado su encuesta que el campo había sido en fechas similares. Lo que es perfecto para una comparación.

Bases de datos utilizadas del CIS y Sociométrica

Este es el detalle de las bases de datos que se van a comparar. Y lo bueno, es que no hace falta que creas nuestro análisis, tu mismo puedes descargarte los datos en los enlaces que dejamos y comprar los datos. Y ver qué base es mejor, y si la del CIS es buena o mala.

CIS – Estudio 3458
Muestra CATI (telefónica) de 6.434 encuestas y el campo del 8 al 17 de mayo de 2024.
Se han usado estos datos del CIS por ser las fechas de campo más próximas a los datos brutos publicados por Sociométrica.

Datos de Sociométrica:
Se han unido las dos bases de datos que se han podido encontrar publicadas.
1- Encuesta CAWI (panel online) de 1.279 encuestas y el campo del 30 abril al 4 de mayo
2- Encuesta CAWI de 519 encuestas y el campo del 17 al 19 de mayo

En total 1.798 encuestas de Sociométrica y unas fechas de campo coincidentes con el del CIS.

Procesa de las bases de datos

Con estas dos bases de datos, la de Sociométrica y la del CIS, se las ha procesado de la misma manera. Se han ponderado por los parámetros poblacionales de Sexo, Edad y Comunidad Autónoma según los datos del Padrón del INE.
Así logramos que las desviaciones que pueda haber en la muestra se equiparen a los de la población española y que sean extrapolables.

Además, al tratarse de una encuesta política, es necesario, ponderar las bases de datos también por la variable de Recuerdo de Voto. Esto se hace por la misma razón que antes. Dado que queremos medir la Intención de Voto Directa (IDV a partir de ahora) que es una variable política, para que sea lo más ajustada a la población debemos ponderarla por el recuerdo de voto.
Equiparando así la variable de Recuerdo de Voto al resultado de las elecciones generales del 23 de julio de 2023. Las elecciones más cercanas que hemos tenido a nivel nacional en España.

Comparación Datos del CIS VS datos de Sociométrica

Con los datos ponderados por parámetros poblaciones de Sexo, Edad, CCAA y Recuerdo de voto, sacamos los porcentajes de la IDV de las bases de datos y los comparamos con los resultados finales de las Elecciones europeas.

Solo haciendo estos ajustes de la ponderación, los Datos del CIS dan unos resultados mucho mejores que la Estimación de Tezanos y que algunas encuestadoras privadas. Recordemos que estos son datos de un mes antes de las Elecciones y solo ponderando ya obtenemos unos resultados mejores que algunos que estimaron con los datos de una semana antes.

Esto recalca que muchas veces el problema no son los datos, son las personas las que introducen sus sesgos (intencionados o no) en la Cocina electoral y en la estimación.

Comparado con los Resultados de las Elecciones Europeas, las desviaciones superiores a 1 punto porcentual (pp) son:
Del CIS el PP (-2,8) y Sumar (+1,1). El resto de partidos tienen desviaciones inferiores a 1pp.

Sin embargo, si vemos los resultados de hacer este mismo ejercicio con los datos de Sociométrica, se ve desde lejos que son mucho peores.
Las desviaciones de Sociométrica mayores de 1pp son: el PSOE (-3,6), Vox (+2,2), Sumar (+4,4), SALF (-2,7) y Otros (+3,9).

Por hacer una comparación global entre ambas bases de datos, se suelen utilizar tres tipo. El Error Absoluto, que es la suma de todas las desviaciones. El Error Absoluto Medio (MAE), que es el Error Absoluto entre el número de partidos. Y el Error Absoluto Medio Ponderado, que es el MAE ponderado por el peso que tiene cada partido.

Calculando estos errores con todos los partidos que obtuvieron representación y agrupando el resto en Otros. El Error Absoluto del CIS es de 9,8 y de Sociométrica de 21,0. El Error Absoluto Medio (MAE) del CIS es de 0,98 y Sociométrica de 2,1. Y el Error Absoluto Medio Ponderado del CIS es de 1,53 el de Sociométrica de 2,25.

El resultado es aplastante.

Los datos brutos del CIS, ya no es que sean buenos, sino que son Mejores que los de Sociométrica.

Con esta información, el resultado es claro:

• El problema no son los datos del CIS, sino la Estimación de Tezanos
• Los datos brutos del CIS son Muy Buenos por mucho que lo quieran desacreditar
• Los datos brutos del CIS son mejores que los de cualquier demoscópica privada

Con esto claro, Veamos los Datos brutos que publica Sociométrica, a ver si son tan buenos como para poder meterse con los del CIS.

Revisión de calidad de la base de datos bruta de Sociométrica

Vamos con la base de datos 1- Encuesta CAWI (panel online) de 1.279 encuestas y el campo del 30 abril al 4 de mayo de Sociométrica.

Tras analizarla, encontramos numerosos errores, y algunos bastante graves.

Duración de la encuesta de Sociométrica

La encuesta del CIS dura de media 20 minutos y los que menos han tardado han sido 12 min.
La de Sociométrica, que dura de media 5 minutos, tiene casos que han tardado 1 minuto. Las personas que han hecho esta encuesta en 1 minutos, prácticamente no se habrán leído las preguntas y no sería raro que hubiesen respondido al azar.

Recordemos que esta encuesta de Sociométrica usa la metodología CAWI en un Panel online. Esto quiere decir que Sociométrica le pide que responda la encuesta a personas que se han registrado en una web para recibir dinero por responder encuestas. Este tipo de metodologías no son malas per se, pero si es necesario establecer unos controles de calidad muy estrictos para asegurar unas entrevistas de calidad.
Estas entrevistas que han tardado 1 minuto NO deberían de pasar un filtro de calidad.
Es como si en la del CIS alguien tarda 4 minutos, ¿cuánto se le criticaría por ello?

Problemas de edad

Seguimos revisando la base de datos de Sociométrica y encontramos que el registro 30520 tiene una Edad de 12 años y votó al PSOE en las Elecciones del 23J.

Esto imaginamos que es un fallo a la hora de meter los datos, y a cualquiera le puede pasar. Aunque teniendo en cuenta que la encuesta es online, es muy difícil que esto ocurra, a no ser que no se haya programado bien el cuestionario. Que es otra de las posibles causas de encontrar un caso que ha puesto que tiene 12 año.

Lo normal en una encuesta online de calidad sobre voto, es que en la pregunta de Edad se programe un filtro para que cuando pongas una edad inferior a 18 años te quedas fuera de la encuesta. Así te aseguras de que esto no pase. Y además, nuevamente se debería de revisar que en la base de datos (y más cuando la vas a publicar) y quitar estos casos. Por que este es un error muy grave.
¿Qué fiabilidad nos da la encuesta de que es de calidad cuando en una encuesta de voto hay una persona de 12 años y con respuestas contradictorias?

Otro fallo que demuestra que no se han revisado bien los datos es que la variable Edad no está bien codificada.
Tiene 3 casos con el año de nacimiento y no con la edad.
Pero se podría hablar de cómo de probable es que una personas de 90 años esté en un Panel Online de encuestas.
Imaginate a tu abuelo de 90 que, primero ha tenido que aprender cómo funciona un ordenador, luego entender cómo funciona internet y descubrir que hay páginas que te pagan por responder encuestas. Una vez pasado todo esto, que son muchísimas barreras para una persona de 90 años, ha tenido que registrarse en esa página y responder a la encuesta por dinero. La verdad que toda esta casuística es muy poco probable, aunque no imposible. Pero nos inclinamos más a pensar, porque tiene más sentido y es más probable, que son personas que han respondido a la encuesta y han mentido en su edad.

Más cosas raras. Encuestados que dicen tener 19 y 20 años con estudios Superiores o universitarios terminados. Volvemos a la lógica de antes. ¿Es imposible? No, pero es muy muy extraño. Es mucho más sencillo pensar y mucho más probable siendo una encuesta a personas que reciben dinero por responder, que han respondido inventándose la encuesta para acabarla rápido y asi responder otra.

Conclusión

Antes de meterte y difamar a la mayor institución sociológica de España como es el CIS y decir que sus datos no son fiables revisen bien los datos que publican, no vayan a ser peores que los que estas criticando.

Por que ha quedado demostrado con datos que, los del CIS son mucho más fiables y se acercan más a la realidad que los de Sociométrica. Y además que los datos de Sociométrica, no son del todo fiables. No por la metodología, sino porque no se han realizado procesos de revisión y limpieza de los datos para lograr una base de datos de calidad.