Transparentando la CADEM en beneficio de la deliberación democrática

A propósito de los resultados de Plaza Pública del 17 de Julio, 2022

Introducción

Opinar por nosotros mismos, ejercer nuestro derecho a voto

  • Cada una, cada uno tiene sus propias opiniones políticas en torno a la Nueva Constitución.

  • No existe técnica científica, ni tecnología que permitan revelar sus opiniones.

  • Nuestras opiniones son valiosas y jugarán un rol decisivo el próximo 4 de septiembre, cuando debamos ejercer nuestro derecho a voto.

  • Por eso te invitamos a aprender a leer la encuesta CADEM: no hablan por ti, ni predice tu comportamiento político.

En este Dashboard encontrarás un reporte de algunos de los resultados publicados por la encuesta CADEM.

La ventaja de este reporte es que mostramos que las opiniones políticas de la ciudadanía están muy lejos de ser representadas por las opiniones políticas de los que fueron encuestados. Cuantificamos esa lejanía. Para mayores detalles de cómo realizar estos cálculos, puede leer el siguiente documento.

La investigación que sustenta esta metodología la puedes ver en E. San Martín & E. Alarcón-Bustamante (2022), Dissecting Chilean Surveys: The case of missing outcomes, publicado en el Chilean Journal of Statistics. (ver artículo).

Los códigos que permiten hacer los cálculos de los reportes semanales utilizando la metodología propuesta, los puedes encontrar aquí

Etapas para elegir la muestra de encuestados: ¿Quiénes y cuántos responden la encuesta CADEM?

  • La encuesta CADEM es respondida por 702 personas, hombres y mujeres de las 15 regiones del país.

  • CADEM realiza llamados telefónicos, seleccionando solo aquellos que son mayores de 18 años.

  • Los seleccionados forman parte de lo que CADEM llama su población de elegibles, que asciende a 13314848.

  • Esta semana, solo 6916 personas fueron seleccionadas, de las que solo 702 accedieron a responder la encuesta.

  • Estas 702 personas representan el 10.2% de los seleccionados y el 0.051942% de los elegibles.

Para una mirada panorámica de cómo se relacionan estos diferentes grupos de ciudadanos y ciudadanas, en esta animación, puede ver el paso a paso de cómo se forma la muestra: ver animación.

¡Atención! Hay que extrapolar los resultados de CADEM de forma transparente

  • Tanto el 89.8% de los seleccionados, como el 99.9947277% de los elegibles no respondieron la encuesta.

  • ¿Cómo es posible que la opinión de un tan bajo porcentaje de ciudadanas y ciudadanos refleje la del resto?

  • CADEM supone que no hay diferencias entre los que respondieron la encuesta y los seleccionados, o incluso los elegibles:

Bajo el supuesto de que quienes rechazan contestar son iguales a quienes contestan, la magnitud de la tasa de rechazo no ofrece mayores inconvenientes, pero cuando existe evidencia que ambos grupos no son equivalentes, el rechazo puede introducir serias distorsiones en los resultados. Diseño metodológico de Plaza Pública 2020

Este supuesto es equivalente a suponer que las muestras representativas existen. Estas no exiten pues es imposible verificar que la parte (una muestra) representa al todo (la población de interés), en particular aquella parte del todo que no respondió la encuesta (en esto, CADEM hace una afirmación incorrecta).

  • Así que, aunque este supuesto parezca una técnica que permita hacer hablar a los que no hablaron, es empíricamente vacío.

Opinión de los encuestados

Con la información que tiene actualmente, ¿Ud. votaría apruebo o rechazo a la constitución que proponga la Convención Constitucional en el plebiscito de salida de septiembre de este año?

Sabemos que 702 respondieron la encuesta. La distribución de las respuestas es como sigue:

  • 260 (37%) votarían APRUEBO a la constitución que propone la Convención Constitucional en el plebiscito de salida de septiembre próximo.

  • 365 (52%) votarían RECHAZO a la constitución que propone la Convención Constitucional en el plebiscito de salida de septiembre próximo.

  • 77 (11%) no saben o no responden a la pregunta acerca de si votarían votarían APRUEBO o RECHAZO a la constitución que propone la Convención Constitucional en el plebiscito de salida de septiembre próximo.

¿Cómo usar los resultados de la encuesta CADEM de modo de poder tener alguna mirada transparente de las opiniones tanto de los seleccionados, como de los elegibles?

Sabemos que no tenemos las respuestas de los que no accedieron a contestar la encuesta. Sin embargo, podemos reportar los resultados considerando dos supuestos extremos:

  • todos los que no respondieron la encuesta no opinan como los que la respondieron; y

  • todos los que respondieron la encuesta opinan como los que la respondieron.

Con esto logramos manifestar en el reporte de los resultados todas las posibles opiniones de la ciudadanía, lo que es equivalente a hacer explícita la incerteza que las no-respuestas inducen.

Otro modo de leer las encuestas

A partir de la opinión de estas 702 personas, ¿qué se puede decir de la opinión del resto de los seleccionados?

De aquellos que fueron seleccionados para contestar la encuesta (6916), el 89.8% de ellos NO la respondió. Tal como lo supone CADEM, la opinión del 10.2% de seleccionados que respondió la encuesta, ¿refleja la opinión de ese 89.8% que no la respondió?

Dado que solo un 10.2% de los seleccionados respondió la encuesta, podemos decir que 1.122% de ellos no sabe o no responde la pregunta sobre su intención de voto en el plebiscito de salida, y a lo más un 90.922% de ellos no lo sabe. Por lo tanto, en relación al porcentaje de APRUEBO y de RECHAZO, se puede afirmar lo siguiente:

  • Si al menos el 1.122% de los encuestados no sabe o no responde, entonces de las restantes opiniones podemos decir que

    • Al menos un 3.774% de los seleccionados votaría APRUEBO en el plebiscito de septiembre, por lo que a lo más un 95.104% votaría RECHAZO.

    • A lo más 93.574% de los seleccionados votaría APRUEBO en el plebiscito de septiembre, por lo que a lo menos un 5.304% votaría RECHAZO.

  • Si a lo más el 90.922% de los encuestados no sabe o no responde, entonces de las restantes opiniones podemos decir que

    • Al menos 3.774% de los seleccionados votaría APRUEBO en el plebiscito de septiembre, por lo que a lo menos un 5.304% votaría RECHAZO.

Representación gráfica de los posibles resultados

En el siguiente gráfico, y considerando que el 89.8% de los seleccionados no contestó la encuesta, se pueden ver todos los resultados (combinaciones de proporción de votos) compatibles con lo entregado por CADEM.

A partir de la opinión de estas 702 personas, ¿qué se puede decir de la opinión del resto de los elegibles?

Si extrapolamos los resultados de CADEM a los elegibles, la incerteza es aún mayor. De los 13314848 de elegibles que declara en su diseño metodológico, solo 6916 fueron seleccionados para que contestaran la encuesta. Por lo tanto, el porcentaje de seleccionados entre los elegibles es igual al 0.051942%.

Como lo hemos mencionado anteriormente, entre los seleccionados para contestar la encuesta, solo 702 de ellos lo hicieron, lo que implica una tasa de respuesta de 10.2%. Por tanto, hay que considerar dos fuentes de incerteza sobre los cuales se quieren extender los resultados de la encuesta:

  1. Aquellos que, a pesar de ser seleccionados, no contestaron la encuesta.

  2. Aquellos elegibles que no se les contactó.

En lo que sigue explicitamos la incerteza debida a estas dos fuentes, la cual es aún mayor:

  • Al menos el 0.0019603% de los elegibles votaría apruebo en el plebiscito de septiembre próximo, y a lo más el 99.9966622% de ellos votaría apruebo.

  • Al menos el 0.002755% de los elegibles votaría rechazo en el plebiscito de septiembre próximo, y a lo más el 99.9974569% de ellos votaría rechazo.

  • Al menos el 0.0005828% de los elegibles no sabe o no responde la pregunta por la votación en el plebiscito de septiembre próximo, y a lo más el 99.9952847% de ellos no sabe o no responde la pregunta por la votación en el plebiscito de septiembre próximo.

¿Qué hay respecto de la tendencia en los votos?

CADEM las reporta de esta manera: Rechazo a la nueva Constitución se mantiene en 52%, 15pts por sobre el Apruebo (37%). 11% no sabe, no responde o no votaría.

Este no es un reporte transparente: no es posible hablar de que tal opción se mantiene por el hecho que, hasta donde sabemos, CADEM no encuesta las mismas personas: solo cuando se encuestan las mismas personas es posible hablar de tendencia.

Conclusiones y reflexiones

  • No hay una lectura transparente de la encuesta, ni por parte de la encuestadora, ni por parte de cierta prensa.

  • Una lectura transparente, estadísticamente rigurosa, muestra que la opinión de las 702 personas es un palidísimo reflejo de la opinión de la ciudadanía en relación a la Nueva Constitución, por lo que es necesario que cada ciudadana y ciudadano siga formándose su propia opinión.

  • ¿Se puede mejorar la CADEM para que sea una encuesta representativa? La respuesta es NO: No existen encuestas representativas de las opiniones de la ciudadanía pues el criterio de representatividad sería precisamente conocer dichas opiniones. Pero no se conocen y es por ello que se aplican encuestas.

  • Necesitamos un cambio de actitud frente a las encuestas:

    • En lugar de considerarlas como representando una sola opinión, hay que verlas como la posibilidad de manifestar la pluralidad de opiniones políticas.
    • Esta pluralidad la hemos representado por medio de un rango de porcentajes posibles, el cual se puede establecer usando los datos proporcionados por la encuesta. Es por ello que tampoco los resultados de una encuesta, como por ejemplo la CADEM, no deben verse como una predicción de lo que ocurrirá políticamente en el futuro. Es más, lo que se espera en política son acontecimientos, esto es, hechos que interrumpan el proceso rutinario y los procedimientos rutinarios (Hannah Arentd, Sobre la Violencia).