Transparentando la CADEM en beneficio de la deliberación democrática

A propósito de los resultados de Plaza Pública del 14 de agosto, 2022

Introducción

Opinar por nosotros mismos, ejercer nuestro derecho a voto

  • Cada una, cada uno tiene sus propias opiniones políticas en torno a la Nueva Constitución.

  • No existe técnica científica, ni tecnología que permitan revelar sus opiniones.

  • Nuestras opiniones son valiosas y jugarán un rol decisivo el próximo 4 de septiembre, cuando debamos ejercer nuestro derecho a voto.

  • Por eso te invitamos a aprender a leer la encuesta CADEM: no hablan por ti, ni predice tu comportamiento político.

En este Dashboard encontrarás un reporte de algunos de los resultados publicados por la encuesta CADEM.

La ventaja de este reporte es que mostramos que las opiniones políticas de la ciudadanía están muy lejos de ser representadas por las opiniones políticas de los que fueron encuestados. Cuantificamos esa lejanía. Para mayores detalles de cómo realizar estos cálculos, puede leer el siguiente documento.

La investigación que sustenta esta metodología la puedes ver en E. San Martín & E. Alarcón-Bustamante (2022), Dissecting Chilean Surveys: The case of missing outcomes, publicado en el Chilean Journal of Statistics. (ver artículo).

Los códigos que permiten hacer los cálculos de los reportes semanales utilizando la metodología propuesta, los puedes encontrar aquí

Etapas para elegir la muestra de encuestados: ¿Quiénes y cuántos responden la encuesta CADEM?

  • La encuesta CADEM es respondida por 1015 personas, hombres y mujeres de las 15 regiones del país.

  • CADEM realiza llamados telefónicos, seleccionando solo aquellos que son mayores de 18 años.

  • Los seleccionados forman parte de lo que CADEM llama su población de elegibles, que asciende a 13314848.

  • Esta semana, solo 10160 personas fueron seleccionadas, de las que solo 1015 accedieron a responder la encuesta.

  • Estas 1015 personas representan el 10% de los seleccionados y el 0.0763058% de los elegibles.

Para una mirada panorámica de cómo se relacionan estos diferentes grupos de ciudadanos y ciudadanas, en esta animación, puede ver el paso a paso de cómo se forma la muestra

¡Atención! Hay que extrapolar los resultados de CADEM de forma transparente

  • Tanto el 90% de los seleccionados, como el 99.9923769% de los elegibles no respondieron la encuesta.

  • ¿Cómo es posible que la opinión de un tan bajo porcentaje de ciudadanas y ciudadanos refleje la del resto?

  • CADEM supone que no hay diferencias entre los que respondieron la encuesta y los seleccionados, o incluso los elegibles:

Bajo el supuesto de que quienes rechazan contestar son iguales a quienes contestan, la magnitud de la tasa de rechazo no ofrece mayores inconvenientes, pero cuando existe evidencia que ambos grupos no son equivalentes, el rechazo puede introducir serias distorsiones en los resultados. Diseño metodológico de Plaza Pública 2020

Este supuesto es equivalente a suponer que las muestras representativas existen. Estas no exiten pues es imposible verificar que la parte (una muestra) representa al todo (la población de interés), en particular aquella parte del todo que no respondió la encuesta (en esto, CADEM hace una afirmación incorrecta).

  • Así que, aunque este supuesto parezca una técnica que permita hacer hablar a los que no hablaron, es empíricamente vacío.

Opinión de los encuestados

Con la información que tiene actualmente, ¿Ud. votaría apruebo o rechazo a la constitución que proponga la Convención Constitucional en el plebiscito de salida de septiembre de este año?

Sabemos que 1015 respondieron la encuesta. Por tanto, el hecho es que podemos conocer cuántas de esas personas votarían apruebo, rechazo o NS/NR.

¿Cómo usar los resultados de la encuesta CADEM de modo de poder tener alguna mirada transparente de las opiniones tanto de los seleccionados, como de los elegibles?

Sabemos que no tenemos las respuestas de los que no accedieron a contestar la encuesta. Sin embargo, podemos reportar los resultados considerando dos supuestos extremos:

  • todos los que no respondieron la encuesta no opinan como los que la respondieron; y

  • todos los que respondieron la encuesta opinan como los que la respondieron.

Con esto logramos manifestar en el reporte de los resultados todas las posibles opiniones de la ciudadanía, lo que es equivalente a hacer explícita la incerteza que las no-respuestas inducen.

Otro modo de leer las encuestas

A partir de la opinión de estas 1015 personas, ¿qué se puede decir de la opinión del resto de los seleccionados?

De aquellos que fueron seleccionados para contestar la encuesta (10160), el 90% de ellos NO la respondió. Tal como lo supone CADEM, la opinión del 10% de seleccionados que respondió la encuesta, ¿refleja la opinión de ese 90% que no la respondió?

Dado que solo un 10% de los seleccionados respondió la encuesta, lo único que podemos afirmar es lo siguiente:

                Opinión Al.menos A.lo.más
1               Aprueba     3.8%    93.8%
2               Rechaza     4.6%    94.6%
3 No sabe o no responde     1.6%    91.6%

Pero hay que leer estas tres opiniones de forma simultánea. Y ello implica tres escenarios extremos posibles, que están representados por los gráficos de torta. Pero no solo esto, sino que además cada escenario implica muchas posibilidades, que se pueden apreciar por medio de las animaciones. Acá mostramos todos los posibles resultados cuando nos posicionamos en el peor escenario para cada opción.

En el siguiente gráfico puedes interactuar con TODOS los posibles resultados que son compatibles con la información que proporciona CADEM. Podrás ver que lo reportado esta semana es solo un posible resultado:

A partir de la opinión de estas 1015 personas, ¿qué se puede decir de la opinión del resto de los elegibles?

Si extrapolamos los resultados de CADEM a los elegibles, la incerteza es aún mayor. De los 13314848 de elegibles que declara en su diseño metodológico, solo 10160 fueron seleccionados para que contestaran la encuesta. Por lo tanto, el porcentaje de seleccionados entre los elegibles es igual al 0.0763058%.

Acá, debemos considerar dos fuentes de incerteza sobre los cuales se quieren extender los resultados de la encuesta:

  1. Aquellos que, a pesar de ser seleccionados, no contestaron la encuesta.

  2. Aquellos elegibles que no se les contactó.

En lo que sigue explicitamos la incerteza debida a estas dos fuentes, la cual es aún mayor:

                Opinión    Al.menos A.lo.más
1               Aprueba 0.002899620 99.99527
2               Rechaza 0.003510066 99.99588
3 No sabe o no responde 0.001220893 99.99359

¿Qué hay respecto de la tendencia en los votos?

CADEM las reporta de esta manera: Rechazo a la nueva Constitución se mantiene en 46%, 8pts por sobre el Apruebo (38%). 16% no sabe, no responde o no votaría.

Este no es un reporte transparente: no es posible hablar de que tal opción se mantiene por el hecho que, hasta donde sabemos, CADEM no encuesta las mismas personas: solo cuando se encuestan las mismas personas es posible hablar de tendencia.

Conclusiones y reflexiones

  • No hay una lectura transparente de la encuesta, ni por parte de la encuestadora, ni por parte de cierta prensa.

  • Una lectura transparente, estadísticamente rigurosa, muestra que la opinión de las 1015 personas es un palidísimo reflejo de la opinión de la ciudadanía en relación a la Nueva Constitución, por lo que es necesario que cada ciudadana y ciudadano siga formándose su propia opinión.

  • ¿Se puede mejorar la CADEM para que sea una encuesta representativa? La respuesta es NO: No existen encuestas representativas de las opiniones de la ciudadanía pues el criterio de representatividad sería precisamente conocer dichas opiniones. Pero no se conocen y es por ello que se aplican encuestas.

  • Necesitamos un cambio de actitud frente a las encuestas:

    • En lugar de considerarlas como representando una sola opinión, hay que verlas como la posibilidad de manifestar la pluralidad de opiniones políticas.
    • Esta pluralidad la hemos representado por medio de un rango de porcentajes posibles, el cual se puede establecer usando los datos proporcionados por la encuesta. Es por ello que tampoco los resultados de una encuesta, como por ejemplo la CADEM, no deben verse como una predicción de lo que ocurrirá políticamente en el futuro. Es más, lo que se espera en política son acontecimientos, esto es, hechos que interrumpan el proceso rutinario y los procedimientos rutinarios (Hannah Arentd, Sobre la Violencia).