Métricas que engañan: promedios, supervivencia y falsas causas
Una cifra correcta puede sostener una conclusión falsa. Los errores más costosos en analítica no son de cálculo sino de lectura: promedios que esconden dos poblaciones, muestras que solo incluyen a los que quedaron, y correlaciones que se toman por causas. Todos se reconocen con preguntas sencillas.
A continuación: el promedio que engaña, el sesgo de supervivencia, la correlación tomada por causa, el cambio en la composición, las cifras sin denominador y qué preguntar antes de decidir.
Los tableros de una organización madura rara vez tienen errores aritméticos. Los cálculos son correctos, las fuentes están bien conectadas y las cifras cuadran entre sí.
Y aun así se toman decisiones equivocadas a partir de ellos, porque el error no está en el número sino en lo que se concluye de él. Los cinco patrones siguientes explican la mayoría de esos casos, y todos se pueden detectar en la reunión donde se presenta la cifra.
El promedio que esconde dos poblaciones
Es el más frecuente. Un tiempo medio de atención de veinte minutos puede describir un servicio uniforme, o dos servicios distintos: uno de cinco minutos que resuelve el ochenta por ciento y otro de una hora para el resto. Las dos realidades producen el mismo promedio y exigen decisiones opuestas.
La señal de alerta es cualquier promedio sobre algo que la organización sospecha heterogéneo. La comprobación es mirar la distribución, y basta con la mediana junto a los extremos: si la mediana está lejos del promedio, hay dos poblaciones.
La versión más costosa de este error aparece en satisfacción del cliente. Un promedio aceptable compuesto por muchos clientes contentos y un grupo pequeño muy insatisfecho describe un riesgo de fuga que el número esconde por completo.
El sesgo de supervivencia
Consiste en medir solo sobre lo que quedó. Analizar el comportamiento de los clientes actuales para entender la fidelidad excluye por construcción a quienes se fueron, que son precisamente los que explicarían la pregunta.
Aparece con frecuencia en tres lugares: análisis de clientes que excluyen a los que se dieron de baja, análisis de productos que solo miran los que siguen en catálogo, y análisis de proyectos que solo consideran los que terminaron.
La corrección no siempre es fácil —a veces el dato de los que se fueron no se conservó— pero reconocer el sesgo cambia la conclusión. Una tasa de éxito calculada sobre los que llegaron al final no es una tasa de éxito: es una descripción de los sobrevivientes.
Una variante regional aparece al usar referencias externas. Comparar la operación propia contra promedios de mercado publicados fuera de Colombia y México suele introducir este sesgo dos veces: la muestra extranjera tiene otra composición, y quienes reportan a esos estudios son las organizaciones que decidieron participar, que rara vez son las que están peor.
La correlación tomada por causa
Dos cifras que se mueven juntas invitan a una explicación, y el cerebro la produce sin esfuerzo. El problema es que casi siempre hay al menos tres explicaciones posibles y solo una suele considerarse.
La primera es la que se asume: A causa B. La segunda es la inversa: B causa A — los clientes que usan más el portal no son más fieles por usarlo, puede que lo usen más porque ya eran fieles. La tercera es un factor común: ambos suben porque la temporada alta los empuja.
La pregunta que ordena la conversación es sencilla: ¿qué esperaríamos ver si la relación fuera al revés? Muchas veces se vería exactamente lo mismo, y eso basta para no decidir todavía.
El cambio en la composición
Es el más sutil y el que más discusiones genera en comité. Una cifra global puede mejorar mientras todos sus componentes empeoran, o al revés, simplemente porque cambió el peso relativo de cada grupo.
Ocurre, por ejemplo, cuando el margen promedio sube no porque ningún producto mejorara sino porque creció la participación de la línea de mayor margen. La conclusión «mejoramos la rentabilidad» es defendible y describe algo distinto de lo que la mayoría entiende al oírla.
La comprobación es mirar la cifra por segmento junto con el peso de cada segmento. Si ambos cambiaron, el agregado no se puede interpretar sin decir cuál de los dos efectos domina.
Las cifras sin denominador
Un número absoluto sin su base es una afirmación incompleta que suena precisa. «Doscientas quejas este mes» no significa nada sin saber sobre cuántas transacciones, y menos aún sin el dato del mes anterior.
El caso más engañoso es el crecimiento porcentual sobre bases pequeñas. Un aumento del cien por ciento sobre dos casos son cuatro casos, y presentado como porcentaje ocupa el mismo espacio visual que un cambio relevante.
La regla práctica: todo porcentaje debería mostrar su numerador y su denominador, al menos al pasar el cursor. Cuesta poco y elimina una categoría entera de malentendidos.
El sexto, que no es estadístico
Hay un patrón que no pertenece a esta lista por su naturaleza y que produce más decisiones malas que los cinco anteriores juntos: elegir el periodo de comparación después de ver los datos.
Ocurre sin mala intención. Alguien compara contra el mes anterior, el resultado no favorece, y prueba contra el mismo mes del año pasado, que sí. La segunda comparación puede ser la correcta —hay estacionalidad, y compararse con la temporada equivalente tiene sentido— pero la decisión de usarla se tomó por el resultado y no por el argumento.
La defensa es acordar la referencia antes: qué comparación es la válida para cada métrica, escrita y estable. Cuando cambia, que cambie por una razón declarada y para adelante, no retroactivamente sobre el informe que se está discutiendo.
Qué preguntar antes de decidir sobre una cifra
Cinco preguntas cubren la mayoría de los casos y se pueden hacer sin conocimiento técnico. ¿Sobre cuántos casos? ¿Qué quedó fuera? ¿Comparado con qué? ¿Cómo se ve la distribución, no solo el promedio? Y ¿qué otra explicación tendría el mismo resultado?
Hacerlas de forma rutinaria tiene un efecto que excede la decisión concreta: quien prepara el informe empieza a anticiparlas, y la calidad del análisis mejora sin que nadie escriba una política.
Conviene además que el informe declare sus propias limitaciones. Un análisis que dice qué no puede concluir es más útil, y bastante más creíble, que uno que presenta todo con la misma seguridad.
Por qué esto es un problema de gobierno, no de herramienta
Ninguna plataforma evita estos errores, porque todos ocurren en la interpretación. Lo que sí ayuda es que las métricas tengan una definición única y un responsable: cuando alguien responde por una cifra, también responde por cómo se presenta.
La otra defensa es cultural y más difícil de instalar: que sea aceptable decir «con este dato no se puede concluir eso». En organizaciones donde toda pregunta debe tener respuesta inmediata, los cinco errores anteriores no son accidentes sino consecuencias previsibles.
Dónde está la debilidad concreta se puede medir. Un assessment de madurez de datos y analítica califica origen, calidad, gobierno, modelo y consumo por separado, y el consumo —cómo se usa e interpreta el dato— es el tramo que menos se evalúa y donde estos problemas viven. De ahí sale un plan de analítica que atiende la causa y no el síntoma.
Preguntas frecuentes
¿Por qué un promedio puede llevar a una decisión equivocada?
Porque puede describir dos poblaciones distintas que exigen decisiones opuestas. Si la mediana está lejos del promedio, hay heterogeneidad que el número esconde. Mirar la distribución, no solo el promedio, lo revela.
¿Qué es el sesgo de supervivencia?
Medir solo sobre lo que quedó: analizar la fidelidad con los clientes actuales excluye por construcción a quienes se fueron, que son los que explicarían la pregunta. Una tasa de éxito calculada sobre los que llegaron al final describe sobrevivientes.
¿Cómo se distingue una correlación de una causa?
Preguntando qué esperaríamos ver si la relación fuera al revés, y qué factor común podría explicar ambos movimientos. Si el resultado observado sería el mismo bajo esas hipótesis, no hay base para decidir todavía.
¿Qué es el cambio en la composición?
Cuando una cifra global mejora mientras sus componentes empeoran, porque cambió el peso relativo de cada grupo. Se detecta mirando la métrica por segmento junto con la participación de cada segmento.
¿Por qué es peligroso un porcentaje sin denominador?
Porque un aumento del cien por ciento sobre dos casos son cuatro casos, y ocupa el mismo espacio visual que un cambio relevante. Todo porcentaje debería mostrar numerador y denominador.
¿Qué preguntas conviene hacer ante cualquier cifra?
Sobre cuántos casos, qué quedó fuera, comparado con qué, cómo se ve la distribución, y qué otra explicación produciría el mismo resultado. No requieren conocimiento técnico y mejoran la calidad de los informes por anticipación.
