Existe una tendencia que aparece con una consistencia notable: los indicadores que terminan en la matriz son aquellos para los que ya existen datos, fuentes consolidadas, sistemas de captura habilitados. No son los indicadores más relevantes para el programa público — son los más disponibles.
Esto se llama sesgo de medición, y es silencioso por dos razones. Primero, porque nadie lo nombra; cada equipo piensa que “está siendo práctico”. Segundo, porque produce matrices que parecen rigurosas y que de hecho pueden serlo metodológicamente — solo que sobre un enfoque equivocado, pensado a menudo en seguir un marco lógico pero desalineado irónicamente de la lógica causal del programa y por ende de su cadena de valor.
Por qué el sesgo es estructural
En la mayoría de los casos, este sesgo no obedece a la mala fe ni a la falta de capacidad técnica. Es, principalmente, el resultado de las restricciones estructurales bajo las cuales se diseñan las matrices de indicadores. Los equipos responsables de su construcción enfrentan, de manera recurrente, condiciones que favorecen la selección de indicadores basados en la disponibilidad de información, antes que en su capacidad para medir con precisión el fenómeno de interés.
Tiempo. Diseñar un nuevo indicador implica mucho más que formular una expresión o método de cálculo. Requiere definir el método de medición, diseñar y validar instrumentos de recolección de información cuando estos no existen, establecer procedimientos de depuración y aseguramiento de la calidad de los datos, además de garantizar que las fuentes de información sean verificables y que los supuestos de la lógica vertical de la MIR sean consistentes. Todo este proceso demanda tiempo y recursos que, con frecuencia, no están disponibles durante la formulación del programa.
Esta situación resulta especialmente compleja en los indicadores de Fin y Propósito. En estos niveles, la metodología del marco lógico exige que la medición provenga, preferentemente, de fuentes públicas, objetivas y con cobertura nacional o subnacional, cuya periodicidad de actualización sea, al menos, anual. Sin embargo, encontrar información que, además de cumplir con estas características, refleje con precisión el cambio específico que pretende generar un programa suele ser una tarea difícil. En consecuencia, es común recurrir a estadísticas ya disponibles —como las producidas por el INEGI o la CONAPO, en el caso de México— porque permiten cumplir oportunamente con el proceso de diseño, aunque no necesariamente representen la mejor aproximación al resultado que se busca medir.
Bajo la presión de los calendarios institucionales, los datos disponibles suelen imponerse sobre los datos ideales. El criterio de selección deja de ser la pertinencia de la medición y pasa a ser la existencia de una fuente accesible, periódica y verificable. En otras palabras, el diseño del indicador termina condicionado por la disponibilidad de información, más que por las necesidades de medición del programa.
En el fondo, el problema refleja una tensión permanente entre la disponibilidad de los datos y la calidad conceptual del indicador. En un extremo se encuentran indicadores sustentados en información altamente pertinente y precisa, cuya generación requiere estudios específicos o levantamientos que no existen o que no se producen con la frecuencia necesaria. En el otro extremo, aparecen indicadores construidos a partir de información disponible de manera periódica, pero cuya capacidad para representar el resultado real del programa puede ser limitada o, en algunos casos, prácticamente nula. El reto del diseño consiste precisamente en encontrar un equilibrio entre ambas condiciones, sin sacrificar la validez de la medición.
Costo. La dimensión financiera constituye otra de las restricciones que explican este sesgo estructural. Utilizar indicadores sustentados en fuentes de información ya existentes tiene un costo marginal muy bajo, ya que los datos son producidos de manera periódica por otras instituciones y únicamente deben ser recuperados e incorporados al sistema de monitoreo. En contraste, desarrollar un indicador nuevo —especialmente en los niveles de Fin y Propósito— implica inversiones significativas para diseñar instrumentos, realizar levantamientos, procesar información, validar resultados y garantizar que los datos se generen con la periodicidad necesaria. Este tipo de esfuerzos, por su escala y continuidad, generalmente solo puede ser sostenido por instituciones públicas con capacidades técnicas y presupuestales consolidadas.
La situación es distinta en los indicadores de Actividad y Componente, donde la información suele provenir de registros administrativos, sistemas de gestión o fuentes internas de la propia dependencia. En estos casos, los costos de generación y actualización de la información son considerablemente menores, ya que forman parte de la operación cotidiana del programa y, además, pueden ser verificados mediante evidencia documental.
Sin embargo, incluso en estos niveles persiste una restricción presupuestaria importante. En la práctica gubernamental, los recursos destinados al monitoreo y la evaluación suelen ser de los primeros en sufrir ajustes durante los procesos de contención del gasto. Como consecuencia, la construcción de nuevos sistemas de información o el fortalecimiento de los existentes frecuentemente se posponen o cancelan. Bajo estas condiciones, resulta más conveniente reutilizar información ya disponible que invertir en la generación de datos más pertinentes para medir el desempeño del programa.
En consecuencia, el costo de producir información termina influyendo directamente en el diseño de los indicadores. Cuanto mayor sea el esfuerzo financiero requerido para generar un dato, mayor será la probabilidad de que se opte por utilizar información preexistente, aun cuando esta no represente con la precisión deseable el resultado que se pretende medir.
Defensibilidad. Un indicador derivado de INEGI, CONEVAL o un censo es difícil de cuestionar metodológicamente. Un indicador propio, por bien diseñado que esté, expone al equipo a discusión técnica. La carrera profesional dentro del aparato suele recompensar lo defendible sobre lo relevante.
El resultado es un equilibrio estable: matrices con indicadores impecables que miden lo que no importa.
El costo de medición: la restricción invisible
Cuando se habla del diseño de indicadores, normalmente se enfatizan atributos como la validez, la confiabilidad, la pertinencia o la verificabilidad. Sin embargo, existe una característica que pocas veces se discute y que, en la práctica, determina la viabilidad de cualquier sistema de monitoreo: el costo de medición.
El costo de medición puede definirse como el conjunto de recursos necesarios para producir, procesar, validar y mantener la información que alimenta un indicador durante toda la vida del programa. No se limita al gasto económico; comprende todos los recursos que una organización debe invertir para garantizar que el indicador pueda medirse de forma periódica, consistente y con un nivel aceptable de calidad.
Desde esta perspectiva, el costo de medición puede estar integrado por diversas dimensiones, entre ellas las siguientes:
1. Recursos financieros
Es el componente más evidente. Incluye el diseño de instrumentos, levantamientos de información, contratación de personal especializado, desarrollo de plataformas tecnológicas, procesamiento estadístico, validación de bases de datos y publicación de resultados.
Un indicador cuyo cálculo depende de una encuesta nacional puede implicar inversiones de millones de pesos, mientras que otro construido a partir de registros administrativos puede tener un costo marginal prácticamente nulo.
2. Tiempo
Todo indicador consume tiempo antes de producir un dato útil. Es necesario diseñar metodologías, obtener autorizaciones, levantar información, depurar bases de datos, realizar análisis y validar resultados.
En muchos programas públicos, el calendario presupuestario exige construir una MIR en pocas semanas, mientras que desarrollar un sistema robusto de información puede requerir meses o incluso años. Esta asimetría explica por qué frecuentemente se privilegia la utilización de datos ya existentes.
3. Capacidad institucional
No basta con disponer de dinero y tiempo. La organización debe contar con procedimientos, responsabilidades claramente definidas, normas para el registro de información y mecanismos permanentes de supervisión.
Un indicador puede ser técnicamente impecable, pero resultar inviable si ninguna unidad administrativa tiene la responsabilidad formal de producir sus datos.
Tres formas comunes que toma el sesgo
El sesgo de medición rara vez aparece de forma evidente. No suele manifestarse mediante indicadores incorrectos o cálculos mal elaborados. Por el contrario, normalmente se presenta bajo indicadores técnicamente aceptables que, sin embargo, dejan de medir aquello que realmente explica el éxito o fracaso del programa.
Existen al menos tres manifestaciones recurrentes.
1. Sustituir el resultado por un indicador disponible
Es probablemente la forma más frecuente.
Cuando no existe una fuente que mida directamente el cambio que busca producir el programa, se sustituye el indicador por otro cuya información ya está disponible. El problema es que ambos conceptos pueden estar relacionados sin ser equivalentes.
Por ejemplo, un programa cuyo propósito consiste en mejorar la inserción laboral podría terminar utilizando como indicador la tasa general de desempleo de una entidad federativa simplemente porque esta información ya es producida por el INEGI. Aunque ambos conceptos guardan relación, la variación del desempleo depende de múltiples factores ajenos al programa y difícilmente permitirá atribuir los cambios observados a su intervención.
El indicador resulta verificable, comparable y metodológicamente sólido, pero pierde capacidad para representar el verdadero resultado del programa.
2. Medir productos en lugar de cambios
Otra manifestación consiste en desplazar la medición hacia aquello que resulta sencillo contabilizar.
En lugar de medir si la intervención produjo un cambio en la población objetivo, se termina midiendo el número de apoyos entregados, capacitaciones realizadas, consultas otorgadas, becas asignadas o infraestructura construida.
Estos indicadores son indispensables para monitorear la operación; sin embargo, cuando ocupan espacios destinados a medir resultados, generan una falsa percepción de éxito. El programa puede ejecutar el 100 % de sus actividades sin producir el efecto para el cual fue creado.
En términos del marco lógico, la lógica operativa termina sustituyendo a la lógica causal.
3. Elegir indicadores metodológicamente incuestionables
Existe también un incentivo organizacional menos visible.
Los equipos técnicos suelen preferir indicadores respaldados por instituciones reconocidas, como censos, encuestas nacionales o registros oficiales. Estas fuentes ofrecen legitimidad metodológica, reducen la posibilidad de cuestionamientos durante auditorías y facilitan la defensa técnica de la matriz.
Sin embargo, cuanto mayor es la necesidad de proteger la solidez metodológica del indicador, mayor puede ser la distancia entre el dato disponible y el fenómeno que realmente se desea medir.
Paradójicamente, el indicador más defendible no siempre es el más útil para gestionar el programa.
Las tres manifestaciones tienen un elemento común: la decisión deja de estar guiada por la pregunta “¿qué necesitamos medir?” y comienza a responder otra completamente distinta: “¿qué podemos medir con los datos disponibles?”.
Cómo construir un indicador ESTRUCTURALMENTE ADECUADO, pero útil
Reconocer la existencia del sesgo de medición no implica ignorar las restricciones institucionales. El tiempo, el presupuesto y la disponibilidad de información seguirán siendo limitados. El desafío consiste en diseñar indicadores que mantengan la mayor cercanía posible con la lógica causal del programa sin perder viabilidad operativa.
Tres principios pueden ayudar a lograr ese equilibrio.
Principio 1. Diseñar primero el indicador ideal
Antes de revisar si existen datos disponibles, conviene formular una pregunta sencilla:
Si pudiera medir exactamente el cambio que busca producir el programa, ¿qué mediría?
Responder esta pregunta obliga a pensar primero en el fenómeno y después en la fuente de información.
Este ejercicio evita que la disponibilidad de datos determine desde el inicio la definición del indicador y permite conservar como referencia el resultado que realmente interesa observar.
Principio 2. Separar la pertinencia de la factibilidad
Una vez definido el indicador ideal, debe evaluarse su viabilidad.
Si no existe una fuente de información capaz de producirlo, la solución no debería consistir en sustituirlo inmediatamente por otro completamente distinto. Lo recomendable es identificar aproximaciones sucesivas que mantengan la mayor relación posible con el fenómeno original.
La pregunta deja entonces de ser “¿qué dato existe?” para convertirse en “¿qué dato disponible representa mejor el cambio que buscamos medir?”.
Este pequeño cambio de enfoque reduce considerablemente el riesgo de construir indicadores conceptualmente débiles.
Principio 3. Diseñar pensando en el sistema de información futuro
Una MIR no debería reflejar únicamente las capacidades actuales de una institución.
También debería señalar las capacidades de información que será necesario desarrollar conforme el programa madure.
Cuando un indicador verdaderamente relevante no puede medirse hoy, ello no significa que deba abandonarse definitivamente. Puede incorporarse como un objetivo de fortalecimiento institucional mediante la creación de registros administrativos, encuestas periódicas, sistemas de seguimiento o mecanismos específicos de captura de información.
En este sentido, el diseño de indicadores deja de ser únicamente un ejercicio metodológico para convertirse también en una estrategia de desarrollo institucional.
El equilibrio IDEAL
Un buen indicador no es el más sofisticado ni el más económico. Tampoco es necesariamente aquel que proviene de la fuente estadística más prestigiosa.
Un buen indicador es aquel que logra equilibrar cinco atributos fundamentales: pertinencia conceptual, validez metodológica, verificabilidad, sostenibilidad operativa y costo de medición.
Cuando alguno de estos elementos domina completamente sobre los demás, el sistema comienza a perder capacidad para representar la realidad que pretende explicar.
En última instancia, el objetivo de una matriz de indicadores no consiste en demostrar que una institución dispone de información, sino en generar evidencia suficiente para comprender si un programa público realmente está produciendo el cambio para el cual fue creado.
Antes de la MIR — política pública con investigación de fondo, sin atajos metodológicos.
Deja un comentario