Maximizando el uso de la evidencia: la contribución de los asesores científicos

¿Cuánto de todos los recursos públicos destinados a investigaciones y evaluaciones – incluyendo de políticas públicas- es usado por los decisores de política pública?

La respuesta rápida es que no sabemos. Pero podemos estimar que poco, muy poco.

Existen diversas razones para explicar por qué el Estado no usa toda la evidencia generada por investigaciones y evaluaciones contratadas – pedidas- por el mismo Estado.

Primero, porque la evidencia no se genera de una forma que facilite su uso. Un error común, tanto de los que comisionan estos estudios como de los que los ejecutan, es no elegir el método adecuado para lo que se necesita. Un método preferido por los economistas hoy en día es la evaluación de impacto, usando los experimentos controlados aleatorios. Estas, que son adaptaciones de los experimentos usados en la medicina, típicamente buscan determinar la relación casual entre dos variables. Dicho de otra manera: quieren saber si una intervención (por ejemplo, un bono de dinero) tuvo un impacto sobre un resultado (por ejemplo, mejora en la alimentación familiar).

El eso de sus resultados enfrenta muchos problemas. Primero, no puede determinar si una intervención va a tener un impacto similar sobre un resultado similar en el futuro – esto es porque las evaluaciones de impacto no se preguntan bajo qué circunstancias se dio o no el impacto. Esto es fundamental para poder usar el resultado. Sin esta información, un decisor no puede determinar si esa intervención podría funcionar para resolver los problemas de política que enfrenta en otro caso o que enfrentará en el futuro.

Otro problema tiene que ver con su complejidad  y costo. Las evaluaciones de impacto son, por lo general, experimentos altamente costosos. Y por ello no se pueden – ni se debieran - hacer muchas. Y el costo muchas veces tiene que ver con el nivel de complejidad de las intervenciones y la forma en la que debe diseñarse el experimento: con grupos beneficiarios y grupos de control. Esto contribuye a que sea un método de evaluación muy poco amigable para los decisores de política que encuentran dificultoso interactuar con los investigadores o con el proceso mismo.

Segundo, la evidencia generada no se comunica bien. De hecho, las pocas veces que sí se considera cómo se va a comunicar la evidencia esto se hace al final, cuando el resultado ya ha sido entregado. Esto es como si un estudio de películas empezase a desarrollar una estrategia de distribución después de recibir la política del director. Ya sería muy tarde; nadie iría al estreno.

Lo mismo sucede con las investigaciones o evaluaciones. Debemos pensar en los usuarios desde el inicio y ellos, sobre todo si se quiere que la evidencia se usada, deben incidir en el diseño de los proyectos. Son ellos quienes deben ayudar a definir las preguntas de investigación, los métodos, los productos y formatos de presentación, los tiempos de entrega, etc. Todo esto debe informar la estrategia de comunicación.

Tercero, son muchas, demasiadas, las veces en la que la evidencia generada no se puede usar. La información que ofrecen, entonces, puede ser interesante, pero no es útil.

Esto es, por ejemplo, porque los estudios no hicieron las preguntas correctas. Confundieron una pregunta de investigación con una pregunta de política o de gestión. No son lo mismo.

O no tomaron en cuenta la economía política de los proyectos, programas o instituciones que buscaban informar. O porque no llegó en el momento indicado – se demoró o se apresuró. O porque no fue comunicada al nivel de decisiones adecuado. O porque los investigadores jamás abandonaron el laboratorio o dejaron la seguridad de las bases de datos. Etcétera.

Para resolver estos impases no se requiere de grandes innovaciones ni existen balas mágicas. Se requiere de mayor diálogo entre los usuarios y los generadores de evidencia. Pero este diálogo debe ser permanente y transparente para evitar que sea capturado por un puñado de investigadores o evaluadores.

Cuando Harry Jones y yo estudiamos el uso de la evidencia en el departamento británico para el desarrollo internacional (ex – DFID; ahora parte de relaciones exteriores) encontramos que los decisores preferían acudir a redes de contactos profesionales y personales antes de buscar evidencia directamente en los documentos de los estudios o evaluaciones; y menos aún en bases de datos o publicaciones. Lo que querían era la oportunidad de tener una conversación con una persona que los ayudase a aclarar sus propias preguntas, definir bien cómo podrían absolverlas y ayudarlos, en confianza, a encontrar las fuentes de evidencia o asesoría más adecuadas. Muchas veces acudían, a través de sus redes, a investigadores que tuviesen “experiencia de campo”. Los preferían mucho más que a aquellos que acumulaban publicaciones.

La solución, como en el judo, fue usar esta preferencia en lugar de combatirla. DFID instauró la figura de los brokers de conocimiento. Estos actuaron como asesores científicos encargados de fomentar estas conexiones y diálogo con un número más amplio de investigadores y evaluadores. Su labor principal era corregir los errores en la elección de métodos, o evitar faltas de comunicación o maximizar la utilidad de los resultados y recomendaciones.

Los asesores científicos pueden jugar un rol crucial en promover el uso de evidencia en la política pública; empezando por la evidencia que demanda el Estado. La Comisión de Ciencia, Innovación y Tecnología del Congreso de la República ha tomado tema en un reciente proyecto de ley: propone la figura del asesor científico en jefe. Y esto es también una preocupación actual del CONCYTEC. Estos son pasos en la dirección correcta.