IASSIST 2012: Medir los resultados de las inversiones en investigación

La primera sesión plenaria de la 38 ª Conferencia Anual IASSIST, Creating new types of data from documents and administrative records: a use case from science policy (Creando nuevos tipos de datos a partir de documentos y registros administrativos: un caso de uso de política científica) por Julia I. Lane, trató sobre la creación de una infraestructura de datos que permita medir el impacto de las inversiones en investigación.

En los Estados Unidos la gran inversión realizada por agencias gubernamentales en Investigación y Desarrollo no contaba con una infraestructura de datos sólida de evaluación de la política científica y de los beneficios reales de estas inversiones.  Como respuesta a esta necesidad de documentar sistemáticamente las inversiones y sus resultados, tanto inmediatos como de largo plazo, se está desarrollando un programa de colaboración entre organismos científicos e instituciones de investigación denominado  STAR METRICS (Science and Technology for America’s Reinvestment: Measuring the EffecTs of Research on Innovation, Competitiveness and Science).

J. Lane estuvo a cargo del Programa Ciencia de las Políticas de Ciencia e Innovación en la National Science Foundation (NSF) y creó y lideró este programa. En IASSIST 2012 presentó el sistema STAR METRICS que desarrolla modelos, herramientas y datos consistentes para generar reportes y análisis minimizando los costos.  En el diseño de las herramientas fue fundamental el aprovechamiento de los datos y registros administrativos ya existentes en los sistemas propios de las instituciones participantes y se basó en la utilización de nuevas tecnologías.

Para este proyecto se desarrolló un prototipo aplicando a todo el texto de las propuestas de investigación, un algoritmo denominado topic model que “aprende” automáticamente los temas y categorías de un documento. El enfoque elegido fue capturar automáticamente datos sobre el proceso de gestión de la ciencia, teniendo en cuenta las entradas (financiamiento recibido) y las salidas (publicaciones, empleos, etc.) y las relaciones entre éstas tratando de mapear los resultados e impactos en términos de:

• Conocimientos científicos (por ejemplo: publicaciones, citas, etc.)

• Crecimiento económico (patentes, nuevas empresas, etc.)

•Impactos laborales (empleos, movilidad de estudiantes, etc.)

• Impactos Sociales (por ejemplo, salud, medio ambiente, energía, etc.)

Algunas de las herramientas desarrolladas y/o que se están testeando con datos de algunas agencias:

• El  Portfolio Explorer permite visualizar los temas que han recibido financiamiento, las propuestas presentadas, los investigadores e instituciones en las diferentes divisiones y áreas de la National Science Foundation.  También se ofrecen gráficos para visualizar la información.
• La herramienta Expertise Locator ayuda a localizar a los investigadores que hayan presentado o han recibido financiamiento por propuestas en diferentes áreas temáticas, proporciona información detallada sobre las propuestas, los equipos de investigación y sus instituciones.
• El Patent Viewer proporciona información sobre las patentes recibidas por los investigadores que a su vez recibieron fondos de la NSF.
• La herramienta Map Viewer agrega la dimensión geográfica permitiendo visualizar las inversiones de investigación y los resultados.
• R&D Dashboard  presenta geográficamente información extraída de los informes de las subvenciones otorgadas por el gobierno  a las instituciones de investigación («inversiones») y las publicaciones y la actividad de patentes realizadas por investigadores financiados por esas inversiones («productos»). El sitio muestra dónde se han realizado inversiones por Estado, Distrito Electoral e Institución.  Además, el sitio proporciona información sobre «en qué» se han realizado inversiones, brindando al usuario la posibilidad de seleccionar las áreas temáticas en los mismos niveles geográficos.
• SciENCV  (Science Experts Network Curriculum Vitae) es una plataforma de datos voluntaria, que permitirá a la comunidad científica documentar sus actividades de investigación y mantener información actualizada (CVs) con el beneficio de que el investigador tendrá información precargada para actualizar y luego podrá utilizar está herramienta en futuras presentaciones a financiamientos, etc.  Constituye un proyecto similar al que se está implementado en Argentina, el CVar.

Escuchando su presentación me preguntaba si se basarían solamente en información sobre patentes, publicaciones, etc. Me sorprendió gratamente ver que las herramientas actuales son el primer paso, pero que se considera utilizar la más amplia variedad de obras creativas de los investigadores y la utilización de métricas alternativas de evaluación.

En suma, la propuesta es una infraestructura abierta (APIs abiertas y sobre las cuales se puedan crear nuevas), transparente, colaborativa y voluntaria que permite responder preguntas tales como:

• ¿Qué se financia y en qué áreas temáticas?
• ¿Qué se está financiando en un área geográfica particular?
• ¿Quién está investigando en qué temas?
• ¿Qué oportunidades/programas de financiación existen en determinadas áreas?
• ¿Cuáles son las fortalezas de una institución?
• ¿Cuánto financiamiento se ha invertido en una disciplina en particular?
• ¿Existen solapamientos entre diferentes agencias de financiamiento?
• ¿Qué empresas resultaron beneficiadas de determinado financiamiento?
• ¿Cuál ha sido el desarrollo de carrera de un investigador asociado a un proyecto?
• ¿Cuáles son los resultados de un proyecto financiado?
• Entre otras…

Para mayor información ver:

The Science of Science Policy: A Federal Research Roadmap

Lane, J., & Bertuzzi, S. (2011). Measuring the Results of Science Investments. Science, 331, 6018, 678-680. [No es de acceso abierto]

Lane, J. (2010). Let’s make science metrics more scientific. Nature, 464, 7288, 488-489. [No es de acceso abierto]

Lane, J. and Black, D. (2012). Overview of the Science of Science Policy Symposium. J. Pol. Anal. Manage., 31: 598–600. doi: 10.1002/pam.21632