Indicadores de ciencia y tecnología en el contexto de la Ciencia Abierta

Los indicadores sobre ciencia y tecnología han sido centrales en los estudios sociales de ciencia y tecnología, así como en las actividades de evaluación y gestión de la ciencia. Por un lado, estos indicadores sirven para describir las dinámicas sociotécnicas a lo largo de la emergencia y el desarrollo de nuevas ciencias y tecnologías. La información bibliométrica que es la base de estos indicadores ha permitido obtener elementos desde diversas perspectivas que aportan descripciones muy útiles para estos estudios. Por otro lado, la evaluación y la gestión de la ciencia y la tecnología son dos tareas que emplean estos indicadores, sobre todo los cuantitativos por su relativa facilidad de construcción, tratamiento y análisis. Sin embargo, los indicadores de ciencia y tecnología han tenido implicaciones importantes sobre las practicas científicas y tecnológicas. Existe, de hecho, una amplia literatura sobre las críticas, atributos y limitaciones de los indicadores de ciencia y tecnología. La dificultad de la apropiación y pertinencia contextual de estos indicadores y métricas es uno de los ejes centrales de las críticas y limitaciones.

En todas las áreas y disciplinas del conocimiento científico se ha discutido estas implicaciones y críticas, que además de tener elementos contextuales, se han señalado elementos particulares a las dinámicas de las disciplinas (Amaro-Rosales & Robles-Belmont, 2020). Además, del exterior del ámbito de la ciencia y la tecnología, han surgido nuevas demandas hacía los sistemas científicos (Funtowicz & Ravetz, 2000; Waltner-Toews et al., 2020); se trata de la capacidad de estos sistemas para responder a las necesidades sociales, la rendición de cuentas, la apertura del conocimiento, entre otros.

El movimiento internacional de la Ciencia Abierta que ha emergido en los últimos años ha traído nuevos retos, donde la UNESCO en un reciente documento de recomendaciones busca proponer una serie de puntos para avanzar hacia la apertura de la ciencia. Lo que nos interesa en este proyecto en el contexto de la Ciencia Abierta es lo que concierne a los datos abiertos bibliométricos con aplicaciones para la evaluación de la ciencia y la tecnología.

La pregunta central es qué indicadores podemos generar que aporten a las necesidades locales y regionales en Latinoamérica, por una parte, y aporten a los objetivos del movimiento de la Ciencia Abierta, por otra parte. De la revisión de la literatura y herramientas exploradas buscamos formular nuevas preguntas que respondan a los marcos normativos y académicos en torno a los indicadores sobre ciencia y tecnología.

El desarrollo de este proyecto se plantea en cuatro etapas. La primera consiste en la revisión de la literatura académica sobre indicadores de ciencia y tecnología, así como de documentos institucionales sobre los criterios de evaluación de la ciencia. La segunda etapa se centra en explorar bases de datos bibliométricas abiertas. Para delimitar el estudio nos centraremos sobre las áreas de las nanociencia y nanotecnologías y del Covid-19 en la región de América Latina, esto con el fin de aportar ejemplos sobre un área emergente y un área contingente. La tercera etapa se centra en el tratamiento, la visualización y el análisis de los datos, lo que implica movilizar capacidades en programación y análisis de redes sociales, y esto sin dejar de lado el análisis cualitativo sobre aspectos sociotécnicos que están detrás de las dinámicas del desarrollo científico. Finalmente, la cuarta etapa es poner en línea los principales resultados obtenidos en el proyecto, que van desde los datos obtenidos hasta las herramientas apropiadas y desarrolladas, así como las metodologías que consideramos pertinentes para los estudios de caso y el contexto latinoamericano.

Los resultados esperados en este proyecto es llevar a cabo una reflexión en torno a los indicadores pertinentes para los contextos latinoamericanos y construir propuestas desde la perspectiva de la Ciencia Abierta. Se trata entonces de proponer indicadores basados en datos abiertos, usando metodologías y herramientas para la visualización y análisis de indicadores que igualmente sean abiertas. Esta propuesta de proyectos y las reflexiones en torno a los indicadores y sus usos en las ciencias sociales y la evaluación y gestión de la ciencia y la tecnología se ha nutrido del acercamiento con el grupo de trabajo sobre “indicadores de ciencia y tecnología y ciencia abierta” del Programa Iberoamericano de Ciencia y Tecnología para el Desarrollo (CYTED), en el cual participan los tres investigadores participantes en este proyecto. Cabe mencionar que en este programa no se financia proyectos de investigación, lo que se busca es formar grupos de trabajo y redes de colaboración sobre temas para la Ciencia y la Tecnología para el Desarrollo en la región Iberoamericana. El presente proyecto busca igualmente aportar a la consolidación de redes en la región latinoamericana en torno a los indicadores.

Los indicadores sobre las actividades científicas y tecnológicas han ocupado un lugar importante en los estudios sociales de ciencia, tecnología y sociedad (CTS), así como en la gestión y la evaluación de estas actividades. En el campo de los estudios CTS estos indicadores son usados para el estudio de la emergencia y desarrollo de las disciplinas y de nuevas ciencias y tecnologías. Las diversas fuentes de información sobre ciencia y tecnología han servido para construir panoramas en varios niveles (macro, meso y micro) y dimensiones (científica, técnica y económica) que aportan a la descripción de los procesos sociotécnicos en el desarrollo científico y tecnológico (Michel Callon, 1986; Robles-Belmont, 2016). La sociología de la ciencia, la economía de la innovación y los estudios políticos de ciencia y tecnología, son ejemplos de disciplinas de las ciencias sociales que movilizan con frecuencia estos indicadores con el fin de describir cuantitativamente el desarrollo científico y tecnológico. Por otro lado, la elección de la información e indicadores requiere de reflexiones teóricas y metodológicas para mejor abordar la complejidad del desarrollo de nuevas ciencias y tecnologías (Amaro-Rosales & Robles-Belmont, 2020). De hecho, es importante mencionar a la bibliometría y la cienciometría como las dos áreas del conocimiento que se han encargado de proponer marcos teóricos y metodológicos para la producción de indicadores científicos y tecnológicos (Ardanuy, 2012; M. Callon, Courtial, & Penan, 1993). Las propuestas de estas áreas son mayoritariamente cuantitativas, cuyos análisis nos permiten mapear el desarrollo de algunos indicadores (basados principalmente en documentos científicos y patentes) e identificar tendencias. Sin embargo, los principales límites de estos aportes cuantitativos es que nos dicen poco sobre las dinámicas sociotécnicas que han dado forma a las ciencias y las tecnologías. Además, es importante señalar las críticas sobre la poca representatividad de la ciencia producida fuera de los países industrializados y la ambigüedad de las categorías empleadas en las bases de datos privadas (más adelante volveremos con estos puntos). No se trata de restar méritos a estos estudios cuantitativos, sino que de señalar sus aportes y limites que pueden ser resueltos con enfoques cualitativos. Prueba de esto es que cada día vemos estudios CTS que están empleando enfoques mixtos (cuantitativos y cualitativos) para mejor entender los procesos sociotécnicos y describir los objetos de estudio y las dinámicas que los rodean.

En las tareas de gestión y evaluación de la ciencia y la tecnología, desde enfoques más normativos, los indicadores sobre las actividades científicas y tecnológicas igualmente se han convertido en insumos centrales. Podemos distinguir dos ejes en estos tipos de tareas; el primero concierne al monitoreo del desarrollo científico y tecnológico que consiste en movilizar indicadores en torno a diferentes elementos de las actividades científicas y tecnológicas que nos permiten identificar el estado actual del desarrollo de un campo científico y tecnológico, así como construir pronósticos (forecasting) y previsiones (foresight) que apoyen a la toma de decisión estratégica tanto para las instituciones académicas y científicas como para la industria (Martin, 1995). Se trata de obtener información de forma sistemática para identificar la emergencia de ciencias y tecnologías que pueden tener beneficios económicos y sociales.

El segundo eje que distinguimos es sobre la evaluación de las actividades científicas y tecnológicas, donde los indicadores se emplean para evaluar ciertos elementos que permitan medir la eficiencia y los resultados de proyectos y líneas de investigación a partir de sus propios objetivos. Estos indicadores están cercanos a las políticas de ciencia y tecnología por la naturaleza de los usos que se les dan. Incluso existen diversos manuales para producir indicadores con aplicaciones principalmente en la evaluación de la ciencia y la tecnología: armonización internacional sobre la medición de las actividades de ciencia y tecnología (OECD, 2002), innovación (OECD, 2005), internacionalización de la ciencia y la tecnología (RICYT, 2007), y vinculación (OEI & RICYT, 2017). Estos son solo algunos de los manuales que conciernen a la región latinoamericana y a México, los cuales, a pesar de su amplia aplicación en niveles y dimensiones, encontramos que son poco usados como referencias en México. Las instituciones encargadas de la gestión de recursos para la ciencia y la tecnología en el país (como el CONACYT) y otras entidades centrales en el ámbito científico y tecnológico (principales universidades mexicanas) emplean muy poco estos indicadores en sus informes y reportes de actividades.

Los indicadores sobre las actividades científicas y tecnológicas actualmente enfrentan diversas críticas y retos. En la década de los años 1960 comenzó a desarrollarse la cienciometría y sus herramientas cuantitativas, donde vimos la emergencia de los primeros índices de citaciones de las publicaciones científicas (el Science Citation Index) y una creciente producción de propuestas de indicadores e índices cuantitativos para evaluar las actividades científicas y tecnológicas basadas en las publicaciones. El acelerado crecimiento científico limitó la evaluación por pares, lo que posicionó en el centro de las evaluaciones a los indicadores cuantitativos (Glaser y Laudel, 2007, citados por Invernizzi & Davyt, 2019). Cabe mencionar que las evaluaciones por pares igualmente han enfrentado críticas que fortalecieron los enfoques cuantitativos (Invernizzi & Davyt, 2019). Las metodologías cuantitativas no han dejado de ser centrales hasta estos días, mismo si en las diversas comunidades científicas han surgido críticas en torno a los límites de estos enfoques y las implicaciones que éstas traen. Entre las críticas podemos mencionar que las publicaciones científicas no reflejan toda la producción y transmisión de nuevos conocimientos, la poca representatividad de ciertas áreas del conocimiento en las bases de datos (por ejemplo, las ciencias sociales), la sobre representación de entidades académicas del Norte sobre las entidades del Sur, la ambigüedad en las categorías de las áreas del conocimiento, el sesgo del idioma del inglés, entre otras. Frente a estas críticas observamos posicionamientos a las implicaciones y efectos negativos de las evaluaciones en diversos manifiestos que se han publicado en los últimos años: manifiesto de Leiden (Hicks, Wouters, Waltman, de Rijcke, & Rafols, 2015), la declaración de San Francisco (poner cita) y las declaraciones de la FOLEC (FOLEC, 2020) y CLACSO (CLACSO, 2015). Aunado a esto es importante mencionar que en los últimos años nuevos elementos provenientes de la sociedad han emergido en los debates en torno a las transformaciones en las evaluaciones de la ciencia y la tecnología, se trata de la pertinencia social, la rendición de cuentas, la perspectiva de género, entro otros.

Por otra parte, igualmente en los últimos años hemos presenciado el movimiento internacional de la Ciencia Abierta (CA) cuyo objetivo es abrir el conocimiento científico y tecnológico para el beneficio de la sociedad. Parece no haber una definición consensuada sobre la CA. La UNESCO la define “como un constructo inclusivo que combina diversos movimientos y prácticas con el fin de que los conocimientos científicos multilingües estén abiertamente disponibles y sean accesibles para todos, así como reutilizados por todos” (UNESCO, 2021). Además de las recientes recomendaciones de la UNESCO, desde hace casi una década se han publicado declaraciones e iniciativas que buscan abrir debates y avanzar hacía el Acceso Abierto en la Ciencia (Iniciativa Budapest en el año 2002, Declaración de Bethesta en el año 2003, la Declaración de Berlín en el año 2003, Plan S en el año 2018). Estas iniciativas han tenido implicaciones y repercusiones en las prácticas de las publicaciones que conciernen a todas las áreas del conocimiento científico. Sin embargo, lo que nos interesa en este proyecto en el marco de la Ciencia Abierta es aportar a los indicadores de ciencia y tecnología abiertos, así como a las herramientas para la visualización y análisis que sean abiertas y de fácil apropiación a los diversos contextos sociales y cognitivos. Lo anterior, ya que observamos que existen en la región Latinoamericana iniciativa que miran a la Ciencia Abierta en torno a las publicaciones como es Redalyc, CLASE, Scielo y otras bases de datos que funcionan bajo el modelo Diamante de las publicaciones de Acceso Abierto. Pero no hay muchas propuestas que articulen los datos abiertos sobre las publicaciones con las herramientas abiertas disponibles y que propongan metodologías que respondan a las realizades de la región. Entre las pocas propuestas podemos mencionar la iniciativa AmeliCA y el trabajo del grupo de CoLav en la Universidad de Antioquia en Colombia, ambos sobre las métricas responsables.

Este proyecto tiene dos contribuciones centrales.

Primera contribución. En un apartado anterior ya evocamos la pregunta central sobre qué indicadores podemos generar que aporten a las necesidades locales y regionales en Latinoamérica, por una parte, y aporten a los objetivos del movimiento de la Ciencia Abierta, por otra parte. Otra pregunta es sobre cuál es la discusión académica e institucional sobre lo indicadores y los sistemas de evaluación. Con estas dos preguntas buscamos general un estado del arte actualizado sobre esta temática, lo cual nos llevará a formular nuevas preguntas en torno a las necesidades de los indicadores y sus potenciales aplicaciones en los estudios CTS y la gestión y evaluación de sistemas científicos y tecnológicos.

Partiendo de estos primeros resultados, buscamos definir y proponer nuevas herramientas e indicadores abiertos de ciencia y tecnología. Las bases de esta contribución parten de un marco teórico construido con la revisión de la literatura sobre los indicadores de ciencia y tecnología pertinentes para las realidades latinoamericanas. La discusión y propuesta de este marco teórico oscila en torno a la pregunta sobre cuáles son los retos, críticas y exigencias a los indicadores bibliométricos en la región latinoamericana y cuáles son las referencias en común en los esquemas de evaluación de los sistemas de ciencia y tecnología en esta región. Una vez caracterizados los elementos actuales sobre los indicadores, exploraremos nuevas bases de datos bibliométricos abiertos, para lo cual será necesario apropiarse de herramientas informáticas y desarrollar nuevas herramientas basadas en código abierto para la visualización de datos bibliométricos y el análisis de indicadores pertinentes para los objetos de estudios que planteamos en este proyecto. Como objetos de estudio proponemos las áreas de las nanociencias y nanotecnologías, así como el Covid-19, cuyos resultados esperamos construir bases de datos abiertos sobre la producción científica en estas áreas en la región latinoamericana. Los resultados se pondrán a disposición en un sitio web del proyecto y el desarrollo del código que se realice en repositorios abiertos. Esto además de las publicaciones en revistas arbitradas e indizadas que se produzcan en los 3 años del proyecto.

Segunda contribución. Otro elemento importante de mencionar es la utilidad para la política pública en diferentes niveles que pueden tener los resultados de este proyecto (metodología y herramientas). Esto ya que las reflexiones que proponemos sobre indicadores abiertos se han nutrido de reuniones e interacciones con colegas de la región latinoamericana en el marco del grupo de trabajo encargado del tema de “indicadores de ciencia y tecnología y ciencia abierta” del Programa Iberoamericano de Ciencia y Tecnología para el Desarrollo (CYTED). El objetivo central de este programa es acercar a las comunidades científicas de la región en torno a redes temáticas para que cooperen y, en el caso de la red a la que pertenecemos, es el estudio y análisis de las políticas públicas y sociales en ciencia y tecnología.