Indicadores cienciométricos - Interpretación de la actividad científica

La actividad científica debe ser vista e interpretada dentro del contexto social en la que está enmarcada. Por ello las evaluaciones del desempeño científico deben ser sensibles al contexto conceptual, social, económico e histórico de la sociedad donde se actúa. Esto significa que la ciencia no puede ser medida en una escala absoluta, sino en relación con las expectativas que la sociedad en la cual se desarrolla, ha puesto en ella. Sobre este punto volveremos más adelante, cuando evaluemos algunas herramientas tales como los índices internacionales de citaciones.

La metodología de evaluación de la actividad científica entraña dos problemas: los criterios de medición y la relación entre indicadores científicos y evaluación.

Es importante reconocer que mucha de la discusión que se da entre los sociólogos de la ciencia radica en la importancia relativa que se den a los criterios intrínsecos o extrínsecos de evaluación. Esto divide a los sociólogos en internalistas y externalistas.

El enfoque internalista enfatiza la importancia que las demandas intrínsecas ejercen en la lógica de los descubrimientos y las necesidades cognoscitivas, mientras que los externalistas prestan atención al rol sociocultural, político, y económico, que determina la dirección de la ciencia.

Debe notarse que esta estructura conceptual surge de las reflexiones sobre la institución científica elaborada en los países desarrollados, la que para trasladarse a los países periféricos debe ser adaptada. Pues la tal llamada ciencia internacional (o mainstream) es, en gran medida, el resultado de las ciencias nacionales de los países centrales y producto de la interrelación entre los factores intrínsecos y extrínsecos de ese emprendimiento.

Estas visiones un tanto diferentes del mundo se perciben por ejemplo en los métodos de evaluación alternativos y, debemos decir en justicia, complementarios, elaborados por la OCDE para evaluar la I+D propiamente dicha, y los conceptos elaborados por la Unesco para el mismo problema. La Unesco amplía la evaluación de la C & T de los países incorporando a la visión mainstream las actividades científicas y tecnológicas (ACT). Las ACT comprenden (a) la enseñanza y la formación científica y técnica, y (b) los servicios científicos, es decir, todas las actividades de enseñanza superior y formación especializada universitaria, y las actividades de C&T de bibliotecas, bases de datos, etc.

Esta medición tiene su razón de ser. Si analizamos la inversión que hacen los países desarrollados y la comparamos con la que se realiza en los nuestros, las cifras de unos y otros son abismalmente distintas. Tanto si comparamos las cifras absolutas en billones de dólares como relativas al PNB, el abismo o brecha que nos separa no es posible superarlo. Toda la inversión conjunta que se dedica a C&T en la totalidad de los países de América Latina y el Caribe, en su totalidad repito, es apenas una fracción de lo que dedican tan solo los Estados Unidos. Incluso, si se deja fuera del análisis a las industrias de defensa y a la industria aeroespacial, estas diferencias siguen teniendo varios órdenes de magnitud.

Por esa razón, ningún esfuerzo económico en el futuro previsible podrá hacer que la I+D de la región pueda competir con la de los países desarrollados. La estrategia posible de desarrollo de C&T de nuestros países pasa por la inversión en las ACT, es decir, la formación de cuadros científicos y los servicios de información que permitan la transferencia tecnológica. Nuestra C&T será más de transferencia que de innovación en cifras absolutas. Nuestras publicaciones serán diferentes pues cumplirán papeles diferentes, y los métodos de evaluación serán diferentes pues los contextos sociales lo son también.

El objetivo de los procedimientos de evaluación es obtener medidas de los resultados con respecto a:

• Cuán exitosos han sido en lograr los objetivos establecidos por la política de ciencia del país y cuál es el valor de estos objetivos en el contexto de esa sociedad.
• Qué factores fueron instrumentales en promover o impedir el logro de dichos objetivos.
• Qué cambios son necesarios para mejorar los logros futuros.

El proceso de evaluación debe distinguirse de la recolección de datos o indicadores científicos. La recopilación y tabulación de los datos cualitativos y cuantitativos, así como el monitoreo de las actividades son sólo componentes de la evaluación. La evaluación trata de responder por qué las cosas ocurren como ocurren. La evaluación es un componente de la política científica.

La cuestión fundamental que se evaluaría en el desempeño científico es si el esfuerzo de investigación y publicación científica resulta en una contribución real al progreso científico de esa sociedad, si contribuye a metas prácticas y útiles tanto en lo técnico como en lo social o, si por el contrario, el esfuerzo es redundante y sin utilidad significativa. Repetimos el concepto, la evaluación del sistema de comunicación científica debe tener como referencia las metas de la política científica establecida para el país o región, no necesariamente coincidente con la ciencia internacional.

Para la caracterización y el juicio razonable de la empresa científica es necesario establecer pautas tanto objetivas como cuantificables, así como también pautas de calidad.

• Objetivas y verificables, son las que se logran por los métodos cienciométricos. Estos métodos son: el análisis de citaciones, premios, patentes, contratos, becas, mapas de cocitaciones, etc. Como es sabido, estos métodos tienen limitaciones y reciben críticas debido a que los números reflejan la cantidad o actividad y, de cierta manera, la productividad, pero no la calidad y contenido de las publicaciones.
• Adecuadas para valorar el contenido y nivel de conocimientos, son las que se logran mediante el arbitraje por expertos. El análisis por expertos es el método usado para la selección de premios, el ingreso a círculos académicos, nominación a universidades, etc. Sin embargo, su validez está restringida debido a los problemas de juicios subjetivos y por criterios externos a las metas científicas, como son los prejuicios nacionales, las presiones políticas, los factores de prestigio social, etc.

En lo concreto, entonces surge la pregunta: ¿Cuáles son estos famosos indicadores cienciométricos del que disponemos, cuántos son, qué miden? En un artículo publicado hace algunos años en Scientometrics, Vinkler presenta una tabla comparativa con 46 indicadores simples y compuestos. Los indicadores siguientes son sólo una selección de estos, más algunos que yo he agregrado. Pueden dividirse en 2 grandes grupos:

• Indicadores de publicación: miden la calidad e impacto de las publicaciones científicas.
• Indicadores de citación: miden la cantidad e impacto de las vinculaciones o relaciones entre las publicaciones científicas.

Cada uno de estos índices pueden medirse como índices simples, relativos, o ponderados según distintos criterios. También pueden medirse como series cronológicas, o como medidas de distribución (Bradford, Lotka, etc.).

Los estudios pueden realizarse a nivel micro, medio o macro según midan:

• individuos, instituciones, países.
• revistas individuales, grupos temáticos toda una disciplina.

Ahora bien, si tenemos todos estos indicadores supuestamente objetivos, los que han sido analizados y desarrollados por más de 3 décadas, con publicaciones internacionales serias, con estudios importantes realizados en todas partes del mundo, ¿por qué estas técnicas no integran las herramientas normales de evaluación de la C&T recomendados en los manuales internacionales?

La razón, a mi manera de ver, es que estas herramientas se han mostrado adecuadas para analizar la producción de C&T de los países centrales, de la ciencia mainstream, pero tienen serios problemas de índole epistemológica e instrumental a la hora de analizar la producción de los países menos desarrollados.¹⁰

La razón instrumental es una vieja discusión conocida por todos ustedes. Las herramientas principales disponibles para la mayor parte de los estudios bibliométricos proceden de las bases de datos del Institute for Scientific Information (ISI), cuyos procedimientos de selección de revistas son parciales y no son adecuados ni suficientes para evaluar la C&T de los países en vías de desarrollo. El ISI produce instrumentos adecuados para evaluar la ciencia mainstream, pero no así la del resto del mundo, ni en particular las actividades que la Unesco llama de ACT.

Esta es la primera razón por la que este proyecto desarrollado por BIREME (Centro Latinoamericano del Caribe de Información en Ciencias de la Salud) es importante y oportuno y con una metodología confiable. Llena un vacío largamente esperado en toda la región. Tendremos los instrumentos y los métodos para construir la base de datos para nuestros indicadores bibliométricos y cienciométricos, que cubran una muestra suficientemente representativa de nuestra actividad científica y permita obtener resultados válidos y comparables acordes con las necesidades de nuestras políticas científicas y nuestros niveles de desarrollo.

La otra razón, la razón epistemológica, es menos conocida y tiene que ver con la forma en que históricamente fueron construidas las listas de revistas del ISI con sus bases de datos. Este tema fue analizado en un artículo por Spinak y Rousseau¹¹ recientemente, al que podría llamar el problema de las colas de los cometas.