Evaluación de instituciones científicas - Primera parte: Estudio cienciométrico de las publicaciones científicas

Este estudio, autorizado por el Rector y por el Consejo de Investigaciones de LUC, investiga la posición international de la Facultad de Ciencia y Medicina de esa institución,4 y describe en particular en el período de 1981 a 1993:

• La dimensión del potencial investigativo de todos los grupos dedicados a esa actividad, medida en términos de equivalencia persona-año (person-year equivalents, PYE) consagrada a la investigación científica.
• Los resultados de la investigación, en particular, la posición internacional evidenciada por las publicaciones en revistas científicas; especialmente, la proporción en que estas publicaciones fueron citadas en la literatura profesional internacional.
• Las observaciones hechas por los científicos en relación con los métodos cienciométricos y sus resultados.

Para poder comparar los resultados de LUC con los de otras instituciones, el método empleado se aplicó también en la evaluación de otras universidades.5,6

Premisas, objetivos y advertencias

La aplicación de los métodos cienciométricos para la evaluación de investigaciones científicas7,8 se basa en las siguientes premisas:

a) El progreso se alcanza mediante el trabajo de los científicos.

b) En su trabajo, estos científicos se basan en la obra de colegas y de precursores en su campo.

c) Se publican los resultados de este trabajo.

d) Se someten a la apreciación de pares iguales.

e) Los científicos muestran en sus publicaciones cómo se han basado en el trabajo previo de otros, al mencionar en sus textos una lista de referencias.

f) Las revistas científicas desempeñan un papel esencial en la comunicación entre colegas científicos. Esta es la principal razón por la que la literatura científica es una representación de la actividad científica y de la red de relaciones entre subcampos.

g) El número de publicaciones de un grupo de investigación, puede considerarse un indicador de su producción científica.

h) El número de veces que la obra de un grupo es citada por otras publicaciones, da la medida del impacto y de la visibilidad internacional de esa obra.

i) En el sistema global de revistas, se puede distinguir entre las "centrales", es decir, las revistas internacionales importantes, y las periféricas que son de orientación más regional.

j) El Instituto de Información Científica (ISI) abarca por medio de su Índice de Citas Científicas (SCI), el grueso de las revistas internacionales importantes en las ciencias puras, aplicadas y médicas.

El índice de Citas de las Ciencias Sociales (SSCI) tiene la misma función para el área de las ciencias sociales.

Los indicadores cienciométricos no están destinados a sustituir a los especialistas, sino más bien a hacer que las investigaciones sean visibles y analizables, de manera que los especialistas tengan una adecuada información a su disposición y por tanto puedan formular una opinión mejor fundamentada.9,10 Estos indicadores son más eficaces cuanto más alto sea el nivel de agregación.11

Los científicos que laboran en las universidades tienen varias responsabilidades: admás de la enseñanza y la investigación, tienen una obligación para con la sociedad en su conjunto. El método cienciométrico considera sólo el aspecto investigativo, esencialmente el alcance de las contribuciones de un grupo de investigación en relación con el desarrollo de nuevos conocimientos en el frente investigativo. Esto implica que muchas de las actividades normales de los investigadores, no se toman en consideración.

Los resultados de esta investigación se distribuyeron en tres versiones. La primera contiene los resultados de cada grupo por separado. Cada grupo de investigación recibió un informe que contenía sólo sus resultados, además de una copia con la descripción de los resultados globales de LUC. La segunda versión que sólo contiene los resultados globales de LUC, se repartió a los grupos de investigadores y al Consejo de Investigaciones. Finalmente hay una versión oficial (en holandés) dada a conocer públicamente (tras ser aprobada por el Consejo de Investigaciones), para que los interesados en los métodos y en los resultados puedan consultarla. Esta versión oficial ha sido traducida al inglés4 y todos los datos en ella contenidos se han mantenido en el anonimato.

Indicadores de entrada

Se estimó la capacidad investigativa de cada grupo, expresada en equivalentes persona-año en la investigación (PYE-Res).

Para obtener esta cifra, se observaron las siguientes reglas.

Se introdujo un parámetro de investigación que expresaba una fracción de horas trabajadas en una investigación, para lo cual se emplearon los mismos porcentajes de la OECD, o sea, en cuanto a los miembros del personal pagado por la propia universidad, este parámetro se fijó en 0,4(40 %); en lo que respecta a los investigadores pagados por la Fundación Nacional de la Ciencia y otras organizaciones similares, el parámetro se estableció en 1,0 (100 %); el personal académico empleado por un período menor al 100 % se contabilizó en proporción al porcentaje de su tiempo de trabajo (los que tenían un trabajo a tiempo parcial su parámetro se valoró en 0,2). Si el porcentaje del régimen de trabajo es inferior al 20 %, las personas en este caso sólo se consideran como profesores y su parámetro investigativo se calcula en 0,0. Con el uso de estos parámetros y el número de personas activas en cada grupo de investigación, se calculó el indicador PYE-Res/año, es decir, los equivalentes promedio persona-año en labores investigativas durante el período 1981-1993.

Indicadores de producción, productividad e impacto

La producción de un grupo de investigación se expresa en su cantidad de publicaciones. La productividad se expresa como el número de publicaciones por equivalentes persona-año en las investigaciones.

El impacto se ha medido sobre la base de la cantidad de citas por publicación y está relacionada con un patrón internacional (un promedio mundial).

Indicadores de producción (PA, Pt, P, Pf)

Para cada grupo de investigación se ha determinado el número total de publicaciones y el número de publicaciones incluidas en el archivo LUC-JCR (Journal Citation Reports), durante el período 1981-1993. Estos indicadores se identifican con los símbolos PA y Pt. El número de publicaciones incluidas en el JCR de 1981 a 1993 se denota con la letra P. El SCI utiliza una clasificación de las publicaciones según se trate de artículos originales, cartas, notas, artículos de revisión, resúmenes, conferencias, editoriales, reseñas de libros y correcciones. Solamente las cuatro primeras categorías mencionadas se consideran para los parámetros Pt y P.

A menudo sucede que un grupo de investigación publica artículos en cooperación con científicos de otros grupos, tanto dentro como fuera de la universidad.12 Vale preguntar si estas publicaciones pueden o no ser completamente atribuidas a cada grupo de investigación participante. Esto constituye un problema, en especial cuando las publicaciones se relacionan con los datos de entrada, como son los equivalentes persona-año para una investigación.

De hecho, los artículos que surgen de una colaboración se basan en parte en los esfuerzos y recursos de otros grupos. Por esta razón, se han utilizado aquí dos esquemas de contabilización: el usual y directo (una publicación es una unidad) y el fraccionado (tomando en consideración la colaboración). Si, de acuerdo con las indicaciones sobre publicaciones encontradas en los archivos del SCI, un artículo es publicado por miembros de dos grupos, cada grupo recibe la mitad del crédito. Si son tres grupos, entonces cada uno recibe la tercera parte del crédito y así sucesivamente. A las publicaciones calculadas por el método fraccionario e incluidas en el archivo LUC-JCR, se les asigna el símbolo Pf. Este indicador sólo se ha utilizado para medir la productividad de un grupo de investigación o de una facultad.

Obsérvese que los indicadores P, Pt y Pf sólo se relacionan con artículos del LUC-JCR, es decir, con artículos originales, cartas, notas y artículos de revisión publicados en un número de la JCR y que tienen la dirección de LUC.

Indicadores de productividad (PA/PYE-Res por año; Pf/PYE-Res por año)

La productividad se mide utilizando las relaciones PA/PYE-Res y Pf/PYE-Res (número total de publicaciones y número fraccionado en JCR por equivalente persona-año en actividades de investigación) en el lapso de un año. Como el objetivo de este informe es determinar la posición internacional de LUC, sería conveniente comparar la productividad de los grupos de investigación y de las facultades con un patrón internacional. Esto permitiría determinar si la productividad es alta o baja desde un punto de vista global (internacional). Sin embargo, no es posible en estos momentos obtener datos fiables para hacer tal comparación.

La comparación de la productividad entre diferentes grupos de investigación no es por lo general significativa. Además del hecho de que esto sólo determinaría la posición relativa local de un grupo, existe la complicación de que los hábitos de publicación varían marcadamente entre los distintos campos y departamentos científicos. Por ejemplo, tiene poca importancia comparar la productividad de un grupo experimental con la de un grupo dedicado a la ciencia aplicada. La principal función de este indicador es encontrar los grupos de investigación con una productividad muy baja, es decir, grupos que publican muy poco con respecto a su capacidad investigadora.

Indicadores de impacto (Ct, Ctex, C, Cex, CpP, CexpP, CpP/FCSm, CpP/JCSm, JCSm/FCSm, PSt, PS)

Estos indicadores sólo tienen que ver con artículos del LUC-JCR. Para cada científico se ha determinado el número total de citas durante el período 1981-1993 (y esto es con respecto a los artículos publicados en este período). Esto se ha identificado con el símbolo Ct, en el que también se incluyen las autocitas. Para dar una idea de la cantidad de autocitas, se determinó también el número total de citas sin incluir autocitas, y el porcentaje de autocitas (símbolos Ctex, PSt). Estos indicadores se determinaron para un período de cuatro años tras la publicación (símbolos C, Cex, PS). Además se obtuvo la cantidad promedio de citas por artículo con autocitas y sin estas (símbolos CpP y CexpP).

Por regla general, un grupo publica artículos en determinadas revistas, las cuales constituyen la colección de revistas de ese grupo. Es posible obtener el factor de impacto para cada revista de esta colección, es decir, el número de veces promedio en que se cita el artículo publicado en esa revista. Obsérvese que para el cálculo del factor de impacto de una revista, se toman en consideración todos los artículos y no sólo aquéllos publicados por el grupo de investigación que se evalúa. En este informe, el factor de impacto se denomina JCS (Journal Citation Score: puntuación de las citas de la revista).

El uso de factores de impacto de revistas posibilita formular una media ponderada del factor de impacto para la colección de revistas donde publica el grupo (símbolo JCSm). Ejemplificaremos esta construcción de la siguiente manera: supongamos que un grupo publicó en un año determinado 3 artículos en la revista A y 2 en la revista B; luego supongamos que los artículos de la revista A tuvieron como promedio 6 citas (JCS = 6) y los de la B, 2 (JCS = 2). La media ponderada del factor de impacto para la colección de revistas de este grupo en ese año sería (JCSm): (3 x 6 + 2 x 2:5=4:4.

Los factores de impacto pueden calcularse de diversas formas. La utilizada en este informe difiere de la oficial, es decir de la del ISI. La noción del factor de impacto siempre se refiere a una cantidad promedio de citas de artículos publicados en cierta revista. El factor de impacto del ISI se refiere al número promedio de citas obtenido durante el segundo o tercer año posterior a la publicación. Para presentarlo de una forma más precisa: el factor de impacto del ISI para una revista X en 1998 se obtiene al dividir la suma de las citas en el año 1998 de los artículos publicados en esta revista en los años 1996 y 1997 entre la suma de la cantidad de artículos publicados en esa revista X durante esos mismos años.

Nuestro trabajo se ha limitado a un período predeterminado, llamado un período de 4 años,13 que consiste en el año de publicación (año uno) y los 3 años siguientes. Una consecuencia de esta elección del período de 4 años es que tan sólo las publicaciones del período 1981-1989 pueden analizarse en su totalidad.

Los indicadores mencionados, son indicadores básicos que responden a preguntas como: ¿cuál es la frecuencia con que se citan los artículos dentro del conjunto de revistas del SCI? y ¿cuál es la media ponderada del factor de impacto de las revistas en las que se publican las investigaciones? Estos indicadores no responden a la pregunta de si un grupo de investigación es o no más citado que otros grupos similares y si la puntuación de las citas en la revista del grupo es alta o baja vista desde una perspectiva internacional. Una comparación directa entre los grupos o los departamentos de una universidad, basada en números absolutos de citas (C), de citas por publicación (CpP) o el factor de impacto de la colección de revistas (JCSm) no es por lo general significativa, dada la diversidad de hábitos a la hora de citar en diferentes campos de la ciencia. En campos como la inmunología, las listas de referencias son mucho más largas que en matemática o en computación. Por lo tanto, hemos optado por un método donde al menos para el análisis del impacto se ha establecido un nivel de referencia internacional. Las puntuaciones de los grupos de investigación de LUC se comparan entonces con este nivel de referencia internacional. Hemos calculado, por subcampo, la cantidad promedio de citas que recibe un artículo de ese campo, lo cual se denomina promedio global por campo y se denota como FCS (field citation score). Para la clasificación de revistas por subcampos, se parte de la clasificación de revistas en categorías según el ISI. Luego se comparan las puntuaciones de las citas de LUC con las existentes en el mundo y entonces puede establecerse si los artículos de un grupo de investigación son más o menos citados que el promedio global imperante en el campo donde opera el grupo de investigación. Por lo general, un grupo trabaja en más de un campo y, por consiguiente, la media ponderada que se utiliza (símbolo FCSm) es similar al cálculo de la media ponderada del factor de impacto (JCSm).14

Se elaboraron 3 importantes indicadores sobre la base de las variables CpP, JCSm y FCSm:

a) La relación entre el impacto obtenido y el impacto de la colección de revistas: Cpp/JCSm.

Aquí se compara la puntuación del promedio de citas de un grupo de investigación (CpP) con la media ponderada del factor de impacto de las revistas en la cual publica el grupo (JCSm). Este indicador permite determinar si la obra de un grupo -dentro de un parámetro de citas en 4 años-1 es más citada que el promedio. El poder evaluativo de este indicador es limitado por el hecho de que no se toma en cuenta el nivel de citación de la colección de revistas.

Un grupo que publica en revistas menos importantes- con un bajo factor de impacto- y que es citado con la misma frecuencia promedio que se citan los artículos de su colección de revistas, es clasificado por este indicador en el mismo nivel que un grupo que publica en las principales revistas con un alto factor de impacto y obtiene una puntuación de citas promedio igual a la de su colección de revistas.

b) La relación entre el impacto obtenido y el impacto global promedio de los campos en los cuales trabaja el grupo: CpP/FCSm.

Este indicador compara la puntuación de citas promedio de la obra del grupo con el promedio internacional de citas de los campos en los que se desenvuelve el grupo. Una relación mayor que 1 significa que el grupo es citado con más frecuencia que el promedio global de sus subcampos. Este indicador es el más apropiado para medir la posición internacional de un grupo de investigación.

c) La relación entre factor de impacto promedio de la colección de revistas con el impacto global promedio de los campos en que actúa el grupo: JCSm/FCSm.

Este indicador compara la media ponderada del factor de impacto de la colección de revistas con el promedio global de citas del campo en que participa el grupo. Si el JCSm/FCSm es mayor que 1, esto significa que el grupo publica en revistas que tienen un factor de impacto alto con respecto al promedio global (en el campo).

Por su puesto que estos 3 indicadores no son independientes. El conocimiento de dos de ellos determina el tercero.