Evaluación de las publicaciones periódicas primarias - Sistemas de expertos. Metodología

La evaluación de expertos constituye una modalidad de estudio de la literatura científica de amplia utilización por parte de los selectores de publicaciones periódicas primarias en las instituciones de información. Sin embargo, la forma en que dichas evaluaciones se han realizado tradicionalmente, generan resultados que, en muchas ocasiones, poseen un carácter eminentemente subjetivo y, por lo tanto, resultan de dudosa validez para su aplicación en el contexto de la actividad científico informativa. Se aborda la evaluación de expertos, como herramienta de importancia vital para la actividad de selección de publicaciones científicas, con especial énfasis en las limitantes de su forma de realización tradicional. Por último, se propone una nueva metodología para su ejecución.

Descriptores: EVALUACION DE PUBLICACIONES; SISTEMAS DE EXPERTOS; SELECCION; PUBLICACIONES; METODOLOGIA

La evaluación de expertos es una modalidad de valoración de la literatura científica, ampliamente utilizada por los especialistas en información, mediante la que se solicita a los primeros una relación o enumeración de los títulos considerados por ellos de mayor calidad, utilidad o significación para la realización de su trabajo.

La importancia de este tipo de evaluación radica en que permite determinar el valor real de las distintas fuentes de información disponibles para los especialistas de una materia en una comunidad específica, así como contextualizar las valoraciones potenciales realizadas por los expertos en información, siguiendo criterios generales tales como los índices de citación, de solapamiento y otros.

Ahora bien, el comportamiento de los expertos resulta a menudo incompetente, porque éstos ignoran importantes avances en el conocimiento de sus respectivas áreas del saber1 como consecuencia de la falta de una metodología y de una acción sistemática para la extracción efectiva del entorno informacional de aquellos avances validados correctamente de utilidad directa a la actividad del especialista.2

A pesar de que las publicaciones periódicas son la vía de difusión mas rápida de los nuevos conocimientos3 y de que la lectura de revistas es la forma mas popular de informarse en términos de preferencia, frecuencia de utilización y tiempo que se le dedica,4 el gran volumen, la dudosa validez y la probable inutilidad de muchos trabajos convierte en poco razonable el intento de leerlas todas.

Actualmente existen cerca de 40 000 revistas biomédicas5,6 y se publican alrededor de cuatro millones de trabajos,2,6 es decir, más de 75 000 semanales. Su revisión haría necesario leer alrededor de 25 000 artículos en cada una de las tres horas que manifiestan los médicos disponer para la lectura semanalmente.2

La carencia de un diseño de investigación adecuado de gran parte de los trabajos científicos, la existencia de distintos sesgos que afectan al proceso de investigación y publicación, las deficiencias del sistema de arbitraje y de las políticas editoriales de las revistas, provocan que sólo un reducido número de publicaciones contribuya al progreso de la ciencia y al ejercicio de la práctica profesional.7 El número de trabajos científicos de alta calidad se duplica cada 20 años, tiempo en el que el total de trabajos se cuatriplica.6

A su vez, el carácter preliminar de muchos de los resultados publicados, insuficientes para justificar la acción; la estrechez de perspectiva de los trabajos; la ausencia de los elementos metodológicos necesarios para determinar su validez científica; su falta de relevancia para las cuestiones propias de la actividad del lector;2,5,7 la redundancia de la información; así como la carencia de suficiente similitud con el objeto, objetivos, lugar, condiciones y recursos empleados por el investigador;2,5 unido a la forma incorrecta de abordar la literatura científica que utilizan la mayor parte de los especialistas de cualquier rama del conocimiento, aun cuando se han publicado metodologías efectivas para su realización;2 imponen la necesidad de desarrollar una vía eficaz de evaluación de la literatura científica.

El presente trabajo se propone, a partir de la identificación de las principales limitantes que presentan las evaluaciones de expertos, proponer una metodología para su realización y para superar las deficiencias fundamentales de este tipo de estudio.

PRINCIPALES LIMITACIONES DE LAS EVALUACIONES DE EXPERTOS

• Tendencia de los expertos a evaluar la validez de los resultados de los trabajos científicos contra su propia experiencia.

En un estudio realizado con 432 médicos prácticos y 88 líderes de sociedades científicas y otros organismos, se obtuvo que el 90 % de éstos determinaban la validez de los trabajos que revisaban mediante la comparación de los resultados contra su propia experiencia. Solo el 30 % de los médicos prácticos y el 60 % de los líderes examinaban los métodos y técnicas utilizadas en el estudio.8

Estos datos indican cuan poco seguros están los médicos de la validez científica de los resultados de los trabajos que consultan, si se conoce que la confiabilidad de estos últimos depende en su totalidad de la metodología aplicada, así como de la carencia, entre muchos especialistas, de los medios y métodos adecuados para validar y obtener información probada de las innovaciones en los campos médicos.

• Propensión de las publicaciones a obtener un prestigio ante los expertos, que persevera en detrimento de su mérito científico.

Las revistas reconocidas tradicionalmente pueden desplazar, según la evaluación de los expertos, a las revistas nuevas en términos de prestigio, aunque en términos profesionales éstas publiquen artículos más importantes.9

• Falta de sistematicidad de los especialistas en la búsqueda de nuevas publicaciones de valor en su disciplina. Esta se manifiesta en la carencia de una metodología y acción sistemática para el estudio del rendimiento real de las publicaciones para la satisfacción de sus necesidades; conformismo; ley del menor esfuerzo; empirismo.

La valoración objetiva de las publicaciones periódicas y la selección efectiva de los trabajos científicos, requiere de una metodología adecuada para su realización y de una disciplina por parte de los expertos.2

Esta acción comienza por escoger aquellos materiales con suficientes elementos para determinar la credibilidad de los resultados expuestos. Los artículos originales son los más adecuados para conocer los avances en el campo de acción del especialista o solucionar cuestiones específicas de su actividad, al posibilitar el examen de los métodos empleados para realizar la investigación. El análisis de éstos comprende la determinación de la utilidad y calidad de cada trabajo, así como el registro del rendimiento de cada publicación.

La evaluación de calidad abarca tanto la evaluación metodológica -para determinar si existe un soporte moderadamente fuerte como para fundamentar las inferencias- como de contenido y presentación.

• Combinación indeterminada de los productos de los procesos cognitivos (percepción, pensamiento) afectivos (emociones, sentimientos) y pulsacionales (necesidades, motivos) o de la actividad en los juicios de valor que emiten los individuos (Cañedo Andalia R, Acosta Alegre M. Los expertos y los especialistas en información en la evaluación de las publicaciones periódicas primarias en el sector biomédico. Principales vías y formas para su realización. [Informe de investigación]. Ciudad de La Habana: Centro Nacional de Información de Ciencias Médicas, 1993).

Describir, comprender y predecir el comportamiento de los usuarios en cuanto al consumo de productos y servicios, permite a la institución de información elevar la calidad de su trabajo. Ahora bien, la explicación de las actitudes del individuo, incluidas las de consumo, depende, en gran medida, del estudio de los mecanismos de evaluación de los sujetos.

El juicio humano como resultado intrínseco de la actividad espiritual del individuo, constituye un producto indescifrable de la acción de los distintos procesos psicológicos propios del ser humano en la mayoría de las ocasiones y, por lo tanto, de escaso valor para el trabajo de las instituciones de información.10

• Utilización de factores de pronóstico auxiliares en sustitución de las evaluaciones de calidad científica como medio fácil de orientación y respuesta al crecimiento de la literatura científica.

Constituyen factores de pronóstico en la evaluación de trabajos científicos aquellas variables ajenas al diseño de la investigación, que se utilizan para predecir la calidad y utilidad de dichos trabajos. Los más comunes son: autores, instituciones, editoriales, países, título de la publicación, así como el carácter positivo o negativo de los resultados.11

A modo de ilustración, se puede decir que los estudios realizados han demostrado que el 80% de las publicaciones metodológicamente inadecuadas reclamaron resultados positivos, en comparación con el 25% de las publicaciones metodológicamente adecuadas.12 De igual forma, el hecho simple de que un informe se publique en una revista prestigiosa, no es garantía de su calidad.6