Evaluación de la calidad de la información en Internet - Resultados

El tema de la evaluación de calidad de la información que se publica en Internet se ha analizado desde apenas hace una década; a pesar de que aún se realizan gestiones para unificar criterios, el tema va más allá del alcance de un solo grupo de trabajo. La información que se publica en Internet desde el campo de la salud no es la excepción y sigue las tendencias generales. En un intento por mostrar la situación hasta finales de los noventa, el trabajo de Ciolek19 sirve de pilar para la presente revisión.

Dada la problemática comentada en la introducción, Ciolek19 plantea una serie de puntos álgidos en torno a la calidad de la información en la red que reflejan la complejidad del asunto: la carencia de confiabilidad de la red; las tareas metodológicas urgentes de programación, los procedimientos adecuados de desarrollo, las herramientas de control, las revisiones bibliográficas exhaustivas, así como la evaluación y reorganización de los recursos; la programación del software adecuado para la expresión de la información; los procedimientos de colocación de recursos en la red (instrucciones, estilo, tráfico, etc.); la estructura de los recursos, es decir, la falta de normalización de los formatos y la evaluación de los recursos tanto desde la perspectiva comercial como académica.

En este último punto, que conforma la base para este trabajo de revisión, se destacan los trabajos de Caywood,20 Ciolek,17 Smith,9 Tillman4 y Grassian,7 quienes se reconocen como los autores pioneros y los más citados en la literatura sobre el asunto. En su intento por identificar las características esenciales de un recurso bueno o de "alta calidad", ellos establecieron las bases para la elaboración de criterios universales para la evaluación de los sitios en la red. Aunque sin estar de acuerdo entre sí, los controles de calidad propuestos por estos autores incluyen25 criterios y 250 indicadores, entre los que se encuentran los siguientes: acceso, diseño, contenido y originalidad de la información, facilidad de encontrarla en la red, estructura y organización, formato y presentación, utilidad e integridad de la información, facilidad de mantenimiento, facilidad para entender el alcance del recurso, facilidad para identificar el metadato, estabilidad, multimedia, propósito, revisiones, aplicabilidad, costo, fuente, fecha y otras cuestiones. A pesar de la existencia de estas propuestas aún no se ha logrado desarrollar un estándar al respecto, por lo que los interesados han tomado distintas posiciones ante el problema, lo cual se revisa a continuación.

Estado del arte sobre evaluación de calidad de la información

Después del trabajo de Ciolek, la discusión académica sobre el tema continúa tanto desde la perspectiva de autores independientes, entre ellos Oliver y colaboradores,21 Luz y colaboradores22 y Smith,23 como desde la perspectiva de organizaciones, entre otras la Fundación Health On the Net, la Organización Internacional para la Normalización y el Instituto de Tecnologías de Información en Salud, que intentan sistematizar, e incluso facilitar el proceso de evaluación de la calidad de los recursos en la red. Estos y otros trabajos pueden clasificarse de la siguiente forma: a) propuestas de criterios para evaluar los recursos de la red, b) referencias o guías de autores y sitios que evalúan los recursos, c) evaluación de recursos y creación de índices para su consulta, y d) propuestas de evaluación de materiales no tradicionales (figura 2). A continuación se desglosan sus principales características.

Fig.2. Clasificación de los propuestas sobre evaluación de calidad de la información sobre salud en Internet.

A) Propuestas de criterios para evaluar la calidad de los sitios en la red
Después del trabajo realizado por autores pioneros, algunos de estos mismos y otros interesados en el tema desarrollaron una serie de propuestas nuevas, muchas veces basadas en las primeras. Estas propuestas ofrecen algunos puntos de vista alternativos y criterios no considerados anteriormente.

Oliver y colaboradores,21 por ejemplo, establecen dos aspectos que conforman la calidad de un recurso de Internet visto desde la perspectiva de los usuarios: a) calidad del sitio, conformado por aspectos estéticos y afectivos, navegación dentro del documento, facilidad de uso y acceso al sitio, así como estructura y diseño de la información, y b) calidad de la información, conformado por relevancia y alcance del contenido, precisión y equilibrio del contenido, calidad de los enlaces, identificación del autor, autoridad del autor, identificación del recurso y de la documentación, además de la validez del contenido. En total, Oliver y colaboradores proponen una serie de 11 categorías y 125 indicadores, cada uno con su escala numérica correspondiente que permite al interesado evaluar la calidad de un sitio mediante parámetros numéricos.

Por su parte, los integrantes del Health Summit Working Group3 realizan un análisis de la literatura publicada en la red y de algunos impresos sobre el tema, que sirve para proponer un juego de criterios, llamados también "caja de herramientas". Estos criterios pueden utilizarse por los profesionales de la información en salud y los usuarios para evaluar los recursos en salud de la red. Entre los criterios propuestos por este grupo se encuentran los siguientes: credibilidad, contenidos, declaración de propósitos, enlaces, diseño, interactividad y alarmas. El objetivo del grupo es mejorar la calidad de la información en salud de la red, por lo que valoran el desarrollo de estos criterios -diseñados como base para la toma de decisiones y el desarrollo de nuevas herramientas- como un paso inicial hacia este objetivo.

Centrale Santé24 es una institución francesa que reunió a un grupo de profesionales de la salud y la información con la finalidad de elaborar un juego de criterios que permitieran evaluar la calidad de la información sobre salud en idioma francés. Este trabajo se desarrolló a partir de la propuesta de Ambre y colaboradores,5 y del Health Summit Working Group. 3 Sus 49 criterios, llamados Net Scoring, se clasifican en 8 categorías y a cada criterio se le otorga un valor en una escala de 0 a 10, en dependencia de su ponderación como esenciales, importantes y menores. Estos criterios son: credibilidad, contenidos, enlaces, diseño, interactividad, aspectos cuantitativos, ética y accesibilidad. Este grupo asegura que si los criterios mencionados se utilizan, la calidad de los sitios podría mejorar enormemente, y quienes se verán beneficiados, en última instancia, serán los usuarios finales.

Luz y colaboradores,22 por su parte, proponen un análisis de la calidad de la información, desde la perspectiva de los sistemas centrados en el usuario, esto es, aquellos criterios relacionados con la relación hombre-computadora y que impactan en el diseño, en los contenidos y en el mantenimiento de un sitio en Internet. Basados en la propuesta de Norman y Drapers25 para esta forma de diseño, sus principales criterios de trabajo son el "golfo de ejecución" asociado a la consulta de un sitio y donde se incluyen los criterios de autoría y responsabilidad, acceso, auxilio y navegabilidad; el "golfo de evaluación" asociado a la respuesta que dicho sitio pudiera ofrecer ante una consulta, comprende los criterios de estructura, enlaces relevantes y completos, ayuda para decisión de los enlaces, retroalimentación y declaración de autorías; y los criterios generales, que tratan sobre aspectos generales de la aplicación puesta en Internet, incluye los siguientes aspectos: lenguajes y medios utilizados, legibilidad de los materiales, divulgación de lo que sucede en el sitio, disponibilidad y garantía de uso pleno, evaluación periódica del servicio y de los enlaces, corrección del sitio y seguridad.

Tillman,26 a su vez, establece una serie de indicadores clave y aclara que es necesario comprender el estado actual de las publicaciones en Internet a fin de identificar lo mejor posible la calidad de los recursos donde el ambiente es sumamente cambiante e inestable. Sus indicadores de calidad son: facilidad para encontrar el alcance de la información ofrecida y los criterios de inclusión que permiten determinar si lo que se ve concuerda con las necesidades particulares; facilidad para identificar la autoridad de quienes lo publican y la actualidad de lo publicado; la estabilidad de la información y facilidad de uso en función de conveniencia, organización y facilidad de conexión.

Otras propuestas de este mismo grupo son: MedCERTAIN, avalada por la Unión Europea, propone asignar una certificación a los sitios sobre salud con base en su confiabilidad; OMNI (Organising Medical Networked Information), avalada por una serie de instituciones inglesas, cuya lista de evaluación es una de las más completas en la actualidad. El proyecto DISCERN,27 creado por la Biblioteca Británica y la Universidad de Oxford, diseñada para los usuarios de los servicios de salud en la red. CHiQ (Centro para la Calidad de la información en Salud de la Gran Bretaña), que ofrece a los usuarios la posibilidad de acceder a información confiable y veraz. QUICK (The Quality Information ChecKlist), elaborado por el mismo centro que el anterior, pero que está dirigida a los usuarios jóvenes. Medical Matrix, por ser parte, ofrece a la comunidad de usuarios de servicios de salud, el acceso a sitios de calidad que cuenten con recursos digitales.

Un análisis con mayor detalle muestra que algunos se inclinan a evaluar aspectos específicos, tal es el caso de los que ofrecen criterios para evaluar los aspectos éticos de un sitio o quienes desarrollan criterios para evaluar el nivel de medicina basada en evidencias. Además, están aquellos que intentan evaluar la calidad de las publicaciones periódicas publicadas en Internet.

Entre los esquemas que evalúan los aspectos éticos de un sitio se destaca el realizado por la Health On the Net Foundation,28 que pretende garantizar la calidad de la información en salud mediante un sistema basado en la honorabilidad de quienes publican. Este código es para creadores y editores de sitios en la red que deciden fundamentar su trabajo en la ética, la honestidad y la transparencia en la difusión de su información y que, por tanto, se adhieran al código mediante una declaración explícita hecha a la fundación. Este código establece que cualquier sitio debería atender los siguientes lineamientos éticos: autoridad, complementariedad, confidencialidad, atribuciones, legitimación, información sobre la autoría del material, información sobre el patrocinio, honestidad en la política publicitaria y editorial.

Por su parte, la Internet Healthcare Coalition, con sede en los Estados Unidos de Norteamérica, desarrolla su "Código de ética electrónica de Washington" que establece una serie de principios sobre lo que debería ser un sitio en la red con información sobre salud. Su intención es asegurar que todos los usuarios de Internet conozcan los riesgos que implica tener acceso a la información en salud a través de la red y se resume en 8 criterios: candor, calidad, consentimiento informado, privacidad, profesionalismo en el servicio de salud en línea, asociaciones responsables y considerar la opinión del usuario. Además, debe observar permanentemente el apego al "Código de Ética".

Otra organización de este tipo es el Health Internet Ethics Consortium el que está formado por la unión de un grupo de proveedores de información en salud de renombrada calidad, quienes proponen una lista de 14 principios éticos para publicar en la red. De igual forma, la American Medical Association,29 desarrolló una serie de lineamientos que deben observar todos aquellos que deciden publicar en la red. Tales lineamientos, llamados principios de gobierno de la asociación cubren las áreas de contenido, publicidad y patrocinios, privacidad y confidencialidad y comercio electrónico.

El grupo de propuestas sobre medicina basada en evidencias está lidereado por Harris,1 quien desarrolló un juego de criterios llamado la lista CARS -credibility, accuracy, reasonableness, and support (credibilidad, precisión, racionalidad, y soporte) que permite facilitar la operación de separar la información de calidad de aquella que no la presenta. Harris recomienda que actitud tomar ante una búsqueda de información en la red y sugiere observar una postura de reto, adaptación, enfoque permanente y evaluación. Esta actitud ofrecerá beneficios y permitirá al usuario mantenerse a tono con la avalancha de información.

El CHiQ (Centre for Health Information Quality - UK), mencionado antes, ofrece un apartado sobre la premisa de que la información debe basarse en la mejor evidencia disponible, llamada por ellos veracidad.

En el ámbito de las ciencias de la salud, en general, y de las publicaciones médicas a escala internacional, en particular, se han definido una serie de criterios cualitativos y cuantitativos que deben cumplir los interesados en publicar trabajos científicos. Estos criterios son la base para los editores de aquellas publicaciones periódicas que han accedido a Internet y pueden diferir un poco entre las distintas publicaciones. Sin embargo, en términos generales, los trabajos científicos en ciencias de la salud incluyen las siguientes secciones: título, resumen, introducción, material y métodos, resultados y discusión, además de cierto número limitado de cuadros y figuras. Este esquema se encuentra muy difundido30,31 y es ampliamente aceptado por la comunidad científica de las ciencias de la salud. Goodman y colaboradores.32 notan que la calidad de los documentos a publicar se incrementa cuando los manuscritos se someten al proceso de revisión por pares, particularmente cuando la revisión incluye una lista de cotejo referente a las particularidades que se deben considerar para cada tipo de investigación y publicación.

Está claro que muchos de estos criterios son comunes a los distintos autores; en general todos intentan sistematizar la evaluación de la calidad, algunos con criterios similares, otros con criterios no considerados por los demás autores.

B) Guías y catálogos de sitios que evalúan la calidad de los recursos en Internet
Estos trabajos son muy útiles para quienes se inician en el conocimiento del tema, presentan interfases sencillas y sistematizadas. Para los más avanzados, estas guías ofrecen una forma de actualizar sus conocimientos al facilitar el acceso a la información sobre el tema. De ninguna manera la intención de estos catálogos es la de ofrecer una herramienta sobre cómo evaluar la calidad. Más bien, ofrecen un índice para que los usuarios puedan acceder al material donde se trata el tema. Estas guías o catálogos constan principalmente de compilaciones de referencias del material que se encuentra disponible en distintos formatos y en distintas regiones del mundo, en dependencia de su alcance y objetivos. Además, hacen un intento por tamizar los mejores trabajos y los más representativos, desde distintas perspectivas. Sin embargo, las referencias colocadas no se evalúan en cuanto a la calidad del sitio o de sus contenidos, simplemente ofrecen la referencia y dejan al usuario la tarea de evaluarlos.

En un intento por comprender mejor este tipo de trabajos, consideramos dividirlos en: 1) catálogos, los que presentan una serie de referencias, sitios y ligas en la red respecto a un tema en particular (tipo compilaciones), 2) guías, que ofrecen información detallada sobre cómo efectuar cierta acción paso a paso, al tiempo que ofrecen referencias sobre el tema en turno, y 3) combinaciones de catálogos/guías.

A continuación se presentan varios ejemplos de estos trabajos, donde su principal característica es la forma en que se acercan al asunto de la evaluación de calidad, o bien, la revisión de un tema específico.

• Catálogos y/o guías de motores de búsqueda para Internet. Por ejemplo, Auer33 y Barker.34
  
• Catálogos y guías sobre documentos que definen cómo citar los recursos de la red. Por ejemplo, Estivill,35 Greenhill36 y Land.37
  
• Catálogos y guías de sitios donde, a su vez, se ofrecen guías para referir derechos de autor adecuadamente. Por ejemplo, Bonney.38
  
• Catálogos y/o guías sobre ética y etiqueta en la red. Por ejemplo, Ciolek39 y Health on the Net Foundation.28
  
• Catálogos y/o guías sobre evaluación de recursos multimedia. Por ejemplo, Learning Technology Corporation Limited40 y Vaughan.41
  

En general, se considera que un catálogo es aquel que ofrece una combinación de las distintas opciones aquí presentadas y que las guías versan sobre uno de los temas en particular -en ambos casos ofrecen una combinación de catálogo-guía o guía-catálogo. Como muestra, se presenta a continuación una breve descripción de algunos ejemplos dentro de esta categoría.

La maestra Nicole Auer,33 profesional en el área de bibliotecas del Tecnológico de Virginia, Estados Unidos, desarrolló un catálogo de referencias bibliográficas que trata de abarcar el problema de la enseñanza y el uso de las habilidades del pensamiento crítico para evaluar los recursos de Internet. Este catálogo se creó inicialmente para una conferencia, pero debido a su popularidad, se pensó en la ventaja que tendría colocarlo a disposición de todos los usuarios de la red. La autora comenta que su lista no es completa, pero que trata de mostrar lo más representativo en el medio. Su catálogo lo clasifica en:

• Recursos de Internet, con más de 50 sitios relacionados.
• Recursos impresos, con casi 60 referencias a artículos científicos y libros.
• Ejemplos de sitios en Internet. Lugares donde se explica la evaluación de recursos como materia dentro de programas académicos en ciencias de la biblioteconomía, y donde se facilitan herramientas para evaluar los sitios de la red.
• Listas de correo. Posee 7 listas entre las que se encuentra Nettrain, Info-quality-L y web4lib, entre otras.
  
• Libros útiles, con dos referencias sobre el tema.
  

Por otro lado, a pesar de que el trabajo de Gardois2 no se ubica directamente en esta categoría de trabajos, porque no se trata de un recurso que esté permanentemente en línea, su enorme lista de referencias es un ejemplo de la gran cantidad de información que existe al respecto. En total, él hace referencia a 57 documentos, tanto impresos como en Internet, donde se representa la problemática y los criterios existentes sobre la evaluación de la información médica en la red. Sus resultados muestran que la mayor parte de los trabajos analizados corresponden a sitios de Internet, pero también considera sitios de FTP, listas de correo y grupos de noticias.
Smith23 hace un catálogo de enlaces hacia sitios que tratan sobre los criterios para evaluar los recursos de información, en especial aquellos que están en Internet. El autor dirige este trabajo a los profesionales de la información y otros interesados en formar guías de recursos, o bien, aquellos que pretendan conocer las características a evaluar en la información disponible en la red. Al igual que los anteriores autores de este apartado, Smith divide su compilación en los siguientes apartados:

• Sitios que presentan criterios generales de evaluación (más de 40 referencias en la red).
  
• Sitios donde se presentan criterios de evaluación utilizados para recursos específicos ( con 10 referencias -algunas de los cuales son menos útiles que otras pero se incluyeron para mostrar el amplio rango de criterios usados).
  
• Referencias de documentos que contienen comentarios generales sobre la temática (con 3 referencias).
  

El sitio de la University of Illinois at Chicago42 realizó una compilación muy interesante de herramientas de búsqueda y materiales que permiten evaluar la calidad de los recursos en red. Aparte de referenciar bases de datos y motores para búsqueda de información, el sitio dispone de una lista de enlaces a otros lugares, que permiten hacer evaluaciones críticas de recursos, así como a fuentes bibliográficas sobre el tema. Cualesquiera de estas opciones ubica a los usuarios en las referencias más citadas por todos los autores y que son las que se incluyeron en este trabajo.

Puede encontrarse una infinidad de sitios que ofrecen este servicio de catalogación, algunos son producto de académicos interesados en el tema, otros los ofrecen instituciones a partir de su servicio bibliotecario, mientras que otros proceden de empresas privadas a manera de un servicio adyacente a servicios comerciales. Entre todos ellos se hallan Barker,34 Bonney,38 Cyber Tours43 y December.6

C) Trabajos que han evaluado los recursos en la red sobre algún tema específico (y en ocasiones crean un índice para su consulta)

Este grupo de interesados en un tema específico, evalúa directamente otros sitios en la red, y aquellos que cumplen sus criterios, se presentan en forma de índice para que los usuarios interesados los consulten con la confianza de acceder a sitios de calidad.

The Argus Clearinghouse44 es una referencia obligada, cuando se desea consultar cualquier información sobre salud en la red. La principal característica de este lugar es que los sitios que aquí se presentan, organizados a manera de catálogo, fueron incluidos como resultado de su calidad. Este proyecto ofrece, además, la lista de criterios que utilizan para evaluar los recursos comprendidos, y que pueden utilizarse por los usuarios para aplicarlos en sus búsquedas personales. Estos criterios se basan en el nivel de descripción de los recursos, nivel de evaluación del recurso, diseño, esquemas organizativos y meta-información.

Dos recursos que fueron integrados al primer grupo de este trabajo, pero que también ofrecen a los consumidores de servicios de salud la posibilidad de acceder a otros sitios, previamente evaluados, son el proyecto Discern y el proyecto BIOME,45 antes llamado OMNI.46 El primero ofrece un instrumento disponible en línea y de un manual educativo, el usuario está habilitado para evaluar cualquier sitio con información en salud con la finalidad de usarla como parte de sus elecciones de tratamiento. El segundo, promovido por el BIOME Special Advisory Group on Evaluation,45 ofrece una interfaz para la búsqueda de información de calidad para usuarios del Reino Unido.

A continuación se presenta una serie de sitios que cubren las mismas funciones que los citados en este apartado y que fueron compilados por Harris.1 Cada uno de estos sitios tiene un objetivo particular y una audiencia específica, en dependencia del área que cubren (no se analizan aquí por cuestión de espacio):

• Best of 1996 Social Sciences, Humanities & Asian-Pacific Studies WWW Resources. http://coombs.anu.edu.au/SpecialProj/QLTY/BEST/Method96.html
• CyberHound. http://www.thomson.com/cyberhound
• CyberStacks. http://www.public.iastate.edu/~CYBERSTACKS
• Infofilter. http://www.usc.edu/users/help/flick/Infofilter
• The Internet Public Library. http://www.ipl.org
• Magellan Internet Guide. http://www.mckinley.com
• SiteGrade. http://www.sitegrade.com
• Stevie's Web Site Ratings. http://www.steview.com/cgi-bin/STEVIE/rat_home
  

D) Evaluación de materiales no tradicionales de publicación (que no sean artículos científicos).
Se incluyen esquemas que evalúan publicaciones y revistas electrónicas, programas multimedia, listas de correo profesional, foros de mensajes o grupos de noticias, literatura "gris", literatura vanity y educación en línea.

Schulz y colaboradores,47 ofrecen un catálogo de criterios de calidad para publicaciones electrónicas en medicina (PEM) elaborados por el grupo "CBT" de la Sociedad Alemana de Informática Médica, Biometría y Epidemiología, motivado por la percepción de recursos en red aún no desarrollados con calidad. Este grupo establece que el desarrollo de una buena PEM requiere de competencia en el dominio, en ingeniería de software, en medios, en diseño y didáctica. Su catálogo de criterios está dividido en: a) contenido (autoría, requerimientos formales y referencia al grupo objetivo), b) aspectos técnicos (plataforma, limitaciones de hardware, instalación del software, rendimiento-flexibilidad-características de ejecución-interfases y criterios especiales para publicaciones electrónicas basadas en Internet), c) codificación de la información y modalidades de presentación (texto meta-información, aspectos formales, apariencia, acrónimos y términos especiales, hipertexto, recuperación de información), d) gráficos,48 e) animación, fotografías, secuencias de video y audio49 (interacción entre diferentes modalidades de presentación), e) ergonomía y diseño (requerimientos básicos, elementos de control, organización de la pantalla, color y sistema de ayuda), f) diálogo y didáctica (inclusión del conocimiento, evaluación del conocimiento, diálogo-navegación, motivación) y g) posibilidad de ampliación. Finalmente, estos autores comentan que su catálogo no es completo dada la aparición de nuevas tecnologías y su efecto en la enseñanza.

Existe una modalidad de documentos académicos que se publican directamente en Internet sin antes editarse en algún formato impreso: las revistas electrónicas. Una gran cantidad de ellos intentan difundir la información médica, y de otras disciplinas, a la comunidad científica y general. Este tipo de revistas siguen de alguna manera las medidas editoriales de evaluación de calidad preparadas para documentos impresos. Sin embargo, deben hacer un esfuerzo extra para diseñar, desarrollar y mantener los sitios de la red donde se publican. De esta manera, una revista electrónica puede evaluarse mediante los mismos criterios de calidad que se aplican para cualquier otro sitio en la red. Un ejemplo de los criterios para contenidos y formato en este sentido es el de la revista Forum for