Los metanálisis: aproximaciones útiles para su comprensión - Criterios de selección

El establecimiento de los criterios de selección es un paso crucial en una revisión cuantitativa. Definir los criterios de selección debe constituir un objeto de especial atención.

La participación activa de especialistas con profundos conocimientos sobre el tema objeto de revisión, posibilita definir los criterios de selección de forma clara y precisa. Ante la posibilidad de la ocurrencia de un sesgo en la selección, se deberá someter la propuesta realizada a consulta externa.

Los criterios de selección forman parte del informe final de la revisión, esto posibilita que los lectores puedan evaluar su cobertura, alcance, fiabilidad, validez y pertinencia.

En este acápite, "Criterios de selección", se agrupan los criterios de inclusión, exclusión y eliminación.

• Criterios de inclusión.
  

Se refiere a: - las características mínimas necesarias que deben presentar los estudios primarios para que sen valore su inclusión en una revisión cuantitativa -se deben definir a priori-, aquellos que cumplan con los presupuestos mínimos constituyen la población objetivo (diana); - los trabajos pertenecientes a la población objetivo que cumplen con las características suficientes necesarias para incluirse en la revisión -es deseable definirlos a priori, su modificación es factible-, forman la población objeto de investigación -en el "meta-análisis prospectivo", definir las características suficientes a priori, evita posibles sesgos, así como su control.

Ejemplo de características mínimas necesarias:

• Coincidencia en el problema investigado, los objetivos, la(s) hipótesis de los estudios primarios, etcétera.
  Ejemplo de características suficientes necesarias:
  
• Los principios éticos respetados por los autores durante la investigación, si se detectan violaciones en su cumplimiento que aconseja eliminar los estudios.
  
• Empleo correcto de los procedimientos estadísticos en los estudios de la población objetivo.
  
• Errores groseros en los datos que, por razones justificadas, no es posible verificar y cuando los resultados de los estudios primarios provocan dudas en su veracidad.
  
• Imposibilidad de completar los datos faltantes, que inhabiliten su posterior integración.
  

Algunos autores proponen la evaluación de la calidad de los datos (estudios) como criterio de inclusión. Según Strube y Hartman, el examen de la calidad de los datos requiere considerar tres tipos de validez:37

• Conceptual (validez de constructo).
  

El examen de la validez conceptual afecta a las decisiones sobre el ajuste entre las definiciones operativas y el constructo subyacente.

• Metodológica (validez interna).
  

La valoración de la validez metodológica implica determinar la calidad del contraste de hipótesis, que incluye la evaluación de las amenazas clásicas de la validez interna, así como las variables metodológicas de un área particular.

• Estadística (validez de la conclusión estadística).
  

La validez de la conclusión estadística se refiere a la adecuación de los procedimientos estadísticos aplicados.

• Criterios de exclusión.
  

Se refiere a las características que, si están presentes en los estudios primarios, justifican su exclusión de una revisión cuantitativa, es decir, que conduce a no incluirlos en la población objeto.

Ejemplo: Cuando la unidad de estudio dentro de una investigación (primaria) no cumple los requisitos definidos en los criterios de inclusión.

• Criterios de eliminación.
  

Aunque este criterio, no se recoge explícitamente en bibliografía especializada y consultada sobre la metodología objeto de estudio, la experiencia de los autores, como miembros de grupos de investigación en ciencias médicas y afines, lleva a afirmar que la inclusión explícita de los criterios de eliminación, constituye una garantía para proceder frente a situaciones que invalidan el análisis de las unidades de observación que cumplen con los criterios de inclusión, pero que, después de un análisis más profundo, se les detectan insuficiencias, que aconsejan su rechazo y eliminación.

En tal sentido, no todos los estudios que en su inicio se incluyeron en la población objetivo, formarán parte de la revisión, solo aquellos que cumplan con las características suficientes pasan a formar parte de la población objeto.

En el caso de un metanálisis prospectivo, los criterios de eliminación pueden ser:

• La no conclusión del estudio primario incluido en la población objetivo.
  
• La violación de los principios éticos-científicos (bioéticos en biomedicina).
  
• Los resultados dudosos y que aconsejan su eliminación. Cuando los resultados de las investigación están marcadamente sesgados a favor de los patrocinadores o de quienes financian el proyecto.
  

En la literatura, es posible hallar la repercusión de los criterios de selección en los resultados de la revisión. En un estudio realizado por AD Oxman y GH Guyatt, detectaron "en dos revisiones cuidadosas y sólidas desde el punto de vista metodológico, en las que se investigó si los corticosteroides se asocian con la úlcera péptica, que los autores de cada una de las revisiones utilizaron distintos criterios para seleccionar los estudios que incluirían en cada uno de sus estudios; la diferencia fue la razón principal para que los resultados (llamativos) de las dos revisiones fueran diametralmente opuestos respecto a la existencia de la asociación investigada".38

La población objetivo se conforma con elementos del universo de fuentes de información documentales que contienen o responden a los propósitos de la investigación y a las características cualitativas (criterios de inclusión).

La población objeto se obtiene como resultado del análisis individual de cada uno de los estudios considerados relevantes y pertinentes. La población objeto responde a los requerimientos cualitativos de la investigación.

Cálculo del "Indice de tolerancia a resultados nulos".

R Rosenthal desarrolló una fórmula para el cálculo de la tolerancia de un estudio metanalítico a resultados nulos. La fórmula permite determinar la cantidad aproximada de estudios necesarios (y que deben estar guardados en las editoriales) a partir del análisis de los niveles de significación, su interpretación es: "Si el número de resultados nulos necesarios para refutar la significación media de los resultados de los estudios analizados es grande, se concluye que el sesgo de publicación relativo a la amenaza que pueden representar los estudios no recuperados (inéditos) es posible ignorarla".16,39

La fórmula es la siguiente:16,39

donde:
N - número de resultados nulos no recuperados.
2.706 - el cuadrado de la puntuación típica correspondiente a un nivel de significación del 5 %.
K - el número de estudios integrados en la revisión y
Zk - la puntuación típica media.

Por su parte RG Orwin, propuso (por analogía) una fórmula que utiliza el tamaño del efecto TE (Effect size).40
Ambas fórmulas calculan el llamado "Indice de tolerancia a resultados nulos" -N (file-safe number).

El Indice de tolerancia a resultados nulos sólo se aplica cuando se combinan niveles de probabilidad.
Cuando se utiliza el "Tamaño del efecto", se emplea un índice análogo, que considera la diferencia media tipificada:40

donde:
N - número de resultados nulos no recuperados.
K - número de estudios integrados en la revisión
d - es la media del tamaño del efecto de los estudios integrados.
dc - es el valor criterio seleccionado del tamaño del efecto de los estudios integrados.
(efectos pequeños = 0,20; efectos medios = 0,50 y efectos grandes = 0,80.

En dependencia del rigor del criterio que se establezca, serán necesarios más o menos estudios contradictorios con los tratados para modificar el sentido de los resultados.

Etapa 3. Codificación de los estudios.

En esta etapa, de identifican las características metodológicas, sustantivas y extrínsecas de los estudios primarios. Tiene como objetivo conocer si los resultados de los estudios primarios cumplen ciertos requisitos. Como parte de la metodología metanalítica, pretende responder a las críticas referidas a la heterogeneidad de los estudios ("el problema de las manzanas, las naranjas... y algún que otro limón").8,18,36

En la codificación, debe evaluarse la validez y la fiabilidad de los informes.16,36,41 36-51,16-116,41-137 La validez se relaciona con la claridad de las definiciones, la adecuación de la información recogida, el desempeño del codificador en la identificación de las características; en relación a la fiabilidad de las medidas codificadas, la principal fuente de error se origina en los posibles desacuerdos entre codificadores, por lo que se requiere la confección de una "Guía o libro de codificación" donde se plasmen las características objetos de codificación[Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].8,18,36

JE Hunter y sus colegas, citado por R Schwarzer , plantea: "la codificación puede constituir el 99 por ciento del trabajo en el proceso de la integración. Aún este trabajo puede enteramente derrocharse". Si la variación (heterogeneidad) es debido únicamente al error de muestreo, todo el esfuerzo (en la codificación) será inútil".12

La codificación de los estudios precisa de la creación de un grupo de codificadores.

Las características de los informes se dividen en: metodológicas, sustantivas y extrínsecas [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].18,36 Otros autores prefieren agrupar las características objeto de estudio en: metodológicas (incluyen la extrínsecas) y sustantivas.