Evaluación de instituciones científicas - Segunda parte: Data envelopment analysis como herramienta para elaborar ind

 La finalidad de esta parte es mostrar la factibilidad del data envelopment analysis (DEA) en las aplicaciones cienciométricas e introducir al lector en esta técnica. Como ejemplo se tomará en consideración la comparación de las puntuaciones del desempeño de los departamentos universitarios.

Exposición del problema y su solución: DEA¹⁹

Los principales problemas en la evaluación de la eficiencia de instituciones públicas como las universidades, radican en la falta de una norma absoluta y de un buen estimado de la función productiva en el sentido económico de la palabra. Una función de producción es la relación funcional entre insumos y productos, que define cuáles insumos y cuántos insumos se necesitan para generar un determinado producto. Otro problema es la necesidad de considerar los insumos múltiples y los productos múltiples. En este contexto, el término unidades de toma de decisiones (UTD) se utilizará para instituciones, gobiernos, etc. Una primera y bastante informal definición de eficiencia podría ser el uso que se hace de los recursos para lograr los objetivos, teniendo en cuenta los factores sociales y económicos.

La primera incursión en este terreno apareció con la investigación realizada por Charnes, Cooper y Rhodes en 1978,²⁰ primer trabajo que utilizó la técnica de DEA, cuya definición formal de la eficiencia es:

"Una unidad alcanza el 100 % de eficiencia sólo cuando:

a) Ninguno de sus productos puede aumentar sin que aumente uno o más de sus insumos o sin que disminuyan algunos de los otros productos.

b) Ninguno de sus insumos puede disminuir sin que disminuyan algunos de sus productos o aumenten algunos de los demás insumos".

Al no existir forma alguna de establecer una norma absoluta de eficiencia, Charnes y Cooper introdujeron la siguiente definición de eficiencia relativa: "Cualquier unidad puede alcanzar el 100 % de eficiencia relativa, sólo cuando las comparaciones con otras unidades pertinentes no ofrezca ningún indicio de ineficiencia en el uso de un insumo o producto."

El uso del DEA tiene 2 ventajas:

1. No es un método paramétrico, por lo que no es necesario conocer la relación funcional entre insumos y productos.
2. Conduce a las puntuaciones del desempeño relativo. No es necesario definir una norma de desempeño absoluto externa. Los miembros de los grupos se comparan sólo con otros miembros del mismo grupo (las unidades de toma de decisiones).

El DEA se ha utilizado en estudios de administración de hospitales, en la organización del Comando de Reclutamiento de la Marina de los Estados Unidos, en los distritos escolares, en análisis de la rentabilidad base de diferentes sectores de una misma empresa en países, universidades y departamentos universitarios.^21-23

Para mayor claridad, se explica en la figura 1 la técnica del DEA. En esta figura se representa gráficamente la eficiencia relativa de varias unidades UTD imaginarias, las cuales utilizan un insumo para generar 2 productos.

Los ejes horizontal y vertical representan la relación de cada producto (OUT₁ y OUT₂) con respecto a la cantidad de insumos empleados (IN). En el DEA, el desempeño de cada UTD se compara con los de otras unidades consideradas en ese caso. Las unidades con mejor desempeño utilizan sus insumos de una forma más óptima que las demás. Otra vez la relatividad de este enfoque tiene que subrayarse. Las unidades más óptimas forman una frontera llamada la "frontera de la eficiencia". Las unidades con menor desempeño precisan de más insumos para generar la misma cantidad de productos y por lo tanto están situadas a cierta distancia de la frontera. La ineficiencia de las mismas se representa con la distancia radial. Es obvio que todas las unidades situadas en la frontera de la eficiencia tendrán un índice de desempeño relativo igual a 1 (son totalmente eficientes).

La frontera de la eficiencia incluye a todas las unidades de toma de decisiones, como se puede ver en la figura 7.

Es por eso que la técnica se denomina DEA. A fin de incrementar el desempeño de una UTD no óptima como la UTD 2, una nueva estrategia tiene que estar dirigida hacia la evolución en pos de la frontera de la ificiencia. La técnica DEA sugiere una evolución radial a partir de la fuente hacia el punto de meta en la frontera que representa lo que esa unidad pudiera lograr. De esa forma, se logra llegar a la unidad de desempeño óptimo UTD 2: Se observa que la UTD 2 está situada entre las 2 unidades óptimas UTD 8 y UTD 5, que forman un grupo de referencia para UTD 2. El grupo de referencia permite calcular las reducciones de insumos y ocasionalmente, las reducciones de productos necesarios para obtener una unidad con desempeño eficiente, además de mostrar dónde y cómo actuar. Hay otras vías no radiales para convertir en eficientes a ciertas unidades. Por ejemplo, una evolución puramente vertical lleva a una unidad eficiente UTD 2".

Ahora, para resolver un problema específico, hay que calcular el desempeño de cada UTD K (k=1...n) comparado con las unidades de mejor desempeño del grupo. Por lo tanto, es necesario maximizar la relación de productos ponderados (O_rk, r=1..s; k=1..n) con respecto a los insumos ponderados (I_ik; i=1..m, k=1..n), sujetos a la condición de que las relaciones similares para cada UTD sean inferiores o iguales a la unidad, es decir, a 1. El siguiente modelo matemático brinda una mejor precisión.
 

Las variables de decisiones de este modelo son coeficientes de ponderación (Vrk e Uik): un conjunto para cada unidad. Están constituidas de esa forma para que arrojen el resultado más beneficioso para la unidad en cuestión. Esto significa que los valores altos se atribuyen a los mejores resultados, y que los valores bajos se atribuyen a los insumos utilizados con más frecuencia. El resultado más elevado posible, es por supuesto el 1. Cuando ello ocurre, la unidad se denomina entonces eficiente. Las ecuaciones (3) y (4) definen por razones técnicas un límite por debajo del cual no pueden aparecer ponderaciones. Hemos utilizado e=0.000001.

Este modelo DEA no es lineal ni convexo. Como no existe una forma fácil de resolver este tipo de problema, es procedente transformar el modelo en un modelo de programación lineal; ello se hace otorgando al denominador un valor igual a 1. El nuevo modelo permite una fácil solución con los paquetes de software existentes como LINGO. Así se obtiene el siguiente modelo lineal y convexo.

Puede demostrarse que el DEA nunca sobrestimará el potencial de mejoramiento con respecto al identificado por cualquier otro método de ponderación. Obsérvese que las comparaciones se hacen siempre con respecto al desempeño logrado y nunca con respecto a un objetivo hipotético que puede no alcanzarse.

Departamentos universitarios²³

• Selección de resultados y recursos.

Los resultados responden la pregunta: ¿cuáles son los objetivos de un departamento universitario?

Los recursos dan respuesta a la pregunta: ¿quién o qué permite a un departamento alcanzar sus objetivos?

RESULTADOS

Los esfuerzos en la educación, medidos por el número de estudiantes obtenidos por el departamento. Los estudiantes se clasifican según su nivel (pre-grado o posgrado) y si necesitan o no equipos de laboratorio (costosos) (una o dos variables).

Investigación básica y aplicada.

Los recursos obtenidos para hacer esta investigación²³ (una o dos variables).

Clasificaciones de los departamentos por parte de una comisión externa.²²

RECURSOS

El personal (FTE) se paga con los recursos de la Universidad que brinda el gobierno o con los fondos salariales.

Otros recursos de la Universidad subvencionados por el gobierno (incluye el financiamiento de equipos y de los fondos para la biblioteca).

Resultados de la Universidad Católica de Leuven: 36 departamentos de los cuales 13 tienen una puntuación de eficiencia igual a 1.

Son 100 % eficientes: derecho eclesiástico, filosofía, criminología, economía aplicada, historia, psicología y antropología, fisica, química, electrónica, arquitectura, ciencias biológicas aplicadas, medicina y kinestesia. Sólo para que se conozcan, se mencionan los menos eficientes: construcción (46 %), geología y geografía (42 %), estomatología (27 %), preparación física (gimnástica y deportiva: 23 %).

Eficiencia y efectividad

Para obtener un alto grado de eficiencia, una UTD está en plena libertad de utilizar sus recursos como lo desee.

Los departamentos pueden emplear todos sus insumos para obtener un solo producto o resultado (ej: enseñanza) y aun así lograr una puntuación de 1. Sin embargo, si una unidad tiene varias funciones, no se le puede considerar realmente eficiente si no se desempeña bien en cada una de ellas. Ello conlleva la introducción de la noción de efectividad. Dentro del marco del DEA se ha tenido en cuenta la efectividad a través de la imposición de límites a los factores de ponderación.²⁴

Se imponen restricciones a los instrumentos de ponderación y se añaden las condiciones siguientes:

donde c1 y c2 son constantes. Los límites de 40 y 60 % para cada insumo y de 25 a 40 % para cada producto, conduce a una disminución general del grado de eficiencia. La criminología desciende al 50 % y la física al 46 %. Sin embargo, el derecho escolástico, la kinestasia y la historia permanecen el 100 %.

Por otra parte, la estomatología continúa en el 26 % y la gimnástica y el deporte se mantienen en el 22 %, por lo que siguen siendo las más deficientes.

Conclusión de la segunda parte

Se ha demostrado que la eficiencia y la efectividad pueden tenerse en cuenta al comparar el desempeño de una universidad. El DEA es un método adecuado para alcanzar este propósito. Una forma de considerar la efectividad es imponer límites a las ponderaciones de insumos y productos. Este estudio (como otros similares) ha mostrado claramente la potencialidad del DEA en los estudios de desempeño.^25-27

REFERENCIAS BIBLIOGRÁFICAS

1. Van Raan AFJ, ed. Handbook of quantitative studies of science and technology. Amsterdam: Elsevier, 1988
2. Egghe L Rousseau R. Introduction to infometrics: quantitative methods in library, documentation and information science. Amsterdam: Elsevier, 1990.
3. Wallace D P. A solution in search of a problem: bibliometrics & libraries. Libr J 1987; (112): 43-7.
4. Rousseau R. A scientometric study of the scientific publications of LUC Period 1981-1993: report [Flanders], 1995.
5. De Bruin R Kint A Luwel M. A study of research evaluation and planning: the University of Ghent Res Evaluat, 1993; (3):35 -41.
6. De Bruin R, Moed H F, Spruyt E. Antwerpse analyses. Antwerpen: CWTS. Leiden en UIA, 1993.
7. Moed H F, Burger W J M, Frankfort J G. The use of bibliometric data for the measurement of university research performance. Res Policy 1985;(4):131-49.
8. Oppenheim C. The correlation between citation counts and the 1992 research assessment exercise ratings for British library and information science university departments.
1. J Document 1995; (51):18-27.
9. Abelson P. Mechanisms for evaluating scientific information and the role of peer review J Am Soci Inform Sci 1990; (41):216-22.
10. Wallmark JT, Sedig K G. Quality of research measured by citation method and by peer review a comparison. IEEE Trans Eng Manag 1986; (33):218-22.
11. Garfield E. How to use citation analysis for faculty evaluations and when isit relevant. Part I Curr Contents 1983;(44):
12. Arunachalam S. Science in the European Community the extent of collaboration. Curr Sci 1992; (63):56-8.
13. Rousseau R. Citation distribution of pure mathematics journals. En: Egghe L, Rousseau R, eds. Informetrics 87/88 249-62.
14. Van Hooydonk G, Gevaert R, Milisproost G. A bibliotheconomic analysis of the impact factores of scientific disciplines. Scientometrics 1994; (30):65-81.
15. Rousseau R. Evolution d? importantes revues pharmacologiques. Rev Fr Bibliométrie, n. 5, p. 102-17, 1989.
16. Rousseau R, Spinak, E. Do a field list of internationally visible journals and their journal impact factors depend on the initial set of journals? A research proposal. J Document 1996; (52):449-56.
17. Cole S, Cole J R. Scientific output and recognition: a study in the operation of the reward system in science. Am Sociol Rev 1967; (32):377-90.
18. Collins MP, Berge ZL. IPCT Journal: a case study of an electronic journal on the internet J Am Soci Inform Sci 1994; (45):771-6.
19. Norman M, Stoker B. Data envelopment analysis: the assessment of performance. Chicester: Wiley 1991.
20. Charnes A, Cooper W W, Rhodes E. Measuring the efficiency of decision making units. Eur J Operat Res 1978; 2(6):429-44.
21. Arcelus F J, Coleman D F. An efficiency review of university departments. Int J Syst Sci 1997; 28(7):721-9.
22. Beasley J E. Determining teaching and research efficiencies. J Operat Res Soc n. 46. p 1995; (45):441-52.
23. Degraeve Z, Lambrechts M, Van Puymbroeck V. E en vergelijkende prestatiestudie van de departementen van de Katholieke Universiteit Leuven. Tijdsch Econ Manag 1996; (41):165-93.
24. Pedraja-Chaparro F, Salinas Jimenez J, Smith P On the rle of weight restictions in data envelopment analysis. J Product Anal 1997; (8):215-30.
25. Johnes G, Johnes J. Apples and oranges: the aggregation problem in publications analysis Scientometrics 1992; (25):353-65.
26. Rousseau S, Rousseau R. Data envelopment analysis as a tool for constructin scientometric indicators. Scientometrics 1997; (40):45-56.
27. ___ Measuring the scientific wealth of European nations: taking effectiveness into account Scientometrics 1998; (42):75-87.