La medición de la calidad universitaria en el ranking internacionalPor Carlos Fosca
Profesor Principal del Departamento Académico de Ingeniería y Director Académico de Planeamiento y Evaluación de la PUCP
http://palestra.pucp.edu.pe/index.php?id=326
Desde hace muchos años, el uso de ranking internacionales como indicadores de la calidad de las universidades ha sido moneda común en los países anglosajones. Sin embargo, durante los últimos tiempos este tipo de mediciones se ha extendido a todo el mundo, y es una referencia importante para las universidades que desean comparar el impacto de su actividad académica con el de otras instituciones educativas. En este sentido, cabe preguntarnos cómo los ranking internacionales miden la calidad de las universidades, así como reflexionar sobre el rol que juega la producción científica en estas mediciones y, finalmente, acerca de las medidas urgentes que debiera tomar la PUCP para mejorar su presencia internacional. Abordamos estas preguntas en el presente artículo.
Entre los ranking mundiales destacan tres: The Times Higher World University Rankings (http://ed.sjtu.edu.cn/ranking.htm), elaborado desde el 2004 por el suplemento de educación superior de la revista inglesa The Times y que muestra las doscientas mejores universidades del mundo; The Academic Ranking of World Universities (http://www.webometrics.info/) , que lleva a cabo desde el 2003 el Instituto de Educación Superior de la universidad Shangai Jiao Tong, de China; y el Ranking Mundial de Universidades en la Web(http://www.webometrics.info/) , del Centro de Información y Documentación Científica (CINDOC-CSIC) de España.
En estas tres mediciones, los criterios de evaluación están vinculados, de manera directa o indirecta, con la producción científica de las universidades evaluadas (ver Tabla 1). A pesar de ello, las tres instituciones evalúan dicha contribución al conocimiento desde diferentes ángulos: mientras que en los dos primeros casos las universidades son valoradas según la calidad de recursos humanos y los reconocimientos hechos a su producción científica por parte de sus pares, el tercero brinda una perspectiva diferente. El CINDOC-CSIC de España mide la actividad de los profesores e investigadores a partir de un análisis bibliométrico hecho en los más importantes buscadores de Internet.
Aun cuando los tres ranking usan criterios diferentes, todos ellos pretenden medir, en primera instancia, la producción científica de las universidades, como un indicador relevante de la calidad de las mismas. El que más difiere de las otras dos evaluaciones es el realizado por el CINDOC-CSIC, que, además, mide la actividad de una institución en la Internet, y por ello puede trascender a la mera producción científica y vincularse más con la divulgación de otras actividades propias de la academia (docencia, proyección social, difusión cultural, etc.).
Así, los resultados de los tres ranking son también muy parecidos, sobre todo en el caso de la revista The Times y el del Instituto de Educación Superior de la universidad Shangai Jiao Tong. Para la primera, por ejemplo, siete de las diez mejores universidades del mundo son estadounidenses, mientras que las tres restantes son inglesas; para la segunda, entre las diez mejores hay ocho universidades estadounidenses y solo dos inglesas; y para el CINDOC-CSIC, las top ten se encuentran en Estados Unidos y recién en el puesto 22 (julio 2006) aparece una universidad no norteamericana: Oxford (Inglaterra)
Una mirada más amplia a los ranking muestra que, en términos generales, se observa una presencia mayoritaria de las universidades norteamericanas en los mejores lugares, seguido de las universidades europeas y luego de las asiáticas.
A pesar de que, para la categorización hecha por el suplemento de educación superior de la revista inglesa The Times , Norteamérica y América Latina entran dentro de la misma región, es necesario mencionar que, dentro de este ranking, la única universidad latinoamericana entre las doscientas mejores es la Universidad Nacional Autónoma de México (UNAM). Esto quiere decir que el 36% de las mejores universidades del mundo se encuentran en Norteamérica, para el caso de las cien mejores; y el 31% para el caso de las doscientas top . Las europeas, en las top 100 representan el 40% del total; mientras que para el top 200 , el 41,5%.
En la evaluación del Instituto de Educación Superior de la universidad Shangai Jiao Tong, hay una mayor proporción de universidades norteamericanas tanto entre las cien como entre las doscientas mejores: cerca del 50% en ambos casos, porcentaje que se incrementa en la evaluación del CINDOC-CSIC de España, donde las universidades norteamericanas ocupan más del 70% de las mejores cien. Las universidades europeas no se quedan detrás: en todos los casos evaluados por la universidad de Shangai (salvo en el de las veinte mejores) alcanzan proporciones entre el 34 y el 42,5%.
Desde hace muchos años, el uso de ranking internacionales como indicadores de la calidad de las universidades ha sido moneda común en los países anglosajones. Sin embargo, durante los últimos tiempos este tipo de mediciones se ha extendido a todo el mundo, y es una referencia importante para las universidades que desean comparar el impacto de su actividad académica con el de otras instituciones educativas. En este sentido, cabe preguntarnos cómo los ranking internacionales miden la calidad de las universidades, así como reflexionar sobre el rol que juega la producción científica en estas mediciones y, finalmente, acerca de las medidas urgentes que debiera tomar la PUCP para mejorar su presencia internacional. Abordamos estas preguntas en el presente artículo.
Entre los ranking mundiales destacan tres: The Times Higher World University Rankings (http://ed.sjtu.edu.cn/ranking.htm), elaborado desde el 2004 por el suplemento de educación superior de la revista inglesa The Times y que muestra las doscientas mejores universidades del mundo; The Academic Ranking of World Universities (http://www.webometrics.info/) , que lleva a cabo desde el 2003 el Instituto de Educación Superior de la universidad Shangai Jiao Tong, de China; y el Ranking Mundial de Universidades en la Web(http://www.webometrics.info/) , del Centro de Información y Documentación Científica (CINDOC-CSIC) de España.
En estas tres mediciones, los criterios de evaluación están vinculados, de manera directa o indirecta, con la producción científica de las universidades evaluadas (ver Tabla 1). A pesar de ello, las tres instituciones evalúan dicha contribución al conocimiento desde diferentes ángulos: mientras que en los dos primeros casos las universidades son valoradas según la calidad de recursos humanos y los reconocimientos hechos a su producción científica por parte de sus pares, el tercero brinda una perspectiva diferente. El CINDOC-CSIC de España mide la actividad de los profesores e investigadores a partir de un análisis bibliométrico hecho en los más importantes buscadores de Internet.
Aun cuando los tres ranking usan criterios diferentes, todos ellos pretenden medir, en primera instancia, la producción científica de las universidades, como un indicador relevante de la calidad de las mismas. El que más difiere de las otras dos evaluaciones es el realizado por el CINDOC-CSIC, que, además, mide la actividad de una institución en la Internet, y por ello puede trascender a la mera producción científica y vincularse más con la divulgación de otras actividades propias de la academia (docencia, proyección social, difusión cultural, etc.).
Así, los resultados de los tres ranking son también muy parecidos, sobre todo en el caso de la revista The Times y el del Instituto de Educación Superior de la universidad Shangai Jiao Tong. Para la primera, por ejemplo, siete de las diez mejores universidades del mundo son estadounidenses, mientras que las tres restantes son inglesas; para la segunda, entre las diez mejores hay ocho universidades estadounidenses y solo dos inglesas; y para el CINDOC-CSIC, las top ten se encuentran en Estados Unidos y recién en el puesto 22 (julio 2006) aparece una universidad no norteamericana: Oxford (Inglaterra)
Una mirada más amplia a los ranking muestra que, en términos generales, se observa una presencia mayoritaria de las universidades norteamericanas en los mejores lugares, seguido de las universidades europeas y luego de las asiáticas.
A pesar de que, para la categorización hecha por el suplemento de educación superior de la revista inglesa The Times , Norteamérica y América Latina entran dentro de la misma región, es necesario mencionar que, dentro de este ranking, la única universidad latinoamericana entre las doscientas mejores es la Universidad Nacional Autónoma de México (UNAM). Esto quiere decir que el 36% de las mejores universidades del mundo se encuentran en Norteamérica, para el caso de las cien mejores; y el 31% para el caso de las doscientas top . Las europeas, en las top 100 representan el 40% del total; mientras que para el top 200 , el 41,5%.
En la evaluación del Instituto de Educación Superior de la universidad Shangai Jiao Tong, hay una mayor proporción de universidades norteamericanas tanto entre las cien como entre las doscientas mejores: cerca del 50% en ambos casos, porcentaje que se incrementa en la evaluación del CINDOC-CSIC de España, donde las universidades norteamericanas ocupan más del 70% de las mejores cien. Las universidades europeas no se quedan detrás: en todos los casos evaluados por la universidad de Shangai (salvo en el de las veinte mejores) alcanzan proporciones entre el 34 y el 42,5%.
Es interesante notar, en este punto, que, mientras Europa alberga a más del 40% de las quinientas mejores universidades de todo el mundo (porcentaje que no difiere mucho del que alcanza Norteamérica), la diferencia se agranda conforme aumentan las exigencias: el 50% de las mejores doscientas está asentado en Norteamérica y América Latina (aunque solo tres de ellas son latinoamericanas) y, para las top 20 , el 85% de las universidades son norteamericanas (todas ellas de Estados Unidos).
La situación latinoamericana
Como ya mencionamos, la UNAM es la universidad latinoamericana mejor posicionada en los tres ranking . Para el caso de la revista The Times , figura entre las doscientas mejores universidades del mundo, en el puesto 74 para la medición del 2006 (con un importante incremento con respecto al año 2005, en el que aparecía en el puesto 95). La situación no es la misma según la medición española, donde –pese a ser la mejor posicionada de las instituciones educativas de Latinoamérica– se encuentra en el puesto 110. La universidad Shangai Jiao Tong la ubica entre las doscientas mejores del mundo.
El panorama, en general, no es el mejor para las universidades de América Latina, pues ninguna otra aparece entre las doscientas mejores para la revista The Times : la Pontificia Universidad Católica de Chile se encuentra en el puesto 228; la Universidad de Buenos Aires en el 276; la Universidad de Chile en la posición 277 y el Tecnológico de Monterrey, en el 299. Les siguen la Pontificia Universidad Católica del Perú (419), la Pontificia Universidad Católica de Río de Janeiro (441) y la Universidad Estatal Paulista (478). Cabe resaltar que, en este mismo ranking, el año 2005, la PUCP apareció en el puesto 74 de las cien mejores universidades en artes y humanidades, aunque no volvió a estar en ese rango en el año 2006.
Con respecto a la evaluación de la universidad Shangai Jiao Tong, entre la doscientas primeras universidades del mundo se encuentran la UNAM, a la UBA y a la Universidad de Sao Paulo. Para el CINDOC-CSIC español, por su parte, la PUCP se encuentra, al año 2006, en el puesto 94 de las 200 primeras universidades iberoamericanas y el 37 de las latinoamericanas, seguida por la Universidad Nacional Mayor de San Marcos (125). Para el total de tres mil universidades evaluadas, la PUCP alcanza el puesto 1214 del ranking.
Una nueva mirada
La diferencia, entonces, entre universidades latinoamericanas y las norteamericanas, europeas o asiáticas, es muy grande. ¿A qué se debe esto? Pues, precisamente, al principal indicador de la calidad educativa: la producción científica. Incluso la UNAM , la mejor ubicada de nuestras universidades en el ranking de The Times , obtiene la peor nota posible –cero - por trabajos de investigación publicados en las revistas indexadas.
Debido a que las universidades latinoamericanas no alcanzan el nivel mínimo requerido por estos ranking internacionales, es necesaria una nueva visión, que permita, al menos, analizar el avance de las universidades de América Latina en cuanto a producción científica. Por ello, el SCImago Research Group desarrolló, en el Centro Mediterráneo de la Universidad de Granada, el primer ranking de producción científica de los países iberoamericanos, sobre la base de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI de Estados Unidos, que cubren alrededor de 8.850 revistas, en todas las áreas del conocimiento. Los primeros puestos son ocupados por España, Brasil y México. El Gráfico 1 muestra la evolución en cuanto a producción científica de cuatro universidades latinoamericanas durante los últimos quince años.
Así, al año 2004, la producción científica de la Universidad de Sao Paulo se encontraba en 4874 apariciones en las revistas indexadas; la UNAM , en 2637; la Universidad de Chile, en 979; y la Pontificia Universidad Católica de Chile, en 699. Sin embargo, la situación es diferente si se mira el ranking de universidades latinoamericanas en función de su producción científica acumulada en los últimos diez años. El Gráfico 2 advierte que la Universidad de Sao Paulo ha triplicado su producción, mientras que la UNAM la ha incrementado en un 250% y la Universidad de Chile la ha duplicado.
La situación de la producción científica universitaria en el Perú
Como es evidente, dentro de las mejores universidades latinoamericanas de investigación no se encuentra ninguna peruana, debido a que su producción científica es sumamente baja. Como ocurría con las universidades latinoamericanas con respecto a las norteamericanas, europeas y asiáticas, es muy difícil obtener información cuando las instituciones educativas del Perú se encuentran por debajo de los estándares de medición. A pesar de ello, gracias al trabajo de Raúl Cuevas y colaboradores de la Red Mundial de Científicos Peruanos (RMCP), desde 1998 se mide la producción científica del Perú con indicadores bibliométricos 7, a partir de la base de datos del Institute for Scientific Information (ISI).
El Gráfico 3 muestra el número de publicaciones de las universidades peruanas con mayor producción científica. En el 2005, entre todas alcanzaron la suma de 393 documentos en revistas científicas de circulación internacional. Como se observa, la producción científica de la PUCP indexada en el ISI es muy pobre, aunque su producción intelectual sea abundante, como lo demuestran la actividad del Fondo Editorial y las diversas revistas académicas que se editan.
Solo para darnos una idea de la profundidad de la brecha entre la PUCP y las otras universidades latinoamericanas, podemos observar que la Universidad de Chile, en el 2003, produjo 855 producciones indexadas, mientras que la PUCP , en el 2005, tuvo 15. La producción científica de la PUCP reconocida mediante los indicadores bibliométricos más empleados en el mundo es, realmente, insignificante, y esto debiera constituirse en un motivo de reflexión para una institución educativa que lidera la educación superior en el país y que aspira a ser reconocida nacional e internacionalmente como un espacio promotor y generador de desarrollo.
La PUCP hacia adelante
Para revertir este problema e impulsar a la PUCP a la excelencia según los estándares internacionales, son necesarias estrategias de corto y largo plazo. En el largo plazo, lógicamente, es necesario aumentar la producción científica, pero para ello se necesita diseñar e implementar un sistema de investigación sostenible y uno de promoción de la investigación, que reconozca y premie esta actividad por medio de bonos de reconocimiento a los docentes, según la calidad y la cantidad de sus publicaciones. Solo así se vinculará la actividad docente con la investigación y la producción científica. De la misma manera, debe incorporarse la evaluación por resultados en los planes de trabajo de los docentes, así como generar en ellos la capacidad de conseguir fuentes de financiamiento externo para las investigaciones .
En el corto plazo, sin embargo, también hay medidas que se hacen urgentes y necesarias. La más importante de ellas es incrementar la presencia de la PUCP en el extranjero, lo que no debiera significar sobrecarga financiera para la universidad; es decir, la difusión de la actual producción científica de la universidad. La PUCP posee una producción científica, en diversos campos, que podría llegar a ser muy competitiva si fuera difundida mejor. Por ello, antes que abocarnos a producir más, es necesario dirigir nuestros esfuerzos a incrementar la difusión de estas investigaciones.
La primera estrategia para hacerlo es convertir las revistas académicas actuales de la PUCP al formato digital y distribuirlas, gratuitamente, por medio de la Internet. La universidad cuenta actualmente con veinte revistas académicas, es decir, como mínimo unos ochenta artículos anuales. La conversión de estas al formato digital no representa un gasto muy alto y, por el contrario, en el balance costo / beneficio puede resultar muy útil hacerlo, puesto que su circulación se incrementaría exponencialmente.
Hoy en día , existe una colección de revistas virtuales iberoamericanas denominada Scientific Electronic Library Online (SciELO) que fue creada en Brasil, en 1997, por la Fundación de Apoyo a la Investigación de Sao Paulo y que posteriormente fue apoyada por el Consejo Nacional de Desarrollo Científico y Tecnológico. En el Perú, el Consejo Nacional de Ciencia y Tecnología (Concytec), junto con la UNMSM y la OPS , creó, en el 2004, el proyecto SciELO Perú . En este se encuentran veintiún revistas en formato digital, pero ninguna de ellas pertenece a la PUCP. La UNMSM, por el contrario, durante los dos últimos años ha incrementado su presencia en el ranking del CINDOC-CSIC de España, gracias a su política de difusión de su producción científica a través de esta plataforma.
En segundo lugar, es necesario impulsar la publicación de trabajos de investigación en las revistas indexadas, pues esta es muy escasa, debido tanto a los altos estándares que exigen estas publicaciones como al desconocimiento acerca de ellas. La desinformación lleva, muchas veces, a que se piense que las revistas indexadas están orientadas únicamente al campo de las ciencias básicas, la medicina y la ingeniería cuando, en realidad, abarcan casi todos los campos del conocimiento, incluyendo las humanidades y ciencias sociales ( Arts & Humanities Citation Index y Social Sciences Citation Index ). A partir de este conocimiento, la PUCP debería fijarse metas de publicación al año 2010.
Es importante señalar que estas no son estrategias excluyentes sino, por el contrario, complementarias, pues mientras la primera apunta a difundir la producción académica de la PUCP en Iberoamérica por medio de plataformas como SciELO, la segunda apunta a un posicionamiento global, para así participar en el sistema mundial de transferencia de conocimiento científico.
Reflexiones finales
La creación de conocimiento de una universidad se mide a través de diversos productos: artículos en publicaciones científicas, presentaciones en congresos y conferencias, publicación de libros, patentes e inventos, número de doctores graduados y productos y servicios innovadores, entre otros. Por ello, la producción científica de una institución sí puede ser medida a través de una serie de indicadores bibliométricos, que son recogidos por bases de datos regionales e internacionales.
Así, aunque la producción científica de una institución no es un indicador directo de su pertinencia social, ni tampoco se agota en las publicaciones ISI (las cuales, en su mayoría, se editan en inglés y abordan temáticas internacionales), resulta urgente generar una cultura de publicación con estándares rigurosos de calidad, y difundir –de manera eficaz– la producción intelectual de la PUCP.
Por último, la investigación de asuntos de interés nacional y la de temas de importancia internacional tampoco deben ser excluyentes. Por el contrario, se constituyen en valiosas estrategias complementarias para posicionar mejor a la PUCP tanto en el ámbito regional como en el ámbito mundial, y contribuyen, decididamente, al cumplimiento de su misión institucional.
En el corto plazo, sin embargo, también hay medidas que se hacen urgentes y necesarias. La más importante de ellas es incrementar la presencia de la PUCP en el extranjero, lo que no debiera significar sobrecarga financiera para la universidad; es decir, la difusión de la actual producción científica de la universidad. La PUCP posee una producción científica, en diversos campos, que podría llegar a ser muy competitiva si fuera difundida mejor. Por ello, antes que abocarnos a producir más, es necesario dirigir nuestros esfuerzos a incrementar la difusión de estas investigaciones.
La primera estrategia para hacerlo es convertir las revistas académicas actuales de la PUCP al formato digital y distribuirlas, gratuitamente, por medio de la Internet. La universidad cuenta actualmente con veinte revistas académicas, es decir, como mínimo unos ochenta artículos anuales. La conversión de estas al formato digital no representa un gasto muy alto y, por el contrario, en el balance costo / beneficio puede resultar muy útil hacerlo, puesto que su circulación se incrementaría exponencialmente.
Hoy en día , existe una colección de revistas virtuales iberoamericanas denominada Scientific Electronic Library Online (SciELO) que fue creada en Brasil, en 1997, por la Fundación de Apoyo a la Investigación de Sao Paulo y que posteriormente fue apoyada por el Consejo Nacional de Desarrollo Científico y Tecnológico. En el Perú, el Consejo Nacional de Ciencia y Tecnología (Concytec), junto con la UNMSM y la OPS , creó, en el 2004, el proyecto SciELO Perú . En este se encuentran veintiún revistas en formato digital, pero ninguna de ellas pertenece a la PUCP. La UNMSM, por el contrario, durante los dos últimos años ha incrementado su presencia en el ranking del CINDOC-CSIC de España, gracias a su política de difusión de su producción científica a través de esta plataforma.
En segundo lugar, es necesario impulsar la publicación de trabajos de investigación en las revistas indexadas, pues esta es muy escasa, debido tanto a los altos estándares que exigen estas publicaciones como al desconocimiento acerca de ellas. La desinformación lleva, muchas veces, a que se piense que las revistas indexadas están orientadas únicamente al campo de las ciencias básicas, la medicina y la ingeniería cuando, en realidad, abarcan casi todos los campos del conocimiento, incluyendo las humanidades y ciencias sociales ( Arts & Humanities Citation Index y Social Sciences Citation Index ). A partir de este conocimiento, la PUCP debería fijarse metas de publicación al año 2010.
Es importante señalar que estas no son estrategias excluyentes sino, por el contrario, complementarias, pues mientras la primera apunta a difundir la producción académica de la PUCP en Iberoamérica por medio de plataformas como SciELO, la segunda apunta a un posicionamiento global, para así participar en el sistema mundial de transferencia de conocimiento científico.
Reflexiones finales
La creación de conocimiento de una universidad se mide a través de diversos productos: artículos en publicaciones científicas, presentaciones en congresos y conferencias, publicación de libros, patentes e inventos, número de doctores graduados y productos y servicios innovadores, entre otros. Por ello, la producción científica de una institución sí puede ser medida a través de una serie de indicadores bibliométricos, que son recogidos por bases de datos regionales e internacionales.
Así, aunque la producción científica de una institución no es un indicador directo de su pertinencia social, ni tampoco se agota en las publicaciones ISI (las cuales, en su mayoría, se editan en inglés y abordan temáticas internacionales), resulta urgente generar una cultura de publicación con estándares rigurosos de calidad, y difundir –de manera eficaz– la producción intelectual de la PUCP.
Por último, la investigación de asuntos de interés nacional y la de temas de importancia internacional tampoco deben ser excluyentes. Por el contrario, se constituyen en valiosas estrategias complementarias para posicionar mejor a la PUCP tanto en el ámbito regional como en el ámbito mundial, y contribuyen, decididamente, al cumplimiento de su misión institucional.
