La reforma universitaria de 2014 en Perú. Cambios en las prácticas científicas de 92 universidades licenciadas

César H. Limaymanta

Universidad Nacional Mayor de San Marcos. Facultad de Letras y Ciencias Humanas, Lima, Perú / climaymantaa@unmsm.edu.pe | https://orcid.org/0000-0002-8797-4275

Rosalía Quiroz-de-García

Universidad Nacional Mayor de San Marcos, Facultad de Letras y Ciencias Humanas, Lima, Perú / rquirozp@unmsm.edu.pe | https://orcid.org/0000-0003-4178-2283

Vanessa Beizaga

Universidad Nacional Mayor de San Marcos, Facultad de Letras y Ciencias Humanas, Lima, Perú / erika.beizaga@unmsm.edu.pe | https://orcid.org/0000-0001-5568-5762

Zaida Chinchilla-Rodríguez

Instituto de Políticas y Bienes Públicos (IPP), Consejo Superior de Investigaciones Científicas (CSIC), Madrid, España / zaida.chinchilla@csic.es | https://orcid.org/0000-0002-1608-4478

Recepción: 06-12-2023.

Aceptación: 29-10-2024.

DOI: https://doi.org/10.34096/ics.i51.13753

Resumen

El objetivo de este estudio es analizar longitudinalmente los cambios en los recursos y en los resultados de la actividad investigadora de 92 universidades peruanas licenciadas, en el marco de la implementación de la política de reforma universitaria de 2014. Los datos sobre publicaciones se obtuvieron de Scopus y Scival mientras que los referentes a recursos humanos provienen de Concytec. Se empleó la serie temporal interrumpida con diseño cuasiexperimental y grupo de control no equivalente con análisis de regresión, considerando la implementación de la reforma universitaria como el “tratamiento”. Los resultados revelan un aumento de publicaciones en las universidades, especialmente en las privadas societarias, así como en el número de investigadores Renacyt. Por otro lado, el grupo de control, compuesto por los institutos públicos de investigación, mantuvo una tendencia similar antes y después de la reforma universitaria, a diferencia del crecimiento no lineal en las publicaciones de las universidades. Asimismo, se observa una disminución en el porcentaje de publicaciones en colaboración internacional y en revistas situadas en el cuartil 1. Se observan variaciones en el impacto normalizado entre los distintos grupos de universidades a lo largo del período de análisis. Se presentan las limitaciones y se sugieren futuras líneas de investigación y recomendaciones dirigidas a quienes toman decisiones en la gestión de la investigación y a los participantes en la comunicación científica.

Palabras clave: Reforma universitaria, Cienciometría, Universidad, Sunedu, Políticas científicas

Abstract

This study aims to make a longitudinal analysis of the changes regarding the results and resources used to assemble a research activity about 92 licensed Peruvian universities, in the framework of implementing the 2014 university reform policy. Data publication was obtained from Scopus and Scival while human resource data came from Concytec. The interrupted time series with a quasi-experimental design and a non-equivalent control group with regression analysis was used, considering the implementation of the university reform as the “treatment”. The results reveal an increase in university publications, especially in private corporate universities, as well as in the number of Renacyt researchers. On the other hand, the control group, composed of public research institutes, maintained a similar trend before and after the university reform, unlike the non-linear growth in university publications. There is also a decrease in the percentage of publications in international collaboration and in quartile 1 journals. Variations in the normalized impact are observed between the different groups of universities throughout the period of analysis. Limitations are presented and future lines of research and recommendations are suggested for those who make decisions in research management and those involved in scientific communication.

Keywords: University reform, Scientometrics, University, Sunedu, Scientific policies

Introducción

La implementación de reformas en el sector universitario tiene como objetivo mejorar la cultura de investigación y facilitar cambios institucionales que puedan ayudar a aumentar el desempeño de la investigación (Zacharewicz et al., 2019). Estas reformas suelen incluir cambios en el financiamiento de las universidades y de la investigación (Kalpazidou Schmidt, 2012), como la implementación de nuevos sistemas de evaluación y de políticas de financiamiento basadas en el desempeño (FBD en adelante). El objetivo es beneficiar a las instituciones e individuos con mejor desempeño en indicadores, tales como impacto y productividad. Numerosos estudios analizan el impacto que los sistemas de evaluación de la investigación y los FBD tienen en el comportamiento de los investigadores y la producción científica (Abramo, D’Angelo y Hladchenko, 2023). Existen evidencias de que la evaluación del rendimiento de la investigación y la relación entre la financiación y los resultados parecen estar asociados a un impacto positivo en la cantidad de investigación, aunque de forma temporal (Checchi, Malgarini y Sarlo, 2018) y que los factores que están detrás de estas variables pueden ser muy variados (Osuna, Cruz-Castro y Sanz-Menéndez, 2011); Aksnes et al., 2017; Van den Besselaar, Heyman y Sandström, 2017).

En Perú, el sector universitario ha estado en constante transformación debido a las distintas reformas que se han implementado. Entre algunas reformas universitarias destacadas se encuentran la desarrollada a mediados del siglo XIX (1856-1876), tras el inicio de la República Peruana (Garfias Dávila, 2009). La siguiente reforma universitaria (RU en adelante) ocurrió en 1918, en el contexto de la Reforma de Córdoba, Argentina, donde la participación estudiantil fue determinante para lograr la autonomía universitaria y el cogobierno, entre otros logros (Casalino, Rivas Huarcaya y Toche, 2018). Posteriormente, se llevaron a cabo otras reformas en 1931 con Encinas; en 1946 se consolidó el tercio estudiantil; y en 1960, con la necesidad de extender la oferta universitaria a la sociedad, se originó la creación de varias universidades públicas y privadas. En 1969, bajo el gobierno de Velasco, se creó el Consejo Nacional de la Universidad Peruana (CONUP) (TV Perú, 2022). Con la siguiente RU en 1979, se consolidan los órganos de gobierno de las universidades. Mientras que, en la ley universitaria promulgada en 1983, se acrecientan las diferencias entre universidades públicas y privadas, limitando la acción estatal en el campo universitario y promoviendo la iniciativa privada (Garfias Dávila, 2020).

En el gobierno de Alberto Fujimori (1900-2001) la calidad de las universidades se vio afectada negativamente. A través del Consejo Nacional para la Autorización del Funcionamiento de Universidades (Conafu) en 1995 y la aprobación del Decreto Legislativo N° 882 se liberalizó el sector educativo y se crearon varias universidades privadas con fines de lucro, lo que dio lugar a tres tipos de universidades: universidades públicas, universidades privadas sin fines de lucro (asociativas) y universidades privadas con fines de lucro (societarias) (British Council Perú, 2016; Cuenca y Reátegui, 2016; Superintendencia Nacional de Educación Superior Universitaria, 2021a). Sin embargo, muchas de estas universidades presentaban pocas exigencias y nulos estándares de calidad (Educación en Red, 2019). Una característica común de las reformas descritas es que no tuvieron como propósitos fundamentales el desarrollo de la investigación en ciencia, tecnología e innovación.

Frente a la crisis de las universidades y luego de largos años de discusión, en 2014 se promulga la Ley Nº 30220 (Ley Universitaria) que abarca tres aspectos principales que influenciaron en distintos niveles a las actividades de investigación en esas instituciones: i) creación de la Superintendencia Nacional de Educación Superior Universitaria (Sunedu), órgano público adscrito al Ministerio de Educación (Minedu), cuyo objetivo es regular la creación, funcionamiento, supervisión, licenciamiento y/o cierre de las universidades peruanas que no alcancen unos estándares mínimos de calidad. El proceso de licenciamiento implica el cumplimiento de ocho condiciones mínimas de calidad: existencia de objetivos académicos; oferta educativa compatible con los instrumentos de planeamiento; infraestructura y equipamiento; líneas de investigación, docentes calificados y a tiempo completo; servicios complementarios; mecanismos de inserción laboral y transparencia de universidades (Sunedu, 2021b); ii) la creación de la categoría del docente investigador para aquellos que se dedican a la generación de conocimiento e innovación con experiencia en investigación. Estos docentes son reconocidos por un mecanismo de evaluación a través del Registro Nacional de Ciencia, Tecnología y de Innovación Tecnológica (Renacyt), regulada por el Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica (Concytec). Para docentes de universidades públicas, este reconocimiento tiene incentivos como los beneficios de carga lectiva de un curso por año y una bonificación adicional del 50% de sus haberes totales (en universidades privadas el sistema de incentivos es autónomo por lo que lo decide cada universidad); iii) establecer la investigación como una función esencial, obligatoria y transversal a la universidad, productora de conocimiento y tecnologías que respondan a necesidades de la realidad nacional, Ley Universitaria (Ley n° 30220/2014). Todos estos mecanismos y herramientas de la política científica peruana permitieron incentivar el cambio de las actividades de las universidades, pasando de ser centros de profesionalización, regulados por el mercado a convertirse en instituciones con vida académica, involucradas en la investigación y reguladas por el estado como parte de la política pública (Cuenca, 2015).

Además de las universidades, dentro de la estructura institucional de los centros dedicados a investigación regulados por el Estado, se encuentran los Institutos Públicos de Investigación (IPI) Los IPI son entidades adscritas al Sistema Nacional de Ciencia, Tecnología e Innovación Tecnológica (SINACYT), se dedican a la investigación, la innovación tecnológica en ciencia y tecnología, y el entrenamiento de capital humano en investigación (Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica, 2021a). Estas instituciones no están sujetas a la Ley Universitaria, por lo cual su funcionamiento no se vio afectado por la RU. Dada esa condición se decidió considerar a los IPI como grupo de control en el marco de la metodología desarrollada en este trabajo, para tener un punto de comparación más al analizar si hubo cambios significativos en la actividad investigadora de las universidades licenciadas de Perú a partir de la implementación de la RU.

Revisión de literatura

Antes de la implementación de la Ley nº 30220 (Ley Universitaria) en 2014, se elaboró un informe por parte del Concytec que analizó la actividad científica peruana mediante indicadores bibliométricos para el periodo 2006-2011. Entre los principales hallazgos se destaca un marcado crecimiento de la producción científica peruana. Sin embargo, Perú seguía ocupando los últimos puestos respecto a producción mundial y ocupaba un noveno puesto en Latinoamérica con un predominio de la colaboración internacional y una citación normalizada muy por encima de la media mundial (Moya-Anegón et al., 2014).

A partir de la implementación de la Ley nº 30220, hay estudios que analizan el nuevo panorama de la investigación en el país. Turpo-Gebera, Limaymanta y Sanz-Casado (2021), realizaron una mirada a los indicadores proporcionados por el Banco Mundial, Scopus y Scival. Los resultados remarcan la reducida producción científica de Perú en comparación con sus pares regionales como Argentina, Brasil, Chile y Colombia. De forma similar, Acevedo-Flores et al. (2021) analizaron los principales indicadores internacionales proporcionados por el World Economic Forum, Global Innovation Index, SCImago Journal Rank, Ricyt, Concytec y Peruvian Council of Competitiveness para determinar si la RU iniciada en el año 2014 tuvo un impacto en la investigación. Los resultados indican que durante los últimos 10 años ha aumentado la inversión nacional en ciencia y tecnología y se ha incrementado la producción científica a nivel regional e internacional. A pesar de esto, Perú sigue invirtiendo mucho menos que otros países de la región como Chile y Colombia. Por su parte, Millones-Gómez et al. (2021) aplicaron diversos modelos de regresión lineal para determinar la relación entre las políticas científicas implementadas por las universidades licenciadas por la Sunedu hasta el 2020 y su producción científica en Scopus y Web of Science (WoS), entre otras variables. Se identificaron 23 políticas diferentes de investigación, con la mayoría de las universidades implementando solamente una de ellas a la vez. Los resultados mostraron que las diversas políticas de investigación no influyeron en la producción científica en Scopus y WoS, pero sí en el tipo de gestión y el número de investigadores Renacyt. Otros estudios se han centrado en los posibles sesgos del proceso de licenciamiento de las universidades por parte de la Sunedu (Velásquez Benites et al., 2022).

A nivel mundial, existe abundante literatura sobre los efectos de las políticas de evaluación de la investigación en el comportamiento individual de los científicos (Zacharewicz et al., 2019; Abramo, D’Angelo y Hladchenko, 2023). Por ejemplo, trabajos realizados en Australia (Butler, 2003; Van den Besselaar, Heyman y Sandström, 2017), Noruega (Schneider, Aagaard y Bloch, 2016), Suecia (Hammarfelt y de Rijcke, 2015; Sīle, 2016) e Indonesia (Achwan et al., 2020) evidenciaron un incremento en sus publicaciones luego de la aplicación de determinadas políticas científicas de FBD. A nivel latinoamericano, Ecuador observó un notable incremento en la publicación de artículos científicos en revistas indexadas a partir de la RU del 2008, que crea el Consejo Nacional de Evaluación y Acreditación de la Educación Superior (CONEA) e introduce estímulos principalmente de tipo económico para los investigadores (Espín, Amezquita y Chávez, 2017; Limaymanta et al., 2020). Rudolf-Macció (2008) analizó la segunda RU y la investigación científica en la psicología uruguaya, evidenciando sus ventajas y desafíos en la Universidad de la República.

En muchos de estos estudios se ha puesto en duda la atribución causal de los efectos de las políticas científicas en los resultados de la investigación. Por ejemplo, Jiménez-Contreras, Moya-Anegón y López-Cózar (2003) argumentan que la implementación de diversas políticas científicas desde la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) de España, han jugado un papel determinante en el incremento de la producción científica española en bases de datos internacionales en los últimos 25 años. Sin embargo, afirman que hay más factores a considerar en el incremento de la producción. Autores como Osuna, Cruz-Castro y Sanz-Menéndez (2011), Aksnes et al. (2017) y Van den Besselaar, Heyman y Sandström (2017) indicaron que los estudios sobre el impacto de políticas científicas se enfrentan a problemas de atribución causal por lo que los incrementos en la producción científica pueden no ser total y directamente atribuibles a la implementación de determinadas políticas científicas.

Tomando como punto de partida estudios previos, Jiménez-Contreras, Moya-Anegón y López-Cózar (2003), Osuna, Cruz-Castro y Sanz-Menéndez (2011), este trabajo busca identificar los cambios en la actividad investigadora de universidades licenciadas de Perú a partir de la RU desde una perspectiva longitudinal (2009-2021). Los objetivos específicos son:

1. Analizar la evolución de las 92 universidades según número de publicaciones y número de investigadores Renacyt por condición jurídica.
2. Comparar los cambios en el número de publicaciones y número de docentes investigadores Renacyt, antes y después de la RU.
3. Analizar los cambios en los patrones de colaboración, revistas de publicación según cuartiles e impacto normalizado a nivel mundial de las publicaciones.
4. Comparar las tendencias de la productividad científica entre universidades licenciadas y los Institutos Públicos de Investigación (IPI) que están fuera del ámbito de la RU.

Metodología

El estudio analizó 92 universidades peruanas con publicaciones en Scopus durante el período 2009-2021, que hasta enero de 2022 habían obtenido el licenciamiento de la Sunedu (Anexo. Tabla a). Estas universidades fueron divididas en tres grupos según su condición jurídica: públicas (47), privadas asociativas (28) y privadas societarias (17). En cuanto al análisis de los indicadores de colaboración e impacto, y con el fin de obtener resultados consistentes y confiables, se trabajó solamente con 60 universidades que ofrecían esta información. Asimismo, para lograr el objetivo 4, se tomó como grupo de control a los IPI del que registraron documentos publicados en el período de análisis.

Las fuentes de información utilizadas para recuperar los datos sobre publicaciones fueron Scopus y Scival, ambas pertenecientes a Elsevier. Las razones de su elección radican en que Scopus es una de las bases de datos de referencia en el sistema de evaluación peruano (Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica, 2021b) y, además, tiene una mayor cobertura geográfica, temática y lingüística que WoS (Mongeon y Paul-Hus, 2016; Gusenbauer, 2022). De hecho, a octubre de 2023, la producción científica peruana en Scopus en el período 2009-2021 fue de 38.873 publicaciones y en WoS 28.851 (todos los índices de citas del core collection). Se identificaron las publicaciones de las 92 universidades licenciadas y de los IPI desde Scival con la opción Institutions and Groups en febrero de 2023. Para las instituciones que no figuraban en Scival, se recurrió a Scopus con la búsqueda en el campo Affiliations enlazando con el Institution ID. Se dividió el período analizado en dos: 2009-2015 y 2016-2021, para examinar las variables antes y después de la implementación de la RU en enero de 2015 (“tratamiento”).

Para los datos de insumos de las actividades investigativas se recurrió a las instituciones gubernamentales Sunedu y Concytec, respectivamente. A Sunedu se le solicitó para cada año: el presupuesto destinado a la investigación, el número de docentes nombrados y contratados TC/TP, el número de docentes con grado de doctor, el presupuesto total de la universidad, el número de proyectos de investigación financiados, el número de grupos de investigación, la frecuencia de movilidad internacional de docentes y estudiantes y la inversión en educación superior en I+D como porcentaje del PIB (2009-2021). De toda la información solicitada, Sunedu proporcionó los datos del número de docentes a tiempo completo (TC) y a tiempo parcial (TP), número de docentes doctores, presupuesto institucional, presupuesto de investigación y el número de proyectos de investigación, solo del año de licenciamiento de cada universidad.

Se obtuvo el número anual de docentes investigadores calificados Renacyt por año a través de Concytec (2016-2021), entidad encargada de reconocer a los investigadores peruanos en Renacyt (anteriormente Regina). No se cuenta con información de años anteriores al 2016 puesto que la Ley Universitaria 30220 se promulgó en julio de 2014 y el sistema de reconocimiento del investigador peruano se implementó en 2016. Se decidió usar solo los datos del número de investigadores Renacyt toda vez que los datos de las demás variables estaban incompletos.

Tratamiento y análisis de datos

Se utilizaron el Microsoft Excel 2021, IBM SPSS 22 y RStudio Posit 2023.03.0+386 para analizar los datos. Para obtener los modelos de la tendencia del crecimiento de las publicaciones en los dos períodos se usó la regresión lineal y no lineal, una técnica útil para capturar patrones de tendencia longitudinal en los datos de series de tiempo (Shumway y Stoffer, 2017), cuya variable independiente es el año de publicación. Antes de usar modelos de regresión lineal, se verificaron los supuestos de errores (normalidad, independencia y homocedasticidad). Se aplicó la prueba de Shapiro-Wilk para la normalidad (Yap y Sim, 2011), Durbin-Watson para la independencia (Wooldridge, 2015) y la prueba de Breusch-Pagan (NCV) para la homocedasticidad (Gujarati y Porter, 2009).

Después, se usó la serie temporal interrumpida con diseño cuasiexperimental y grupo de control no equivalente que es una técnica estadística que compara el antes y el después de la implementación de un tratamiento, donde se dispone de un historial propio de la variable y de un grupo control como comparación. Sin embargo, la falta de aleatorización daña las inferencias de causa y efecto, hasta cierto punto (Campbell y Ross, 1968; Osuna, Cruz-Castro y Sanz-Menéndez, 2011). Por ello, si se realizan explicaciones alternativas posibles, algunas de ellas pueden resultar plausibles (creíbles y razonables) para explicar los resultados observados de manera alternativa que valida la causalidad propuesta (Shadish, Cook y Campbell, 2002). Este principio podría desvelar que los posibles cambios en los resultados de las publicaciones y los recursos humanos no se deben exclusivamente a la implementación de la RU, sino a otros factores y algunas amenazas comunes a la validez del diseño implementado. Siguiendo a Osuna, Cruz-Castro y Sanz-Menéndez (2011), a continuación, se exponen estas amenazas:

Historia: Se refiere a cambios externos a la implementación de la RU y que pueden afectar los resultados. Por ejemplo, la implementación de otras políticas universitarias ajenas a la RU, el financiamiento de proyectos de investigación por parte de Fondecyt (hoy Prociencia), o los cambios en el contexto latinoamericano y mundial sobre las publicaciones y la comunicación científica.

Maduración: Se refiere a los cambios a lo largo del tiempo. Por ejemplo, los investigadores podrían haber mejorado sus competencias en investigación, reforzado y ampliado sus redes de colaboración, entre otros aspectos.

Prueba: Se refiere al hecho de que las universidades se sometan a una prueba de mejora antes de la implementación de la RU. Estas estrategias de mejora anteriores al tratamiento pudieran haber reforzado parcialmente el crecimiento en las publicaciones, el número de investigadores Renacyt, el desempeño de la investigación, etc.

Regresión: Se puede argumentar que los bajos niveles de publicación de las universidades peruanas en la primera década del nuevo milenio llevaron a la implementación de la RU y que junto con otros factores pueden afectar la regresión.

De todo lo anterior y en línea con Mathies, Kivistö y Birnbaum (2019) y Figueiredo Filho et al. (2013) se prioriza el análisis descriptivo sin ánimo de realizar inferencias puesto que el tamaño de la muestra es igual al tamaño de la población, del cual ya se conocen los parámetros. La tabla 1 muestra las dimensiones de análisis y los indicadores analizados.

Tabla 1. Descripción de las dimensiones e indicadores usados en el estudio.

Resultados

1. Evolución de las publicaciones e investigadores Renacyt de las universidades licenciadas por condición jurídica

Las tablas 2, 3 y 4 muestran la distribución de publicaciones en las 92 universidades licenciadas en el periodo 2009-2021 según su condición jurídica, la tasa de variación de las publicaciones en distintos períodos, el número de investigadores reconocidos Renacyt en 2016 y 2021, junto a su tasa de variación relativa y la razón entre el número de publicaciones por investigador Renacyt. Las universidades están ordenadas por el número de publicaciones 2009-2021.

De las 47 universidades públicas (Tabla 2), 23 de ellas (49%) no registraron publicaciones en el año 2009 y el 32% de ellas no registraron publicaciones en el primer período (2009-2015). La UNMSM, la UNSA, la UNALM y la UNI fueron las que más publicaron en general. Se destaca la tradición investigadora de la UNMSM, 3.5 veces mayor que la UNSA y 4 veces que la UNALM. La UNSA, además de ser la que más publicó en provincias, destaca por su crecimiento entre los dos periodos (710%), junto a la UNTELS y la UNTRM (5233% y 2983% respectivamente), aunque estas dos universidades parten de un número de publicaciones muy bajo en el primer periodo, de ahí que las tasas de variación sean muy altas. En 2021, todas las universidades públicas contaban con al menos tres publicaciones. En 2016, las universidades con mayor número de investigadores Renacyt eran la UNMSM (132), la UNALM (41), la UNI (30), la UNSA (19) y la UNT (17). Para el 2021, hay un cambio en los puestos que ocupan las cinco primeras universidades: UNMSM (598), UNSA (181), UNALM (175), UNT (146) y la aparición de la UNHEVAL (133). Otro resultado relevante es que, en el 2016, 14 universidades públicas no registraban investigadores Renacyt y 13 universidades registraban sólo un investigador. Mientras que en el 2021 todas las universidades públicas registraron al menos cinco investigadores. Para el 2021, la UNFV registró la mayor razón del número de publicaciones por investigador (7.4), seguido de la UNTELS (3.9) y de la UNJ (3.6).

Tabla 2. Número de publicaciones e investigadores Renacyt en universidades públicas.

Nota: NP: número de publicaciones, IR: investigadores Renacyt; VR: variación relativa

En cuanto a las 28 universidades privadas asociativas (Tabla 3), el 50% de ellas tenían como máximo 10 publicaciones en el primer período (2009-2015) y cuatro universidades no registraron publicaciones. En el segundo período (2016-2021), el 50% de ellas registraron más de 100 publicaciones. Para el período total, UPCH, PUCP, USMP, UP, UCH, Ulima y URP son las universidades que se ubican en el cuarto superior en el número de publicaciones. En 2009, 17 universidades (61%) no registraron publicaciones. Sin embargo, en el 2021, 26 de las 28 universidades sí que lo hacen. En cuanto a la variación relativa de las publicaciones (VR NP%) de ambos períodos, se destaca el crecimiento de la UCH y de la UPLA. En cuanto al número de investigadores Renacyt, UPCH (62), PUCP (50) y USMP (30), ocupaban los primeros puestos en 2016, mientras que, en 2021, la UP desplaza a la USMP en el top 3 de universidades privadas asociativas con mayor número de investigadores. En el 2016, 13 de estas universidades no registraban investigadores Renacyt, mientras que en el 2021 solo la UDEA no registraba ni investigadores Renacyt, ni publicaciones.

Tabla 3. Número de publicaciones e investigadores Renacyt en universidades privadas asociativas.

Nota: NP: número de publicaciones, IR: investigadores Renacyt; VR: variación relativa

Respecto a las universidades privadas societarias, durante el primer periodo, solo el 50% de ellas registró publicaciones (Tabla 4). Hubo una diferencia significativa entre las dos primeras (UPC y UCSUR) con el resto. En el segundo periodo, la UPAL no tuvo publicaciones. En cambio, la mayoría experimentó incrementos considerables. Específicamente, la UC aumentó sus publicaciones de 4 a 624 en este periodo, logrando un aumento de 155 veces. En relación con el número de investigadores, todas parten de cifras muy pequeñas destacando el refuerzo en personal investigador de la UTP, y la USS. En cuanto a la razón de publicaciones por investigador (NP/IR), las principales posiciones fueron para la UPC, la UPN y la UC.

Tabla 4. Número de publicaciones e investigadores Renacyt en universidades privadas societarias.

Nota: NP: número de publicaciones, IR: investigadores Renacyt; VR: variación relativa

En general, durante el primer periodo, el 29% de las 92 universidades no tuvo publicaciones y el 50% tuvo un máximo de siete. En cambio, en el segundo periodo, solo el 2% carecía de publicaciones, y el 50% tenía más de 90 documentos. En cuanto a los investigadores Renacyt, en 2016, el 37% de las universidades no contaban con investigadores calificados y la mitad de ellas tenía como máximo un investigador. Sin embargo, para 2021, solo el 2% de las universidades carecía de investigadores, y la mitad tenía al menos 21 investigadores Renacyt. En términos absolutos, el número de investigadores Renacyt pasó de 577 en 2016 a 4.230 en 2021, más de siete veces al número inicial. En cuanto a la razón del NP/IR 2021, la UTEA (16), la UC (10,2), la UPC (10,1) y la UPN (10) son las que registran un mayor número de publicaciones por cada investigador Renacyt (Anexo. Tabla b).

2. Escenarios antes y después del “tratamiento”: número de publicaciones e investigadores

La Figura 1 muestra la evolución promedio (arriba) y la mediana (abajo) de las publicaciones según la condición jurídica de la universidad. En 2009, las universidades privadas asociativas lideraron la clasificación con una producción promedio de 11,6 documentos por universidad, mientras que las privadas societarias tenían una producción promedio insignificante, menor a uno (0.7). Este panorama fue cambiando con el devenir de los años. En 2015, las universidades privadas societarias superan por primera vez al promedio de publicaciones de las universidades públicas (14,0 frente a 12,6 publicaciones en promedio). Asimismo, en 2020, las privadas societarias (102,4) superan por primera vez al promedio de las asociativas (81,9). Tomando la mediana como medida robusta ante la alta dispersión del número de publicaciones (Figura 1, abajo), hasta el año 2018, el 50% de las universidades públicas y el 50% de las privadas societarias no llegaban a las 10 publicaciones por año y las publicaciones en los tres últimos años de estas últimas, experimentó un aumento significativo (20; 46 y 143), en comparación con las universidades públicas y las privadas asociativas.

Figura 1. Promedio (arriba) y mediana (abajo) de la evolución de las publicaciones 2009-2021, según condición jurídica de la universidad

Cambios en el número de publicaciones e investigadores Renacyt

La Figura 2 (arriba) presenta la evolución del número de publicaciones en dos períodos según la condición jurídica de las universidades (privada asociativa, pública o privada societaria). Se nota un aumento claro en las publicaciones de todas las universidades en ambos periodos, con una dispersión menor en el primero a diferencia del segundo. Además, hay valores atípicos que indican diferencias significativas en la producción de algunas universidades. La Figura 2 (abajo) ilustra un aumento en el número de investigadores Renacyt en todas las universidades para el 2021 en comparación con 2016. La presencia de valores atípicos y la dispersión en el número de investigadores entre las universidades privadas asociativas y públicas ponen de relieve el papel protagónico de la PUCP y la UNMSM, respectivamente, con cerca de 600 investigadores cada una.

Figura 2. Distribución de las publicaciones 2009-2015 y 2016-2021 (arriba). Distribución de investigadores Renacyt, por condición jurídica de la universidad (abajo)

La tendencia anual de las publicaciones de las universidades licenciadas antes y después de la implementación de la RU muestra un crecimiento importante (Figura 3). Para las universidades públicas (Figuras 3c y 3d), el número de publicaciones pasó de 360 en 2009 a 3643 en 2021, multiplicándose por diez en todo el periodo. En las universidades privadas asociativas (Figuras 3a y 3b), pasó de 324 en 2009 a 2971 en 2021, multiplicándose por nueve. Mientras que las privadas societarias (Figuras 3e y 3f) experimentaron un cambio mayúsculo, el número de publicaciones pasó de 12 en 2009 a 2917 en 2021, incrementándose 243 veces en el período de estudio (debido al poco número de publicaciones iniciales).

Figura 3. Publicaciones por año de universidades licenciadas según condición jurídica y modelos de tendencia (antes y después del “tratamiento”)

Para determinar la tendencia del crecimiento de las publicaciones de las universidades en cada período se usaron modelos de regresión que mejor se ajustan a los datos con el coeficiente de determinación (R2) en cada grupo de universidades (pública, privada asociativa y privada societaria). Se observa una tendencia de crecimiento lineal en el primer período (2009-2015) y una tendencia de crecimiento no lineal cuadrático en el segundo (2015-2021).

Al analizar el comportamiento de las publicaciones de las universidades públicas, la pendiente del modelo lineal (Figura 3c) indica un crecimiento de 33 artículos por año adicional. Sin embargo, después de la implementación de la RU en el segundo periodo, la tendencia de crecimiento se vuelve no lineal (Figura 3d). Esto refleja una tasa de crecimiento mayor en comparación al primer período, además, las publicaciones tuvieron un mayor incremento en los últimos años del período en comparación con los primeros (crecimiento cuadrático). Si hubiera seguido con la tendencia lineal del primer período, la estimación al 2021 sería de 1600 publicaciones menos. Un panorama similar se presenta en las universidades privadas asociativas, la razón de crecimiento lineal por año es de 87 artículos en el primer período (Figura 3a) y el crecimiento en el segundo período sigue un modelo cuadrático (Figura 3b). En las universidades privadas societarias, la pendiente revela un crecimiento de 31 artículos por cada año, algo menor a los crecimientos de los otros grupos de universidades (Figura 3e). Sin embargo, durante el segundo período el crecimiento sigue un modelo cuadrático que representa comparativamente un cambio mayor (Figura 3f). En general, hay cambios significativos en la tendencia en el segundo período con respecto al primero en los tres grupos de universidades.

Estas evidencias no son suficientes para afirmar que la implementación de la RU sea la causa de estos cambios, ya que también debemos considerar que podrían ser el resultado de la historia y la maduración de las universidades. Es decir, podrían existir otros factores (variables) causantes del cambio como por ejemplo el comportamiento de recursos humanos cualificados en etapas más avanzadas de sus carreras, la inversión de cada universidad en sus propias actividades de investigación, en atracción de talento, creación de redes internacionales, mejora de la infraestructura, entre otros.

3. Cambios en los tipos de colaboración geográfica y en el impacto según cuartiles

Colaboración científica

La Figura 4 compara los tipos de colaboración geográfica en los dos periodos de análisis (arriba) y muestra la evolución de la colaboración internacional por tipo de universidad según la condición jurídica (abajo). El porcentaje de publicaciones en colaboración institucional y nacional muestra un ligero incremento frente a la disminución del porcentaje de colaboración internacional en el segundo período (2016-2021) respecto del primero (2009-2015). El incremento en la colaboración nacional expresa mayor flujo de trabajo conjunto entre universidades peruanas en detrimento de las publicaciones con instituciones internacionales. La evolución anual de la colaboración internacional ha sido relativamente similar en los tres grupos de universidades con descensos leves en el segundo periodo y ligeras fluctuaciones de los valores en las universidades privadas asociativas (abajo).

Figura 4. Porcentaje de publicaciones en colaboración institucional, nacional e internacional (arriba).
Evolución de la mediana del porcentaje de publicaciones en colaboración internacional según condición jurídica (abajo)

Publicaciones en revistas clasificadas por cuartil e impacto normalizado

La Figura 5 (superior derecha) muestra el porcentaje de revistas peruanas respecto al total de revistas indexadas en Scopus y el porcentaje de publicaciones de las universidades en revistas nacionales. Los resultados muestran que mientras el porcentaje de revistas peruanas permanece casi constante en ambos periodos (0,2% y 0,3%), se observa una disminución significativa en el porcentaje de trabajos publicados en revistas peruanas durante el segundo periodo (15,6% y 8,7%). Esto denota que existe mayor concentración de la producción peruana en revistas extranjeras. Además, mediante los diagramas de cajas se presentan los cambios del porcentaje de documentos publicados en revistas clasificadas en Q1, Q2, Q3 o Q4. Se observa una disminución de publicaciones en revistas Q1 en el segundo período, favoreciendo el aumento de las publicaciones en revistas Q4. Las publicaciones en revistas Q2 y Q3 se mantuvieron en niveles similares en ambos períodos.

Figura 5. Porcentaje de revistas peruanas con respecto al total de las revistas indexadas en Scopus y porcentaje de publicaciones en revistas peruanas (arriba derecha).
Porcentaje de publicaciones según el cuartil de la revista (arriba). Evolución anual de la mediana de la citación normalizada de las publicaciones (abajo).

La Figura 5 (abajo) muestra la evolución de la citación normalizada de las publicaciones por condición jurídica de la universidad. Este análisis tiene en cuenta las citas recibidas por cada artículo con respecto a la media mundial de los artículos publicados en el mismo año, la misma categoría y tipología documental. Aquellas publicaciones con un valor superior a 1 denotan un mayor impacto que la media mundial, mientras que las que tienen valores por debajo del 1 no la alcanzan. Es otra perspectiva de análisis que detalla no solo la revista de publicación sino el impacto de cada artículo. Se observa que, ningún grupo de universidades supera la media mundial de 1, ni antes ni después de la implementación de la RU. Sin embargo, pese a la reducción de publicaciones en revistas de cuartil 1, las universidades privadas asociativas y societarias experimentaron un ligero aumento con fluctuaciones en su impacto normalizado en el segundo periodo, mientras que las públicas se mantuvieron relativamente estables.

4. Grupo de control

Con el fin de contar con un elemento comparativo más para determinar si la implementación de la RU influyó en el crecimiento del número de las publicaciones, se estableció un “grupo control” externo al sistema universitario, compuesto por los Institutos Públicos de Investigación (IPI), los cuales no estuvieron sujetos a la RU. La Figura 6 muestra claramente una diferencia en la tendencia de crecimiento entre las universidades (grupo experimental) y el grupo de los IPI (grupo control). El crecimiento de los IPI es lineal (R² = 77%), mientras que la tendencia de crecimiento de las universidades es exponencial (R² = 96%).

Figura 6. Tendencia en publicaciones de universidades e Institutos Públicos de Investigación

Discusión y conclusiones

Antes de la implantación de la RU, la producción universitaria peruana se desarrollaba en pocas universidades científicamente consolidadas y geográficamente centradas, mientras que muchas otras universidades apenas registraban publicaciones (Moya-Anegón et al., 2014). En la última década, la investigación científica peruana ha experimentado un aumento notable en el número de documentos registrados en bases de datos internacionales (Moya-Anegón et al., 2019). Estos resultados van en consonancia con este estudio y contribuyen a destacar cambios importantes. Se observa un incremento significativo en el número de universidades con publicaciones en revistas indexadas en Scopus; el 50% de las instituciones pasó de un máximo de 10 documentos a más de 100 en el segundo periodo (2016-2021). Se destaca un crecimiento no lineal, especialmente en las universidades privadas societarias, alcanzando incluso los promedios más altos de publicaciones por universidad en los últimos dos años del período. En cuanto al capital humano investigador, el porcentaje de universidades sin registros en Renacyt se redujo drásticamente del 37% en 2016 al 2% en 2021.

El análisis realizado con el grupo control IPI mantuvo una tendencia similar antes y después de la implementación de la RU en comparación con el cambio de tendencia lineal y no lineal en el crecimiento de las publicaciones de las universidades. Este resultado difiere con el estudio de Osuna, Cruz-Castro y Sanz-Menéndez (2011) que observaron un crecimiento igual o incluso mayor en el número de publicaciones en el grupo de control con respecto al grupo experimental.

Reconocemos la problemática de la atribución causal de los efectos de los sistemas de evaluación, debido a la complejidad de aleatorizar las poblaciones sometidas o no a evaluación (Jiménez-Contreras, Moya-Anegón y López-Cozar, 2003; Osuna, Cruz-Castro y Sanz-Menéndez, 2011; Aagaard y Schneider, 2017). Sin embargo, la tendencia al alza en la producción científica no podría ser resultado sólo de los procesos de maduración e historia del sistema de investigación peruano ya que los cambios en la producción y el registro del personal de investigación fue súbito y exponencial después de la implementación de la RU, rompiendo la tendencia progresiva y estable antes del tratamiento. Estos resultados están en consonancia con el estudio de Millones-Gómez et al. (2021).

La acreditación como investigador Renacyt va asociada a las políticas de FBD: número de publicaciones y cuartil de la revista. En esta ley se introduce la categoría de docente investigador y su reconocimiento con una bonificación especial del 50% de sus haberes totales para el caso de universidades públicas (Ley Universitaria 2014: Art. 86). Por su parte, las universidades privadas han implementado su propio sistema de bonificación pagando una cantidad proporcional a cada investigador por la publicación en revistas de distintos cuartiles (Nieto-Gutierrez et al., 2018; Quiroz-Ávila, 2022). Siguiendo a Hammarfelt y de Rijcke (2015), estos resultados podrían sugerir que se observa un efecto de la implementación de la RU, dado que los avances se ajustan perfectamente al objetivo de los incentivos. Sin embargo, como esta atribución causal puede ser arriesgada, en este estudio solo nos limitamos a reportar los cambios observados.

Con respecto a las estrategias de colaboración, la interacción entre instituciones peruanas ha crecido, en contraste con la colaboración con entidades extranjeras. Tal vez el diseño e implementación de estrategias nacionales para reforzar la cohesión institucional y resolver problemas locales, junto con el fortalecimiento de las alianzas internacionales, podrían explicar estos comportamientos. Otro hallazgo del estudio es que la cantidad de documentos publicados en revistas peruanas y la publicación en revistas Q1 disminuyó después de la implementación de la RU, un fenómeno previamente observado en otros sistemas de evaluación (Butler, 2003). Estos cambios en los patrones de comunicación científica podrían sugerir que los investigadores peruanos prefieren publicar en mayor cantidad, -centrando sus esfuerzos en el “taste for rankings” en vez del “taste for science” (Osterloh y Frey, 2015)-, en vez de incrementar la calidad de la investigación avanzando en el conocimiento para la comunidad científica e incorporando aportes a la sociedad. Sin embargo, la evolución del impacto normalizado a nivel de artículo pone de manifiesto que, aunque con fluctuaciones, el impacto académico ha incrementado ligeramente en las universidades privadas y se ha mantenido relativamente estable en las públicas.

Esta dinámica de crecimiento y sus prácticas científicas asociadas podrían variar tras la aprobación de la nueva Ley N° 31520, denominada “Ley que restablece la autonomía y la institucionalidad de las universidades peruanas” (Ley 31520, 21 de julio de 2022), donde uno de los puntos de discusión es que los representantes de universidades forman parte del directorio de la Sunedu, haciendo a las universidades juez y parte del proceso de supervisión, entre otros aspectos (Crisólogo, Gonzales y Manrique, 2022). Sería recomendable que los políticos y tomadores de decisiones que aplican las reformas analicen el contexto para plantear, formular y aprobar nuevas leyes que contribuyan al desarrollo del país, la mejora de la calidad de la enseñanza, de la investigación y así formar generaciones que tendrán la responsabilidad de contribuir a la solución de los problemas que enfrenta la sociedad peruana.

Los resultados de este estudio proporcionan información relevante para gestores de investigación y de los diferentes niveles de gobierno en la toma de decisiones sobre el reforzamiento, reestructuración o reorientación en las prácticas de investigación, el diseño de agendas de investigación, y/o el sistema de incentivos en la evaluación científica para el avance de las carreras académicas. Si bien muchas reformas de la evaluación científica han sido de gran utilidad para la ciencia y la sociedad, existe una necesidad de actualizarlas y de incorporar la evaluación de esas políticas. Aunque esto no pueda garantizar su éxito, sí que respondería a muchas preguntas sobre el diseño y los efectos de las políticas científicas. La comunidad científica debe esperar que los cambios de esas políticas se basen en la investigación científica y que incluyan mecanismos que permitan a la comunidad comprender el impacto del cambio y acumular conocimientos sobre qué funciona y qué no (Gallegos Ruiz Conejo et al., 2023). Aunque este estudio solo aporta algunas evidencias sobre los cambios después de la RU en las prácticas científicas de las universidades, puede ser un punto de partida para futuros estudios que contribuyan al seguimiento y evaluación de cualquier reforma en este ámbito.

Limitaciones, recomendaciones y futuros estudios

Resulta evidente, por un lado, la carencia de datos sobre los recursos y las actividades de investigación en las universidades peruanas y otras entidades gubernamentales. Por ejemplo, no se dispone de información sobre la financiación de proyectos de investigación, el número de docentes (a tiempo completo y parcial) y el número de docentes con doctorado por año, entre otros indicadores relevantes. En este sentido, se recomienda enfáticamente que el gobierno peruano refuerce la implementación de un sistema nacional de gestión de las actividades de investigación, como PerúCRIS o plataformas equivalentes. Este sistema debería centralizar la información a nivel de institución, autor y financiamiento de proyectos internos y externos en los que participen las universidades. Esta iniciativa no solo promovería la transparencia y el acceso a los datos, sino que también permitiría al país cumplir con sus compromisos en materia de ciencia abierta (Concytec, 2023).

Este estudio no analiza los datos desagregados por área de conocimiento, donde existen prácticas de generación y comunicación científica distintas. Por lo tanto, los resultados deben tomarse con cautela ya que muestran tendencias a gran escala en lugar de un nivel detallado de precisión. Se sugiere que futuros estudios analicen el comportamiento por áreas y universidades para determinar cómo han evolucionado las distintas prácticas científicas en términos de insumos y resultados. Asimismo, se sugiere que los estudios futuros indaguen en las estrategias de colaboración planteadas desde las instituciones de investigación y financiación de la investigación peruana para explicar cómo ha sido la evolución de los tipos de colaboración en cada campo temático y cuáles se han visto más afectados para comprender las razones detrás de la disminución de la colaboración internacional.

El uso del diseño cuasiexperimental con series de tiempo interrumpidas y análisis de regresión está justificado porque no pretendemos atribuir a la RU ningún cambio específico, y el tratamiento de las variables explicativas sería insuficiente. Para el análisis de atribución sería necesario considerar y controlar muchos más factores externos que podrían haber influenciado estos cambios, tales como políticas educativas, tendencias globales en la investigación, diferencias temáticas, etc. Esto podría complementarse con el uso de técnicas estadísticas más avanzadas, como modelos de regresión múltiple, para profundizar en la interacción entre diversas variables influenciadoras. Asimismo, futuros trabajos pueden incorporar más variables explicativas y explorar técnicas estadísticas que puedan ayudar a determinar la atribución de éstas a la RU.

En esta línea, sería recomendable incluir otros indicadores de rendimiento y contexto como las mencionadas anteriormente, considerando un marco de análisis más diverso y plural sobre las actividades y resultados de la investigación que se generan antes y después de cualquier reforma, acorde a cada contexto universitario, teniendo en cuenta aspectos demográficos como sexo, edad académica y categoría científica de los investigadores, en consonancia al uso responsable de métricas (European Commission, 2021). Por ejemplo, conocer distintas estrategias de colaboración entre instituciones y sectores, cuáles son las revistas nacionales e internacionales donde publican los investigadores peruanos, el impacto de la investigación en otras esferas más allá de la comunidad académica, contemplar los resultados a través de la divulgación o innovación y sus impactos en la sociedad y en el sector productivo, o en la formación de personal cualificado en el país, son dimensiones adicionales que podrían enriquecer el análisis. Esto permitiría tener una mejor visión de cómo se está generando la ciencia peruana, qué beneficios aporta y en qué áreas sería necesario reformular políticas y/o incentivos para avanzar en el conocimiento, el desarrollo económico del país y el bienestar de la sociedad. Contar con esta información no solo es necesaria, sino también saludable para los sistemas nacionales de investigación.

Otra línea de investigación potencial sería indagar si este incremento en las publicaciones ha seguido los principios de ética e integridad en la investigación, o si, por el contrario, se han detectado malas prácticas de investigación (por ejemplo, fabricación y/o falsificación de manuscritos, el comercio de autorías, etc.) o patrones anómalos de publicación científica como el caso español (Delgado López-Cózar y Martín-Martín, 2024). Estás prácticas, que conforman el lado oscuro de la comunicación científica, podrían eclipsar consideraciones éticas y morales en la búsqueda prioritaria del aumento en la cantidad de publicaciones (Mayta-Tristán y Borja-García, 2022; Schneider et al., 2023).

Si bien el objetivo primordial de las reformas universitarias es elevar la calidad y la excelencia en los ámbitos de enseñanza, investigación y extensión, considerando las características y necesidades específicas de cada institución y docente, los sistemas de evaluación implementados pueden acarrear consecuencias no deseadas (Elton, 2000; Jabeen, 2016). A pesar de que la mayoría de estas reformas no cuentan con evidencia contundente que respalde su impacto positivo en la mejora de la calidad universitaria en Perú, especialmente debido a la escasez de investigaciones publicadas al respecto (Gallegos Ruiz Conejo et al., 2023), los efectos de la última reforma podrían ser considerablemente mayores y positivos a nivel organizativo si se complementan con iniciativas destinadas a evaluar periódicamente el desempeño de los profesores peruanos. Esto permitiría regular los requisitos en la evaluación del impacto de la investigación y, a su vez, posibilitaría a las universidades realizar un seguimiento exhaustivo del desarrollo de la investigación y su metodología. Esta valiosa información serviría como herramienta de diagnóstico para comprender las prácticas científicas de los investigadores y su repercusión en diversos ámbitos sociales y académicos, permitiendo así plantear estrategias de mejora en el desarrollo de marcos de evaluación centrados en los objetivos científicos del país.

Agradecimientos: A Ricardo Cuenca (ex ministro de Educación), a Gisella Orjeda (ex presidente del Concytec), a Carlos Vílchez-Román y Manuel Etesse (Pontificia Universidad Católica del Perú), a Evaristo Jiménez-Contreras (Universidad de Granada) por la revisión y comentarios importantes al texto preliminar.

Financiamiento: Esta investigación fue apoyada por la Universidad Nacional Mayor de San Marcos con RR N° 005557–2022-R/UNMSM y código de proyecto E22030961 y por el Ministerio de Ciencia e Innovación de España MCIN/ AEI / 10.13039/501100011033 / ERDF, EU, con el proyecto RESPONSIBLE PID2021-128429NB-I00.

Referencias bibliográficas

Aagaard, Kaare y Jesper W. Schneider. 2017. Some considerations about causes and effects in studies of performance-based research funding systems. En Journal of informetrics. Vol.11, no. 3, 923-926. <https://doi.org/10.1016/j.joi.2017.05.018>

Abramo, Giovanni, Ciriaco Andrea D’Angelo y Miroslava Hladchenko. 2023. Assessing the effects of publication requirements for professorship on research performance and publishing behaviour of Ukrainian academics. En Scientometrics. Vol. 128, no. 8, 4589–4609. <https://doi.org/10.1007/s11192-023-04753-y>

Acevedo-Flores, Jessica, John Morillo-Flores, Jaime Tamashiro-Tamashiro y Víctor Mazzi-Huaycucho. 2021. University reform and its impact on scientific production in Peru. En Turismo: Estudos & Práticas. Vol. 1. <https://acortar.link/k1NsUq> [Consulta: 19 agosto 2022].

Achwan, Rochman, Meuthia Ganie-Rochman, Andi Rahman Alamsyah y Lidya Triana. 2020. University reform and the development of social sciences in Indonesia. En International journal of educational development. Vol. 78, 102269. <https://doi.org/10.1016/j.ijedudev.2020.102269>

Aksnes, D. W., Gunar Sivertsen, Ted N. van Leeuwen y Kaja K. Wendt. 2017. Measuring the productivity of national R&D systems: Challenges in cross-national comparisons of R&D input and publication output indicators. En Science and Public Policy. Vol. 44, no. 2, 246–258. <https://doi.org/10.1093/scipol/scw058>

British Council Perú. 2016. La reforma del sistema universitario peruano: internacionalización, avance, retos y oportunidades. <https://acortar.link/JhMnRU> [Consulta: 18 diciembre 2022].

Butler, Linda. 2003. Explaining Australia’s increased share of ISI publications—the effects of a funding formula based on publication counts. En Research policy. Vol. 32, no. 1, 143-155. <https://doi.org/10.1016/s0048-7333(02)00007-0>

Campbell, Donald T. y H. Laurence Ross.1968. The Connecticut crackdown on speeding: Time-series data in quasi-experimental analysis. En Law & society review. Vol. 3, no. 1, 33-54. <https://doi.org/10.2307/3052794>

Casalino Sen, Carlota, José Carlos Rivas Huarcaya y Carla Lucía Toche. 2018. La Reforma Universitaria y el movimiento universitario en el Perú de 1919. Análisis de sus dimensiones institucionales, sociales y políticas. En Estudios. No. 40, 33–55. <https://doi.org/10.31050/re.v0i40.20950>

Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica. 2021a. Glosario de Términos. <https://acortar.link/FKz33N> [Consulta: 6 julio 2024].

Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica. 2021b. Reglamento de Calificación, Clasificación y Registro de los investigadores del Sistema Nacional de Ciencia, Tecnología e Innovación Tecnológica - Reglamento RENACYT. <https://acortar.link/JE0CoS> [Consulta: 18 octubre 2022].

Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica. Concytec. 2023. Ciencia abierta <https://conocimiento.concytec.gob.pe/ciencia-abierta> [Consulta: 12 noviembre 2023].

Checchi, Daniele, Marco Malgarini y Scipione Sarlo. 2018. Do performance-based research funding systems affect research production and impact? En Higher Education Quarterly. Vol. 73, no. 1, 45-69. <https://doi.org/10.1111/hequ.12185>

Crisólogo, Teodoro, Fernando Gonzales y Gonzalo Manrique. 2022. ¿Por qué es necesario continuar con la reforma universitaria? En Boletín de discusión del Instituto Peruano de Economía <https://www.ipe.org.pe/portal/wp-content/uploads/2022/01/Boletin-reforma-universitaria-.pdf> [Consulta: 4 octubre 2023].

Cuenca, Ricardo. 2015. La educación universitaria en el Perú: democracia, expansión y desigualdades. Repositorio Instituto de Estudios Peruanos. <https://acortar.link/7uVDUn> [Consulta: 13 setiembre 2023].

Cuenca, Ricardo y Luciana Reátegui. 2016. La (incumplida) promesa universitaria en el Perú. Repositorio Instituto de Estudios Peruanos. <https://acortar.link/a9km0f> [Consulta: 4 octubre 2022].

Delgado López-Cózar, Emilio y Alberto Martín Martín. 2024. Detectando patrones anómalos de publicación científica en España (II). Las causas: el impacto del sistema de evaluación científica. En Anales de Química de la RSEQ. Vol. 120, no. 2, 67-84. <https://doi.org/10.62534/rseq.aq.1946>

Educación en Red. 2019. SUNEDU ordena el cierre de la Universidad Alas Peruanas - UAP (RES. CD. N°172-2019-SUNEDU/CD). <https://acortar.link/vw7o1n> [ Consulta: 14 abril 2022].

Elton, Lewis. 2000. The UK research assessment exercise: Unintended consequences. En Higher education quarterly. Vol. 54, no. 3, 274-283.
<https://doi.org/10.1111/1468-2273.00160>

Espín, María Augusta, Alexander Amezquita y David Chávez. 2017. Reforma universitaria, investigación y ‘capital académico’ en Ecuador. En Revista Ciencias Sociales. Vol.1, no. 39, 111–126. <https://acortar.link/ZrCMbJ> [Consulta: 6 setiembre 2022].

European Commission, Directorate-General for Research, and Innovation. 2021. Towards a reform of the research assessment system: Scoping report. Publications Office. <https://acortar.link/mXk2Gb> [Consulta: 8 mayo 2023].

Figueiredo Filho, Dalson Britto, Ranulfo Paranhos, Enivaldo C. da Rocha, Mariana Batista, José Alexandre da Silva Jr, Manoel L. Wanderley D. Santos y Jacira Guiro Marino. 2013. When is statistical significance not significant? En Brazilian political science review. Vol.7, no. 1, 31-55. <https://doi.org/10.1590/s1981-38212013000100002>

Gallegos Ruiz Conejo, Ada Lucia, Juan Antonio Bazán, Mauricio Renato Bouroncle Velasquez y Elizabeth Zea Marquina. 2023. Reforma en las leyes universitarias peruanas. En Revista de Ciencias Sociales. Vol. 29, no. 2, 456-470. <https://doi.org/10.31876/rcs.v29i2.39988>

Garfias Dávila, Marcos. 2009. La formación de la universidad moderna en el Perú, San Marcos: 1850-1919. Lima: Universidad Nacional Mayor de San Marcos. <https://acortar.link/jNCOqS> [Consulta: 12 mayo 2022].

Garfias Dávila, Marcos. 2020. Tradiciones en conflicto: el Parlamento peruano y la construcción de la Ley universitaria de 1983. En Revista Argumentos. Vol. 1, no. 1, 81-101. <https://doi.org/10.46476/ra.vi1.25>

Gujarati, Damodar N. y Dawn C. Porter. 2009. Basic Econometrics. Boston: McGraw-Hill Irwin. <https://acortar.link/RmKBeZ> [Consulta: 8 octubre 2022].

Gusenbauer, Michael. 2022. Search where you will find most: Comparing the disciplinary coverage of 56 bibliographic databases. En Scientometrics. Vol. 127, no. 5, 2683–2745. <https://doi.org/10.1007/s11192-022-04289-7>

Hammarfelt, Bjorn y Sara de Rijcke. 2015. Accountability in context: effects of research evaluation systems on publication practices, disciplinary norms, and individual working routines in the faculty of Arts at Uppsala University. En Research evaluation. Vol. 24, no. 1, 63–77. <https://doi.org/10.1093/reseval/rvu029>

Jabeen, Sumera. 2016. Do we really care about unintended outcomes? An analysis of evaluation theory and practice. En Evaluation and program planning. Vol. 55, 144-154. <https://doi.org/10.1016/j.evalprogplan.2015.12.010>

Jiménez-Contreras, Evaristo, Félix de Moya-Anegón y Emilio Delgado López-Cózar. 2003. The evolution of research activity in Spain: The impact of the National Commission for the Evaluation of Research Activity (CNEAI). En Research policy. Vol. 32, no. 1, 123-142. <https://doi.org/10.1016/s0048-7333(02)00008-2>

Kalpazidou Schmidt, Evanthia. 2012. University funding reforms in the Nordic Countries. <https://acortar.link/ldy7V7> [Consulta: 4 julio 2024].

Limaymanta, Cesar H., Hilda Zulueta-Rafael, Cristina Restrepo-Arango y Patricio Alvarez-Muñoz. 2020. Análisis bibliométrico y cienciométrico de la producción científica de Perú y Ecuador desde Web of Science (2009-2018). En Información, cultura y sociedad. No. 43, 31-52. <https://doi.org/10.34096/ics.i43.7926>

Mathies, Charles, Jussi Kivistö y Matthew Birnbaum. 2019. Following the money? Performance-based funding and the changing publication patterns of Finnish academics. En Higher education. Vol. 79, no. 1, 21-37. <https://doi.org/10.1007/s10734-019-00394-4>

Mayta-Tristán, Percy y Rubén Borja-García. 2022. Malas prácticas en investigación: las fábricas de manuscritos en Perú. En Revista peruana de medicina experimental y salud pública. Vol. 30, no. 1. <https://doi.org/10.17843/rpmesp.2022.394.12473>

Millones-Gómez, Pablo Alejandro, Judith Soledad Yangali-Vicente, Claudia Milagros Arispe-Alburqueque, Oriana Rivera-Lozada, Kriss Melody Calla-Vásquez, Roger Damaso Calla-Poma, Margarita Fe Requena-Mendizábal y Carlos Minchón-Medina. 2021. Research policies and scientific production: A study of 94 Peruvian universities. En PLoS ONE. Vol. 16, no. 5, e0252410. <https://doi.org/10.1371/journal.pone.0252410>

Mongeon, Philippe y Adele Paul-Hus. 2016. The journal coverage of Web of Science and Scopus: a comparative analysis. En Scientometrics. Vol. 106, no. 1, 213-228. <https://doi.org/10.1007/s11192-015-1765-5>

Moya-Anegón, Félix de, Atilio Bustos-González, Zaida Chinchilla-Rodríguez, Elena Corera-Álvarez, Carmen López-Illescas y Benjamín Vargas-Quesada. 2014. Principales indicadores bibliométricos de la actividad científica peruana, 2006-2011. Lima: Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica – Concytec. <http://hdl.handle.net/10261/104704> [Consulta: 27 junio 2022].

Moya-Anegón, Félix de, dir. y Estefanía Herrán-Páez, coord. 2019. Principales indicadores bibliométricos de la actividad científica peruana, 2012-2017. Lima: Consejo Nacional de Ciencia, Tecnología e Innovación Tecnológica - Concytec. No. 05. <https://portal.concytec.gob.pe/images/publicaciones/informes/Principales_indicadores_bibliomtricos_de_la_actividad_cientfica_peruana_SCIMAGO.pdf > [Consulta: 3 julio 2022].

Nieto-Gutierrez, Wendy, José Ernesto Fernández-Chinguel, Alvaro Taype-Rondan, Josmel Pacheco-Mendoza y Percy Mayta-Tristán. 2018. Incentivos por publicación científica en universidades peruanas que cuentan con escuelas de medicina, 2017. En Revista peruana de medicina experimental y salud pública. Vol. 35, no. 2, 353-356. <https://doi.org/10.17843/rpmesp.2018.352.3327>

Osterloh, Margit y Bruno S. Frey. 2015. Ranking games. En Evaluation review. Vol. 39, no. 1, 102-129. <https://doi.org/10.1177/0193841x14524957>

Osuna, Carmen, Laura Cruz-Castro y Luis Sanz-Menéndez. 2011. Overturning some assumptions about the effects of evaluation systems on publication performance. En Scientometrics. Vol. 86, no. 3, 575-592. <https://doi.org/10.1007/s11192-010-0312-7>

Perú. 2014. Ley 30220. Ley Universitaria. En Diario Oficial El Peruano. <https://www.gob.pe/institucion/minedu/normas-legales/118482-30220> [Consulta: 8 abril 2022].

Perú. 2022. Ley 31520. Ley que restablece la autonomía y la institucionalidad de las universidades peruanas. En Diario Oficial El Peruano. <https://busquedas.elperuano.pe/dispositivo/NL/2088561-1> [Consulta: 14 mayo 2023].

Quiroz-Ávila, Rubén. 2022. La ruta para hacer dinero con los papers. En Diario oficial del Bicentenario. El Peruano. <https://acortar.link/IgJqlo> [Consulta: 15 setiembre 2023].

Rudolf-Macció, Susana. 2008. La nueva reforma universitaria y la investigación científica en la psicología uruguaya. En Interamerican Journal of Psychology. Vol. 42, no. 3, 481-486. <https://acortar.link/YJXQ4U> [Consulta: 23 mayo 2022].

Shadish, William R., Thomas D. Cook y Donald T. Campbell. 2002. Experimental and quasi-experimental designs for generalized causal inference. Boston: Houghton Mifflin Company. <https://iaes.cgiar.org/sites/default/files/pdf/147.pdf>[Consulta: 8 junio 2022].

Schneider, Jesper W., Kaare Aagaard y Carter W. Bloch. 2016. What happens when national research funding is linked to differentiated publication counts? A comparison of the Australian and Norwegian publication-based funding models. En Research evaluation. Vol. 25, no. 3, 244-256. <https://doi.org/10.1093/reseval/rvv036>

Schneider, Jesper W., Nick Allum, Jens Peter Andersen, Michael Bang Petersen, Niels Mejlgaard y Robert Zachariae. 2023. Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research. En MetaArXiv Preprints. <https://doi.org/10.31222/osf.io/r6j3z>

Shumway, Robert H. y David S. Stoffer. 2017. Time series regression and exploratory data analysis. En Time Series Analysis and Its Applications. p. 45–74. (Springer Texts in Statistics) <https://acortar.link/JkRcfn> [Consulta: 12 diciembre 2022].

Superintendencia Nacional de Educación Superior Universitaria SUNEDU. 2015. El Modelo de Licenciamiento y su Implementación en el Sistema Universitario Peruano. Lima: Sunedu. <https://acortar.link/87G6CW> [ Consulta: 16 abril 2022].

Superintendencia Nacional de Educación Superior Universitaria SUNEDU. 2021a. III Informe Bienal sobre la Realidad Universitaria. Lima: Sunedu. <https://acortar.link/r8TmEd> [Consulta: 14 agosto 2022].

Superintendencia Nacional de Educación Superior Universitaria SUNEDU. 2021b. Condiciones Básicas de Calidad. <https://www.sunedu.gob.pe/8-condiciones-basicas-de-calidad> [Consulta: 17 diciembre 2022].

Turpo-Gebera, Osbaldo, César H. Limaymanta y Elías Sanz-Casado. 2021. Producción científica y tecnológica de Perú en el contexto sudamericano: un análisis cienciométrico. En El profesional de la información. Vol. 30, no. 5. <https://doi.org/10.3145/epi.2021.sep.15>

TV Perú. 2022. Sucedió en el Perú: Nuestras reformas universitarias. <https://acortar.link/idKU1E> [Consulta: 30 diciembre 2022].

Van den Besselaar, Peter, Ulf Heyman y Ulf Sandström. 2017. Perverse effects of output-based research funding? Butler’s Australian case revisited. En Journal of informetrics. Vol. 11, no. 3, 905-918. <https://doi.org/10.1016/j.joi.2017.05.016>

Velásquez Benites, Orlando, Ada Gallegos Ruiz Conejo, Cecilia Abensur Pinasco, Renata Teodori de la Puente y Juan Norabuena Castañeda. 2022. El licenciamiento: contrarreforma y camino a la supresión de la libertad en la universidad peruana. En Universidad y Sociedad. Vol. 14, no. 1, 137-147. <https://rus.ucf.edu.cu/index.php/rus/article/view/2543> [Consulta: 13 enero 2023].

Wooldridge, Jeffrey. 2015. Introductory Econometrics: A Modern Approach. Mason: Cengage Learning Custom Publishing. <https://acortar.link/x5iZQ> [Consulta: 14 agosto 2022].

Yap, B. W. y C. H. Sim. 2011. Comparisons of various types of normality tests. En Journal of statistical computation and simulation. Vol 81, no. 12, 2141-2155. <https://doi.org/10.1080/00949655.2010.520163>

Zacharewicz, Thomas, Benedetto Lepori, Emanuela Reale y Koen Jonkers. 2019. Performance-based research funding in EU Member States—a comparative assessment. En Science and Public Policy. Vol. 46, no. 1, 105-115. <https://doi.org/10.1093/scipol/scy041>

ANEXO

Tabla a. Siglas de las 92 universidades licenciadas.

Tabla b. Distribución de las 92 universidades por número de publicaciones 2009-2021.

Nota: NP: número de publicaciones, IR: investigadores Renacyt; VR: variación relativa