Transforming scientific evaluation in Science, Technology and Innovation (STI) policies in Latin America and the Caribbean. A study from altmetrics
Abstract
This article presents the meanings that a group of international experts attribute to altmetrics as instruments of scientific evaluation and components of a future Science, Technology and Innovation (STI) Policy in Latin America. A descriptive qualitative methodology is applied and information is collected through semi-structured interviews with researchers from Chile, Argentina, Peru, Colombia, Spain, and the United States; experts in altmetrics; information metrics and/or information policies. The results show that altmetrics strengthen their value when analyzed together with other indicators, since they do not measure the impact or quality of research on their own, but provide novel and relevant data of rapid accumulation, broad disciplinary scope and diverse origin, promoting the use of new channels of scientific communication. Some of the most useful altmetrics indicators are the mentions to public policies, invention patents, and social platforms of high use in the region, such as Facebook, Twitter, and Mendeley; indicators of linkage with the environment, peer review, and other qualitative criteria are also relevant. It is recommended to integrate quantitative and qualitative criteria into Latin American STI policies, which should also be adjusted to local realities and budgets.Downloads
References
Aguado López, Eduardo, Arianna Becerril García y Luis Brito Cruz. 2014. Indicadores alternativos para el análisis cienciométrico de la actividad científica y tecnológica a partir de Redalyc.org: el caso de México. En Dutrénit, Gabriela y Patricia Zúñiga-Bello, ed. Taller sobre Indicadores en Ciencia y Tecnología en Latinoamérica. México, D.F.: Foro Consultivo Científico y Tecnológico, AC. p. 55-64.<http://www.foroconsultivo.org.mx/libros_editados/taller_sobre_indicadores_en_ciencia_y_tecnologia_en_latinoamerica.pdf> [Consulta: 20 octubre 2020].
Aguillo, Isidro. 2016. Informetría para Bibliotecarios: Descripción de su papel clave en los procesos de evaluación. En El profesional de la información. Vol. 25, no. 1, 5-10. <http://dx.doi.org/10.3145/epi.2016.ene.01>
Albornoz, Mario. 2009. Desarrollo y políticas públicas en ciencia y tecnología en América Latina. En RIPS. Revista de Investigaciones Políticas y Sociológicas. Vol. 8, no. 1, 65-75.<https://www.redalyc.org/pdf/380/38011446006.pdf> [Consulta: 29 septiembre 2021].
Alonso-Arévalo, Julio. 2016. Altmetrics pueden no seguir siendo alternativa por mucho tiempo. En ORL. Vol. 7, no. 3, 169-177. <https://doi.org/10.14201/orl201673.14190>
Alperin, Juan Pablo. 2015. The Public Impact of Latin America’s Approach to Open Access. California: Stanford University, 2015. 134 p. Tesis de doctorado. <https://stacks.stanford.edu/file/druid:jr256tk1194/AlperinDissertationFinalPublicImpact-augmented.pdf>
Arencibia, Ricardo y Félix de Moya Anegón. 2008. La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. En ACIMED. Vol. 17, no. 4, 1-27. <http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000400004>[Consulta: 20 octubre 2020].
Barros, Moreno. 2015. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. En Perspectivas em Ciência da Informação. Vol. 20, no. 2,19-37. <http://dx.doi.org/10.1590/1981-5344/1782>
Beigel, Fernanda y Osvaldo Gallardo. 2021. Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. En Revista Iberoamericana de Ciencia, Tecnología y Sociedad. Vol. 16, no. 46, 41-71.<http://ojs.revistacts.net/index.php/CTS/article/view/211>
Borrego, Ángel. 2014. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. En El profesional de la información. Vol. 23, no. 4, 352-357. <https://doi.org/10.3145/epi.2014.jul.02>
Bortagaray, Isabel. 2016. Políticas de Ciencia, Tecnología, e Innovación Sustentable e Inclusiva en América Latina. París, Montevideo: UNESCO.
Comisión Económica para América Latina y el Caribe (CEPAL). 2010. Innovar para crecer. Desafíos y oportunidades para el desarrollo sostenible e inclusivo en Iberoamérica. Santiago: Naciones Unidas. <https://repositorio.cepal.org/bitstream/handle/11362/21494/lcg2443.pdf?sequence=1&isAllowed=y>
Corrales-Reyes, Ibraín, Yasmnay Fornaris-Ceden~o, Juan Reyes-Pe´rez y Leonardo Valde´s-Gamboa. 2017. Aproximación cienciométrica a la producción científica de Medisur. En Medisur. Vol. 15, no. 5, 640-646. <http://www.medisur.sld.cu/index.php/medisur/article/view/3554/2409> [Consulta: 27 octubre 2020].
Costa, Heloisa, Márcio Matias y Rosângela Schwarz Rodrigues. 2017. Institutos Nacionales de Ciencia y Tecnología del área de Ciencias Agrarias: estudio de la publicación científica, técnica y tecnológica (2013-2015). En Biblios: Revista de Bibliotecología y Ciencias de la Información. No. 68, 1-20.<https://doi.org/10.5195/biblios.2017.390>
De Volder, Carolina. 2016. Métricas alternativas: ¿Una nueva forma de medir el impacto científico? En Épocas Revista de ciencias sociales y crítica cultural. Vol. 3. <http://eprints.rclis.org/38818/1/metricas.pdf> [Consulta: 11 noviembre 2020].
Donato, Helena. 2014. Traditional and alternative metrics: the full story of impact. En Revista Portuguesa de Pneumologia. Vol. 20, no. 1, 1-2. <http://dx.doi.org/10.1016/j.rppneu.2013.11.001>
Dutrénit, Gabriela. 2019. La construcción de políticas públicas en ciencia, tecnología e innovación. En Ciencia. Vol. 70, no. 2, 50-57. <https://www.amc.edu.mx/revistaciencia/images/revista/70_2/PDF/09_70_2_1173_RetosPoliticasPublicas.pdf>[Consulta: 11 noviembre 2020].
Gómez, Isabel. 2007. Reseña de The Hand of Science. Academic writing and its rewards. En Revista Española de Documentación Científica. Vol. 30, no. 1, 127-129.<http://redc.revistas.csic.es/index.php/redc/article/view/373/378>[Consulta: 10 de septiembre 2020].
Gouveia, Fabio Castro. 2013. Altmetria: métricas de produção científica para além das citações. En Liinc em Revista. Vol. 9, no. 1, 214-227.<https://doi.org/10.18617/liinc.v9i1.569>
Haustein, Stefanie, Timothy Bowman y Rodrigo Costas. 2015. Interpreting “altmetrics”: viewing acts on social media through the lens of citation and social theories. En Sugimoto, Cassidy R, ed. Theories of Informetrics and Scholarly Communication. Berlín: De Gruyter, p. 1-24. <https://arxiv.org/pdf/1502.05701.pdf>[Consulta: 11 enero 2021].
Herrera, Amílcar O. 1995. Los determinantes sociales de la política científica en América Latina. Política científica explícita y política científica implícita. En Redes. Vol. 2, no. 5, 117-131. <https://www.redalyc.org/pdf/907/90711276005.pdf>[Consulta: 29 septiembre 2021].
Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke e Ismael Rafols. 2015. Bibliometrics: The Leiden Manifesto for research metrics. En Nature. Vol. 520, no. 7548, 429–431.<https://doi.org/10.1038/520429a>
Kreimer, Pablo y Juan Pablo Zabala. 2006. ¿Qué conocimiento y para quién? Problemas sociales, producción y uso social de conocimientos científicos sobre la enfermedad de Chagas en Argentina. En Redes. Vol. 12, no. 23, 49-78. <https://ridaa.unq.edu.ar/bitstream/handle/20.500.11807/612/02R2006v12n23.pdf?sequence=1&isAllowed=y>[Consulta: 10 septiembre 2020].
Lin, Jennifer y Martin Fenner. 2013. Altmetrics in Evolution: Defining and Redefining the Ontology of Article-Level Metrics. En Information Standards Quarterly. Vol. 25, no. 2, 20-26. <https://www.niso.org/sites/default/files/stories/2017-08/IP_Lin_Fenner_PLOS_altmetrics_isqv25no2.pdf> [Consulta: 10 septiembre 2020].
López Yepes, José. 2004. Características de la Documentación y su reflejo en la formación de los profesionales e investigadores de la disciplina. En Actas do Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas. No. 8. <https://www.bad.pt/publicacoes/index.php/congressosbad/article/view/676> [Consulta: 10 septiembre 2020].
Loray, Romina. 2017. Políticas públicas en ciencia, tecnología e innovación: tendencias regionales y espacios de convergencia. En Revista de Estudios Sociales. No. 62, 68-80. <https://dx.doi.org/10.7440/res62.2017.07>
Maricato, João de Melo y Dalton Lopes Martins. 2017. Altmetria: complexidades, desafios e novas formas de mensurac¸a~o e compreensa~o da comunicac¸a~o cienti´fica na web social. En Biblios: Revista de Bibliotecología y Ciencias de la Información. No. 68, 49-68. <https://doi.org/10.5195/biblios.2017.358>
Martínez-Salgado, Carolina. 2012. El muestreo en investigación cualitativa: principios básicos y algunas controversias. En Ciência & Saúde Coletiva. Vol. 17, no. 3, 613-619. <https://www.redalyc.org/articulo.oa?id=63023334008>[Consulta: 29 septiembre 2021].
Mas-Bleda, Amalia e Isidro F. Aguillo. 2015. La web social como nuevo medio de comunicación y evaluación científica. Barcelona: Editorial UOC. <http://reader.digitalbooks.pro/book/preview/41040/WebSocial_EPUB-2?1597170304401> [Consulta: 5 agosto 2021].
Moreno Gálvez, Francisco Javier. 2016. Contradicción y crisis en el capitalismo cognitivo. En Chasqui. Revista Latinoamericana de Comunicación. No. 133, 101-111.<https://revistachasqui.org/index.php/chasqui/article/view/3001/2824> [Consulta: 28 noviembre 2020].
Nascimento, Andrea Ferreira Gonçalves Do y Nanci Elizabeth Oddone. 2016. Métricas alternativas para a avaliação da produção científica: a altmetria e seu uso pelos bibliotecários. Trabajo presentado al XVII Encontro Nacional de Pesquisa em Ciência da Informação, realizado en Río de Janeiro del 20 al 25 de noviembre de 2016. <http://200.20.0.78/repositorios/bitstream/handle/123456789/3541/2016_GT7-CO_12.pdf?sequence=1>
Nassi-Caló, Lilian. 2017. Evaluation metrics in science: current status and prospects. En Revista Latino-Americana de Enfermagem. Vol. 25. <https://doi.org/10.1590/1518-8345.0000.2865>
Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad de la OEI (OCTS) y Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). 2017. Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. <http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf> [Consulta: 27 septiembre 2020].
Ortiz Torres, Emilio Alberto. 2015. La evaluación del impacto científico en las investigaciones educativas a través de un estudio de caso. En Revista Electrónica de Investigación Educativa. Vol. 17, no. 2, 89-100. <http://www.scielo.org.mx/pdf/redie/v17n2/v17n2a7.pdf> [Consulta: 15 septiembre 2020].
Pérez-Angón, Miguel Ángel. 2006. Usos y abusos de la cienciometría. En Cinvestav. Vol. 25, no. 1, 29-33. <https://studylib.es/doc/7261998/usos-y-abusos-de-la-cienciometr%C3%ADa> [Consulta: 05 de agosto 2020].
Piwowar, Heather. 2013. Introduction altmetrics: What, why and where? En Bulletin of the American Society for Information Science and Technology. Vol. 39, no. 4, 8-9. <https://doi.org/10.1002/bult.2013.1720390404>
Priem, Jason, Paul Groth y Dario Taraborelli. 2012. The Altmetrics Collection. En PLos ONE. Vol. 7, no. 11. <https://doi.org/10.1371/journal.pone.0048753>
Priem, Jason y Bradley Hemminger. 2010. Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. En First Monday. Vol. 15, no. 7. <https://firstmonday.org/ojs/index.php/fm/article/view/2874/2570> [Consulta: 12 noviembre 2020].
Puentes-Cala, Mauricio. 2019. Bases de datos con ánimo de lucro y la mercantilización de las publicaciones científicas. Colombia, una vía de entrada. En E- Ciencias de la información. Vol. 9, no. 2, 1-21. <http://dx.doi.org/10.15517/eci.v9i2.37498>
Rousseau, Ronald y Y. Ye Fred. 2013. A multi-metric approach for research evaluation. En Chinese Science Bulletin. Vol. 58, no. 26, 3288-3290. <https://doi.org/10.1007/s11434-013-5939-3>
Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. En BMJ. Vol. 314, 498-502. <https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/pdf/9056804.pdf> [Consulta: 11 agosto 2020].
Shaikh, Abdul Rahman y Hamed Alhoori. 2019. Predicting patent citations to measure economic impact of scholarly research. En ACM/IEEE Joint Conference on Digital Libraries (JCDL). 400-401. <https://doi.org/10.1109/JCDL.2019.00089>
Shapin, Steven. 1979. Reseña de General - Science, Technology and Society: A Cross-Disciplinary Perspective. Editado por Ina Spiegel-Rösing and Derek de Solla Price. London and Beverly Hills: Sage, xi 607. En The British Journal for the History of Science. Vol. 12, no. 1, 90-91. <https://doi.org/10.1017/S0007087400016861>
Smith, Adrian, Jan-Peter Voss y John Grin. 2010. Innovation studies and sustainability transitions: The allure of the multi-level perspective and its challenges. En Research Policy. Vol. 39, no. 4, 435-448. <https://doi.org/10.1016/j.respol.2010.01.023>
Thelwall, Mike y Kayvan Kousha. 2015. Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. En Profesional De La Información. Vol. 24, no. 5, 587-606. <https://doi.org/10.3145/epi.2015.sep.08>
Torres-Salinas, Daniel y Álvaro Cabezas-Clavijo. 2013. Altmetrics: no todo lo que se puede contar, cuenta. En Anuario Think EPI, El profesional de la Información. Vol. 7, 114-117. <https://digibug.ugr.es/handle/10481/26361> [Consulta: 22 enero 2021].
United Nations. 2012. UN System Task Team on the Post-2015 UN Development Agenda. <https://sustainabledevelopment.un.org/post2015/index.php?page=view&type=400&nr=843&menu=35> [Consulta: 10 septiembre 2020].
Vélez-Cuartas, Gabriel, Alejandro Uribe-Tirado, Diego Restrepo-Quintero, Jaider Ochoa-Gutiérrez, César Pallares, Huber Gómez-Molina, Marcela Suárez-Tamayo y Julián Calle. 2019. Hacia un modelo de medición de la ciencia desde el Sur-Global: métricas responsables. En Palabra Clave. Vol. 8, no.2.<https://doi.org/10.24215/18539912e068>
Viales Hurtado, Ronny José. 2016. Los elementos básicos para la formulación de políticas científicas, tecnológicas y de innovación para la cohesión social. Una visión CTS. En Revista de Ciencias Sociales. No. 153, 101-120. <https://dialnet.unirioja.es/servlet/articulo?codigo=5879688> [Consulta: 10 Febrero 2020].
Copyright (c) 2021 Información, cultura y sociedad
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Authors publishing in this journal acknowledge the conditions below:
- Authors retain the copyright of their work while they transfer the right of the first publishing to the journal, under the Creative Commons Attribution-ShareAlike 4.0 International (CC BY-SA 4.0) Licence, which allows third parties to reproduce them under the condition that express mention is given to the author and to its original publication in the journal.
- Authors may enter into other contractual and independent arrangements for the non-exclusive distribution of the version of the article published in this journal (for instance, it can be published in an institutional repository or in a book). In any case, an express mention should be given to its first publication in the journal.
- It is permitted and encouraged to publish online the articles (for example, on institutional or personal pages).
