1. Introducción

La ciencia y la tecnología desempeñan un papel primordial en el desarrollo económico, político y cultural de un país, lo que demanda el constante fortalecimiento de los lineamientos que permiten el avance, sostenibilidad y efectividad de la investigación científica. En este contexto, las disciplinas métricas de información desarrollan indicadores cuya función es clave en la gestión de políticas científicas y tecnológicas, en los procesos de toma de decisiones estratégicas y, por consiguiente, en la evaluación científica (Arencibia y de Moya Anegón, 2008), los cuales también permiten analizar toda actividad relativa al I+D+i (Investigación, Desarrollo e Innovación), incluyendo la generación, difusión, transmisión, aplicación y evaluación de los conocimientos científicos y tecnológicos (Mas-Bleda y Aguillo, 2015).

La producción científica a nivel mundial se comunica a través de revistas científicas cuya visibilidad depende de los índices en que se encuentran aceptadas, y particular reputación gozan aquellas publicaciones indexadas en bases de datos de corriente principal, como Web of Science (WoS) y Scopus. Ambas plataformas conforman un duopolio que concentra el conocimiento científico y también muchos de los indicadores de medición de la productividad que se utilizan para evaluar la calidad e impacto de la ciencia. Por lo mismo, han sido objeto de crítica bajo argumentos que apuntan a los altos sesgos que poseen, al lento proceso de recogida de datos, a su carácter privativo (limitaciones de acceso), a la priorización de la productividad científica por sobre la calidad del contenido de la investigación (Nassi-Caló, 2017) y al uso incorrecto de éstos mismos debido a sus errores de juicio (Seglen, 1997). Además, los indicadores basados en el recuento de citas se consideran limitados por su alcance disciplinar e idiomático, por el valor de las autocitas y por las tipologías de artículos científicos existentes.

Lo mismo sucede con el Factor de Impacto y el Índice H, ya que su cálculo variable anualmente posibilita la manipulación de datos para aumentar un valor que no es relacional a la calidad científica, sino que posibilita sólo una mayor visibilidad en cuanto a su valor final, influencia y repercusión (Corrales-Reyes et al., 2017). Sus valores absolutos alcanzan pleno significado sólo en comparación con otros, ya que los números por sí solos no son un aporte real y el uso excesivo de estos indicadores genera poca cobertura disciplinar en los índices de citación, una variación anual de los factores de impacto de las revistas y respalda una baja visibilidad de publicaciones de calidad (especialmente en áreas como matemáticas, ciencias sociales y humanidades) que no se encuentran en los índices internacionales (Pérez-Angón, 2006). Vélez-Cuartas et al., (2019) agregan que el problema de los indicadores de evaluación científica no está asociado al grado de objetividad del resultado métrico en sí mismo, sino que recae en el procedimiento para determinar jerarquías y prestigios dentro de éstos mismos instrumentos en función de la visibilidad científica. Advierten también que esta situación permea los mecanismos de valoración del conocimiento, ya que la producción científica más válida no está basada en criterios de evaluación de la calidad del trabajo presentado, sino en indicadores condicionados por la cantidad de citas, la visibilidad y la cuantificación. Por lo tanto, los resultados científicos deben cumplir con una función social y ser divulgados a otros profesionales a través de distintos medios de difusión (Ortiz Torres, 2015).

En respuesta a estas discusiones, surge el Manifiesto de Leiden¹ (Hicks et al., 2015) y la Declaración de San Francisco DORA (2012)², documentos que entregan directrices para el uso transparente y abierto de los indicadores de evaluación científica y que promueven el uso de métricas alternativas o altmetrics, las cuales permiten analizar el impacto y la visibilidad de la actividad científica en la web social (Priem y Hemminger, 2010; De Volder, 2016).

Tomando como base la importancia que tiene la participación de la sociedad en esta discusión y en el proceso de creación de políticas científicas que consideren nuevas y mejores métricas, la presente investigación tiene como objetivo conocer los significados que un grupo de expertos (profesionales de la información con experiencia en investigación, estudios métricos y políticas científicas) atribuye a las altmetrics, como instrumentos de evaluación científica dentro de una política regional latinoamericana. A través de sus opiniones se caracterizarán las altmetrics como instrumentos de evaluación de la calidad científica dentro de una política de Ciencia, Tecnología e Innovación (CTI), se propondrán mecanismos de mejoramiento a las métricas alternativas y se determinarán cuáles son los indicadores altmétricos más adecuados para enriquecer el proceso de evaluación de la ciencia.

1.1. Altmetrics y evaluación científica

Priem y Hemminger (2010) vinculan las herramientas de la web social con las disciplinas métricas de información y proponen en primera instancia el término Scientometrics 2.0, para denominar lo posteriormente llamarían altmetrics. Más adelante, Gouveia (2013) define a la altmetría como el uso de datos webométricos y cibermétricos en estudios cienciométricos, estableciendo una relación entre dichas áreas, tal como lo estipulan Priem, Groth y Taraborelli (2012), quienes aseguran que la altmetría puede considerarse un subconjunto de la cienciometría y la webmetría, ya que ambas se centran en medir el impacto científico y académico utilizando insumos del entorno digital. Rousseau y Fred (2013), critican el término y proponen reemplazarlo por influmetría, ya que es una disciplina capaz de rastrear la influencia académica y científica para medirla y evaluarla en nuevos ambientes.

En resumidas cuentas, actualmente las altmetrics vinculan la publicación, difusión y validación de la investigación científica en medios sociales y tecnológicos (Nascimento y Oddone, 2016), ya que buscan estudiar y medir el impacto académico, basándose en la actividad que genera la ciencia en entornos en línea (Priem, Groth y Taraborelli, 2012). Alperin (2015) agrega que este tipo de métricas son una extensión de la bibliometría tradicional, cuyo propósito es detectar el impacto de los resultados de una investigación fuera de la academia, caracterizando, por ejemplo, el impacto de un trabajo influyente pero no citado y el impacto de fuentes que no han sido revisadas por pares.

Según Barros (2015), las altmetrics buscan así conocer las características de la comunicación científica, a través de los datos de la web (volumen de tweets, me gusta, favoritos, comentarios en blogs, noticias, menciones en políticas y en redes sociales académicas, etc.) y herramientas web (redes sociales, sistemas de marcadores sociales y gestores de referencias bibliográficas). Por tanto, la comunicación científica se configura entonces como el área principal y fundacional de las altmetrics (Haustein, Bowman y Costas, 2015), ya que son métricas que capturan una noción de impacto más matizada, debido a que los productos académicos se leen, discuten, guardan, recomiendan y citan, entregando indicaciones de impactos en diversas audiencias no limitantes a la academia (Piwowar, 2013).

Desde una óptica más taxonómica, Lin y Fenner (2013) clasifican las altmetrics en cinco categorías de acuerdo al grado de interés que presentan los usuarios: número de consultas (artículos científicos); número de descargas de artículos científicos en marcadores sociales (como CiteUlike) y en gestores de referencias bibliográficas (como Mendeley); número de comentarios en redes sociales (páginas web de revistas, blogs de contenidos científicos, Twitter, Facebook, etc.); número de recomendaciones en bases de datos (como Faculty of 1000); y citas en nuevos documentos (reflejan el impacto de un artículo en la comunidad científica). Sin embargo, Aguillo (2016), basándose en la naturaleza variable de las altmetrics, sus alcances y la importancia de las acciones de los investigadores para promover sus trabajos en la web, advierte que los índices compuestos (Researchgate score y Altmetric donut) y las variables de autopromoción (número de ítems publicados por autores: tweets, presentaciones, documentos indexados) deben ser descartados a favor de las métricas relacionadas con el impacto: lectores, citas en ResearchGate, descargas, retuits y menciones.

Cabe mencionar que el desarrollo de las altmetrics no ha estado exento de críticas y debates en torno a las ventajas y desventajas que presentan desde el punto de vista conceptual y práctico. Respecto a las ventajas, Priem y Hemminger (2010), Moreno Gálvez (2016) y Borrego (2014) coinciden en que la velocidad de acumulación para evaluar la producción científica es una gran fortaleza, ya que éstas se acumulan inclusive en días o semanas, en lugar de los años que requieren las citas, lo que resulta particularmente útil para la comprensión de las audiencias, del aumento del ritmo investigativo, de la comunicación científica y del impacto (Gómez, 2007), que no solo proporciona un carácter científico, sino también uno social de la investigación, en la medida en que ésta tenga una amplia repercusión en los nuevos medios como blogs, prensa y redes sociales (Alonso-Arévalo, 2016). Por lo demás, miden otros productos de investigación como libros, presentaciones, capítulos y páginas web, lo que significa un campo emergente y de gran alcance para las altmetrics en cuanto a la evaluación del impacto de la investigación en cualquier formato. Se sitúan así, como una alternativa o un complemento a los indicadores bibliométricos y cienciométricos.

En cuanto a las desventajas, Maricato y Martins (2017) argumentan que plantear la altmetría como una alternativa a las métricas tradicionales es una estrategia incorrecta, ya que minimiza las contribuciones de áreas conjuntas y niega sus desarrollos importantes, por lo que una visión holística y total sería más efectiva para el avance de todas éstas. Misma postura es reforzada por Donato (2014), quien estima que las altmetrics pueden ayudar a complementar brechas que no están dentro del alcance de los indicadores tradicionales, pero que no tiene sentido reemplazarlos por indicadores alternativos debido a su funcionalidad.

Por consiguiente, la significación conceptual y práctica de las altmetrics se relaciona mayormente con la complementariedad que éstas poseen al vincularse con los indicadores tradicionales de evaluación científica. Sin embargo, la relación existente con las disciplinas métricas de información es aún un debate controvertido, ya que si bien poseen similitudes en cuanto a principios disciplinares, contemplan diferencias en cuanto a las herramientas utilizadas para el cosechamiento y análisis de datos, la metodología de trabajo, las tipologías de usuarios, los objetivos conceptuales y la significación del impacto. Aun así, se señala la altmetría como instrumento viable y estratégico, que contempla un quehacer amplio.

A pesar de esto, es nula la relación entre políticas de evaluación científica e indicadores alternativos de información, área poco explorada, ya que las políticas en materia científica y tecnológica se encuentran mayormente relacionadas con los indicadores tradicionales de evaluación científica, lo que supone una deuda teórica y conceptual.

1.2. Políticas de evaluación científica

La ciencia, tecnología e innovación (CTI) se han constituido como motores indiscutibles de crecimiento y desarrollo, y a su vez, en pilares esenciales para un progreso social inclusivo y sostenible (Comisión Económica para América Latina y el Caribe - CEPAL, 2010). Lo anterior, supone un desafío para las instituciones y asociaciones científicas y para los investigadores, y ensalza el rol que cumplen las políticas públicas para hacer de estos objetivos una meta estratégica alcanzable a largo plazo, por medio de instrumentos como las políticas de ciencia, tecnología e innovación (Smith, Voss y Grin, 2010).

Las políticas de CTI son aquellas medidas y decisiones gubernamentales que fundamentan el desarrollo de la investigación científica y tecnológica, destinando productos en beneficio del cumplimiento de los objetivos que emergen en entornos políticos (Shapin, 1979). Esta conceptualización ha evolucionado, originando nuevos sistemas de políticas públicas que se complejizan y amplían, agregando distintos niveles de praxis (local, regional, nacional, global), relacionadas con la comprensión de qué y cómo la ciencia, la tecnología y la innovación son conducentes hacia un desarrollo sostenible e inclusivo (Bortagaray, 2016). Lo anterior resulta difícil de resolver, considerando los aspectos sociales, políticos, institucionales, económicos y ambientales de cada lugar y de la presión que existe por forjar sistemas científicos, tecnológicos e innovativos que sean inclusivos y sostenibles para todas las sociedades (United Nations, 2012).

La vinculación entre las políticas de CTI y otras políticas económicas y sociales es un factor clave, ya que comprende a toda acción gubernamental encaminada hacia los beneficiarios (consumidores, investigadores, empresas y otros actores del sector productivo y social) con el propósito de influir en sus acciones y así establecer condiciones que permitan crear, desarrollar, acceder, adoptar y transferir conocimiento científico, tecnología e innovación a bajos costos y con amplios resultados en términos de desempeño y beneficios (Dutrénit, 2019). El rol gubernamental es relevante, pero la creación democrática de políticas de tecnociencia requiere participación de diversos actores sociales (Kreimer y Zabala, 2006), tales como autoridades políticas y científicas, universidades públicas, empresas e industrias, instituciones sin fines de lucro y la sociedad civil, favoreciendo el diálogo entre ciencia y sociedad y estrechando la relación entre el Estado y las demandas sociales (Viales Hurtado, 2016).

En cuanto a políticas de CTI, se evidencia una brecha importante entre Latinoamérica y otras regiones de mayor grado de industrialización, debilidad que afecta en distintos grados a los países que integran el continente (Albornoz, 2009), ya que cada uno ajusta las políticas a su realidad político-económica (Loray, 2017). Según Herrera (1995), esta no es una carencia corregible solo con ayuda externa o con la creación de políticas científicas explícitas (porque ya existen planes nacionales de ciencia, tecnología e innovación), sino que se requieren cambios estructurales (económicos y sociales) en cada país.

Con base en lo anterior, muchos países han implementado reformas institucionales y nuevos instrumentos que incentiven la innovación, fortalezcan los vínculos entre los centros de investigación y las empresas, y que a la vez transparenten y agilicen los procedimientos de asignación de recursos y la evaluación de resultados (Albornoz, 2009). En consecuencia, un fragmento importante dentro de las políticas de CTI, concierne a la evaluación científica, pues es preciso medir los nuevos conocimientos generados y sus resultados. López Yepes (2004), asegura que la evaluación de la ciencia implica la valoración de los autores, sus nuevas ideas, la difusión y principalmente el impacto de estas ideas, así como el valor de sus publicaciones particulares, repercutiendo a grandes rasgos en el valor de la política científica de un país. No obstante, es un proceso complejo, ya que la tarea científica está sometida a distintos factores como el poder de financiación, la existencia de medios materiales y humanos, las relaciones entre política y ciencia e incluso las relaciones entre los propios científicos e instituciones de investigación. La evaluación científica también es un instrumento tecnológico que contribuye directamente a la eficacia y eficiencia de los sistemas de I+D+i, al disponer de una mayor coherencia y visión estratégica que potencia la toma de decisiones, los sistemas de dirección y la gestión de la investigación (Arencibia y de Moya Anegón, 2008).

Las políticas de evaluación científicas vigentes han constituido nuevos pilares sostenidos por las ciencias de la información desde sus herramientas métricas, las cuales han contribuido a la gestión de las políticas científicas y tecnológicas. En este sentido, se vuelve indispensable desarrollar instrumentos de evaluación que potencien el crecimiento de la producción científica, en concordancia con políticas latinoamericanas. Este nuevo contexto dio paso a que en América Latina se proyectara la necesidad de originar y utilizar nuevas herramientas de acceso, visibilidad e impacto científico y social de la investigación, bajo el modelo del Acceso Abierto (AA) que ha impulsado la creación de plataformas digitales (Latindex³, SciELO⁴, Redalyc⁵, AmeliCA⁶), para publicar artículos y revistas regionales, y también instancias de debate como el Foro Latinoamericano sobre Evaluación Científica (FOLEC)⁷, para difundir el conocimiento público del Sur Global (Aguado López, Becerril García y Brito Cruz, 2014).

Por consiguiente, Latinoamérica apuesta por el acceso abierto y el fortalecimiento de una red de difusión y visibilidad científica, iniciativas que requieren de un marco de trabajo que oriente a los gobiernos de cada país y a todos los actores vinculados a la creación de políticas, respecto a los nuevos mecanismos e indicadores métricos que se pueden utilizar para realizar una evaluación científica integral y fuera de la lógica puramente académica. Lo anterior, es posible desde una reestructuración de los sistemas nacionales de información científica, los cuales deben estar enfocados en proporcionar plataformas interoperables que difundan la producción científica de cada país, estimulando colaboraciones a nivel local, nacional, regional y global. Estos tipos de sistemas permitirían que en América Latina se desarrollen indicadores de producción anclados a su realidad científica propia y, asimismo, se potencie la creación y uso de métricas responsables y alternativas (altmetrics) para fortalecer los procesos de evaluación científica bajo una lógica más cualitativa (Beigel y Gallardo, 2021).

2. Metodología

Se realiza un estudio cualitativo de tipo descriptivo que consta de tres fases: primero el proceso de recolección de datos a través de la realización de entrevistas en profundidad semiestructuradas, cuyo alcance y flexibilidad aporta vasta información. Se elaboraron los guiones de preguntas en base a los objetivos de investigación y se determinó la muestra, que está compuesta por expertos/as de Chile, Argentina, Perú, Colombia, España y Estados Unidos. Todos fueron seleccionados cuidadosamente a través de un muestreo intencional, que procuró la incorporación de personas que puedan ofrecer información profunda y detallada sobre el objeto de estudio y que cumplan con tres criterios de inclusión vinculados a experiencia y experticia: ser profesionales del área de las Ciencias de la Información, poseer formación de postgrado (máster o doctorado) y contar con una o más publicaciones científicas sobre estudios métricos de información, altmetrics, o políticas de información.

Al ser este un estudio cualitativo, el interés fundamental no es la medición, sino la comprensión y análisis de los procesos de evaluación científica en toda su complejidad, motivo por el cual es viable trabajar con una muestra pequeña pero pertinente, como la que se detalló recientemente (Martínez-Salgado, 2012). Dicha muestra, al estar compuesta por especialistas de diversos países, permite cumplir con el objetivo de conocer los significados que un grupo de expertos internacionales atribuye a las altmetrics como instrumentos de evaluación científica, dentro de una política de CTI latinoamericana.

En virtud de los criterios de inclusión mencionados, la muestra quedó conformada por:

1. Cuatro expertos en altmetrics con formación académica de postgrado (máster o doctorado) y producción científica en el área
2. Dos expertos en estudios métricos de información con formación académica de postgrado (máster o doctorado) y producción científica en el área
3. Un experto en políticas de información, con formación académica de postgrado (máster o doctorado) y producción científica en el área

Cabe mencionar que se utilizaron las siglas E1, E2, E3, E4, E5, E6 y E7 para resguardar la identidad de los investigadores y sus contribuciones al objeto de estudio.

En una segunda fase, se estableció comunicación con cada informante a través de correo electrónico, informando el propósito, los objetivos y alcances del estudio. Se agendaron y efectuaron las entrevistas durante los meses de agosto y septiembre del año 2020 mediante la plataforma de videollamada Google Meet y fueron transcritas durante el mes de octubre del mismo año. Asimismo, la información transcrita fue enviada a cada informante vía correo electrónico, junto a un consentimiento informado para transparentar la veracidad de los datos, la autorización del uso de estos y la rigurosidad investigativa.

Finalmente, se establecieron categorías y subcategorías para estructurar el análisis de contenido cualitativo y dar respuesta a los objetivos de investigación (Ver Tabla 1)

3. Resultados

Los resultados responden al objetivo principal de investigación y exponen los significados que la comunidad de investigadores atribuye a las altmetrics como instrumentos de evaluación científica dentro de una política de CTI. Se puntualizan a continuación, las oportunidades, contribuciones, limitaciones y direcciones futuras de las altmetrics y su vínculo con los cambios que necesitan las políticas en la región.

3.1. Altmetrics como elemento de evaluación en una política de CTI

Aunque el concepto de calidad científica es subjetivo y complejo de definir, los informantes plantean una aproximación al mismo a través del uso conjunto de métricas tradicionales, de vinculación con el entorno (Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad de la OEI (OCTS) y Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), (2017), de altmetrics y de la evaluación por pares. Las altmetrics al interpretarse junto a otros indicadores, adquieren utilidad y permiten medir la visibilidad y popularidad de los resultados de investigación en entornos web, proporcionando una óptica más abierta y social del comportamiento de la ciencia.

No obstante, los entrevistados coinciden en que las altmetrics no reflejan necesariamente la calidad de la investigación, ya que ésta se relaciona con la validación científica del estudio, con la correcta aplicación del método científico para lograr hallazgos relevantes y con la influencia que los resultados investigativos tienen en las comunidades académicas y no académicas. Las altmetrics al igual que el resto de los indicadores no son suficientes por sí solas ni responden de forma autónoma al propósito de medir la calidad científica, pero sí aportan indicadores de influencia y popularidad valiosos para determinar el impacto social en comunidades determinadas.

Para medir con mayor objetividad la calidad, se requiere un análisis cualitativo de la ciencia, proceso que demanda tiempo y esfuerzo que no muchas instituciones han invertido. Uno de los informantes, ejemplifica y menciona el caso australiano, país que posee un riguroso sistema de evaluación del impacto de la investigación: cada 3 años, un panel de expertos de la universidad recopila, revisa y evalúa los resultados de investigación (artículos, capítulos de libros, etc.) y luego informa el veredicto a una administración nacional de investigación. Esto demuestra que es responsabilidad de cada país integrar estándares en sus políticas para evaluar y visibilizar su producción científica.

Por lo mismo, surgen otros tipos de impacto potenciados por los nuevos contextos digitales y por las altmetrics, cuyo impacto social y alternativo trasciende los métodos y escenarios tradicionales de la evaluación científica, ya que propicia la difusión de resultados de investigación a través de medios sociales, el análisis de otras tipologías documentales que no se remiten únicamente al artículo científico, la incorporación de datos para visibilizar disciplinas sociales y políticas públicas, y nuevas vías de comunicación científica entre los investigadores y las universidades para posicionar su producción científica.

Finalmente, los informantes declaran que la comunicación de la ciencia se lleva a cabo a través de distintos canales; si bien predominan las transnacionales del conocimiento como Web of Science y Scopus, en Latinoamérica han proliferado las bases de datos de acceso abierto. Respecto a los indicadores bibliométricos, declaran que estos afectan negativamente la comunicación entre pares, ya que centra el foco en las citas (quiénes, cómo y cuánto es citado cada investigador), proceso que se da en un contexto endogámico y limitado de la comunicación científica. En este sentido, las altmetrics configuran una apertura social de las dinámicas de comunicación de la ciencia.

3.2. Incorporación de las altmetrics como elemento de evaluación científica en una política de CTI: influencia, mejoras y recomendaciones

Respecto a la influencia o incorporación de las altmetrics en políticas de CTI a nivel mundial, los informantes no conocen casos de aplicación, pero indican que cada vez se incorporan con mayor frecuencia estos indicadores en sus estudios métricos. El entrevistado 4 (E4), afirma categóricamente que el valor de las altmetrics en la elaboración de políticas públicas es vital, ya que uno de los objetivos de la ciencia es impactar – incluso comunicacionalmente – en la sociedad. Esto implica que las políticas públicas e instituciones deben preocuparse de las altmetrics, ya que estas son capaces de medir cómo se incorporan o referencian las investigaciones en documentos públicos y si la política pública no se preocupa de esto, sería casi contradictorio. Además, manifiesta que las redes sociales son el principal canal de consumo informativo de todas las personas y si los artículos no llegan donde la comunidad está consumiendo contenido, entonces se están perdiendo lectores. Sin embargo, para incorporar indicadores altmétricos como elementos de evaluación científica, es preciso clarificar sus funcionalidades y limitaciones, pero también priorizar sus metodologías por encima de la comercialización de las empresas proveedoras.

Con base en lo anterior, los procesos evaluativos, integrales y transparentes de la ciencia deben estar condicionados por las siguientes directrices. En primer lugar, la integración de indicadores disciplinares y de participación universitaria; la estructuración de un método de evaluación científica integral debe incorporar indicadores bibliométricos, altmétricos y de vinculación con el entorno, ya que cada grupo posee funcionalidades para cada contexto. Además, se debe fomentar el análisis y el desarrollo de publicaciones asociadas a toda disciplina científica (especialmente a las humanidades y ciencias sociales) y promover una mayor injerencia de las universidades en los procesos de toma de decisiones a nivel científico, ya que la investigación y conocimiento que se gesta a nivel institucional repercute en la producción científica nacional.

En segundo lugar, se propone el fortalecimiento del proceso editorial; los entrevistados declaran la necesidad de enriquecer este proceso a través del mejoramiento cualitativo de la revisión por pares como herramienta de evaluación científica. Proponen el fortalecimiento de la labor de los editores (mediante la adquisición de un mayor posicionamiento dentro del proceso evaluativo) y la reestructuración del enfoque cerrado hacia uno de carácter abierto, donde los investigadores puedan evidenciar sus avances de investigación para que profesionales de competencias similares aprueben o desaprueben los mismos y así, contribuir a una evaluación participativa y de aprendizaje colectivo.

Por otro lado, se plantea la potenciación cualitativa de la labor investigadora; actualmente, los investigadores se rigen por un impacto en común asociado al posicionamiento científico-jerárquico que se obtiene por medio de las mediciones cuantitativas de la ciencia. En virtud de establecer un proceder científico integral, es preciso considerar una óptica cualitativa para la ampliación de los distintos tipos de impacto que se generan en la investigación. Para ello se deben evaluar todos los productos y actividades científicas, tecnológicas y de vinculación con el medio del investigador; productos y actividades realizadas dentro y fuera de la academia que reflejen la participación social en los procesos investigativos.

La siguiente orientación busca el fomento de la investigación a nivel local, puesto que la apertura de la ciencia debe convertirse en el eje central de la producción científica, principalmente a nivel latinoamericano, fortaleciendo iniciativas ligadas a la ciencia abierta propuestas por el Consejo Latinoamericano de Ciencias Sociales (CLACSO)⁸, como FOLEC⁹ y AmeliCA¹⁰, que visibilizan disciplinas tradicionalmente en desventaja. La inclusión de nuevas fuentes informativas como Google Scholar¹¹, Redalyc¹² y Scielo¹³, Microsoft Academic¹⁴ y de nuevas métricas como las altmetrics, permiten ampliar la cobertura de la ciencia a nivel de las trayectorias académicas, la producción científica y el alcance de los resultados de investigación en la región.

En Latinoamérica, la injerencia de organismos internacionales en la estructuración y desarrollo de las políticas científicas sigue siendo un obstáculo para alcanzar las propuestas planteadas; los ránquines de Web of Science y Scopus interfieren en la validación de la producción científica local y la solución no se limita al empleo de las altmetrics o de los indicadores en general, sino que apunta a establecer consensos que a nivel regional velen por el desarrollo de políticas de CTI que originen un modelo de evaluación científica adecuado y transparente a la realidad local, que respete las diferencias disciplinares y contextuales, y no busque comparar la región con otras más desarrolladas, donde los presupuestos, problemáticas y realidades son muy distintas.

Finalmente, la quinta directriz apunta a la incorporación de las redes sociales como entornos de difusión de la ciencia y concede a las altmetrics un espacio de comunicación y evaluación social. Por consiguiente, los procesos evaluativos de la ciencia deben contemplar que la funcionalidad de las redes sociales actualmente fomenta un nuevo paradigma de comunicación y divulgación científica, permitiendo un mayor dinamismo, consumo y generación de información y conocimiento.

3.3. Idoneidad de las altmetrics como elemento de evaluación en una política de CTI

La comunidad investigadora destaca que las principales desventajas de las altmetrics son similares a las de los indicadores bibliométricos, ya que miden sólo el alcance de la documentación científica y no trabajan sobre otros productos que se generan desde las ciencias sociales y las humanidades, y que tienen un impacto en el entorno que no se ha logrado medir. Esto se vincula al uso del DOI (Digital Object Identifier), ya que los proveedores de servicios altmétricos lo utilizan para captar datos desde los artículos científicos generando sesgos en dos aspectos: primero el rastreo de otras tipologías documentales, ya que prioriza al artículo científico dentro de un conjunto amplio de publicaciones y no respalda una representatividad general de todas las publicaciones generadas en regiones invisibilizadas como América Latina; y segundo, el costo asociado a su implementación, ya que adquirirlo significa una inversión económica.

En otra dirección, se establece que los datos altmétricos pueden ser manipulados desde las interfaces de los medios sociales, pudiendo alterar los datos finales obtenidos. Sin embargo, es una labor compleja de realizar, debido al trabajo algorítmico y especializado que se requiere, por lo tanto, esto no configura un obstáculo relevante. A pesar de que no existen indicadores altmétricos completa y absolutamente precisos y confiables y aún no existe una aceptación generalizada de su usabilidad académica y científica dentro de la comunidad (Torres-Salinas y Cabezas-Clavijo, 2013), las altmetrics pueden ser incorporadas en los procesos evaluativos de la ciencia, ya que permiten identificar cómo los resultados de investigación se comunican a través del entorno web y cómo la sociedad se vincula con ellos.

Respecto a los indicadores altmétricos mejor calificados por los expertos para determinar la visibilidad de la investigación latinoamericana (considerando el nivel de impacto que poseen en medios sociales y su injerencia en otros públicos), destacan las menciones en políticas públicas, debido a que reflejan la utilidad e influencia directa de la ciencia en los programas gubernamentales y por tanto en la sociedad, por lo que debe integrarse como un indicador relevante en las políticas de evaluación científica. Lo mismo sucede con las menciones en patentes, ya que las investigaciones citadas pueden tener algún valor comercial y las bases de datos de patentes podrían utilizarse para el seguimiento de la investigación, no sólo para rastrear la evidencia de dicho valor comercial y la influencia de la ciencia en las tecnologías e innovaciones emergentes, sino también para medir la efectividad de la inversión que se está haciendo en investigación (Thelwall y Kousha, 2015).

Cabe agregar que las agencias financiadoras de la investigación a nivel mundial siempre han buscado medir el beneficio o impacto económico que tiene la ciencia, y en este sentido las citas de patentes tienen un gran potencial. Si bien se han utilizado numerosos indicadores para determinar el impacto económico, ninguno se ha adaptado ampliamente (Shaikh y Alhoori, 2019). Se requiere entonces, revisar los avances existentes respecto a este tipo de indicadores, sin dejar de considerar los obstáculos propios de estos documentos; si bien son registros de fácil y libre acceso, su recuperación es compleja debido a los grandes volúmenes de información que se deben navegar, al aumento de la competencia empresarial y a la mercantilización del conocimiento (Thelwall y Kousha, 2015).

Por otra parte, las redes sociales académicas también son fuentes de datos importantes y la cantidad de lectores de Mendeley surge como un indicador relevante, ya que esta plataforma es capaz de influenciar el interés, lectura y descarga de los documentos, generando mayor impacto de uso y visibilidad. Otro indicador distinguido es la cantidad de me gusta, difusiones y comentarios en Facebook, dado que es la red social de mayor impacto en Latinoamérica y es utilizada frecuentemente para compartir investigación, por lo que se configura como una buena fuente de datos en la región. La cantidad de citas de Wikipedia también deben ser consideradas, pues una cita en esta enciclopedia virtual posee mayor impacto científico y social que un artículo de una revista indexada. Finalmente, la cantidad de menciones de Twitter también sobresale, ya que esta plataforma permite identificar al público interesado en cada estudio, entregando datos generalmente abiertos.

4. Conclusiones

Las altmetrics como nuevas métricas de carácter social y científico deben ser consideradas como parte de un constructo métrico integral que sustente los procesos evaluativos de la ciencia, ajustándose a los lineamientos de una política científica regional e internacional de carácter holístico y transparente.

Para determinar la calidad científica, se requiere integrar múltiples indicadores incluyendo la revisión por pares, la evaluación de todos los productos de la investigación y la detección del impacto social o científico. En este sentido, las métricas de la información deben incorporar una óptica más social e inclusiva de la ciencia, reestructurando la comunicación científica en los entornos web. Desde esta perspectiva, las altmetrics favorecen los procesos evaluativos a través de la medición complementaria de distintos tipos de impacto que se alinean a los objetivos sociales y democráticos de la ciencia.

Cabe mencionar que, en los últimos veinte años, ha surgido interés por explorar la web y generar nuevos indicadores de impacto tecnológico desde la webmetría y la altmetría, propuestas que se basan en las citas de patentes, indicadores de relaciones recíprocas entre ciencia y tecnología. Aunque la información científica busca la divulgación de resultados y la información tecnológica procura secreto, el sigilo y las restricciones (Costa, Matias y Schwarz Rodrigues, 2017), son fuentes totalmente compatibles al momento del análisis de datos y permiten establecer un estado de la técnica global y valioso de considerar el momento de elaborar una política de CTI.

A nivel regional, si bien las iniciativas latinoamericanas se inclinan hacia el fomento del acceso abierto de la labor investigadora, de la diversificación de las fuentes de información y de la gestión transparente de los datos (resultados de investigación), aún el panorama científico se estructura bajo una mirada internacional y comercial del conocimiento, que construye y define principios universales asociados a la validación de la ciencia (Puentes-Cala, 2019). Esto limita a los países latinoamericanos en cuanto al desarrollo e implementación de propuestas más democráticas y abiertas, alineadas con la finalidad y razón de ser de las políticas de CTI en relación con la evaluación científica. En consecuencia, surge el desafío de establecer, regularizar e incluir estos procesos en la política desde el predominio de lo digital, a través de propuestas sustentadas en la potenciación, difusión y transparencia de la producción científica, de la promoción de la labor investigadora, de la consolidación de los procesos evaluativos de la ciencia (mediante el fortalecimiento de la labor editorial) y de la unificación de las métricas tradicionales, las métricas de vinculación y las altmetrics como foco de discusión científica. Para lograrlo, es importante considerar el trabajo y las iniciativas latinoamericanas e iberoamericanas como FOLEC, AmeliCA y la Red de Indicadores de Ciencia y Tecnología (RICYT)¹⁵, que aportan aproximaciones teóricas y prácticas sobre el contexto científico regional.

Respecto a las altmetrics, cabe destacar que, al estar amparadas en la generación de datos, de información y de conocimiento en la web, adquieren un mayor protagonismo en el contexto digital e influyen en las políticas públicas. A partir de esto, se recomienda que la integración de las altmetrics en el ciclo de vida de una política de CTI se realice desde un Plan de Acción sobre la evaluación de la ciencia, que desarrolle programas y proyectos específicos y donde se establezcan durante un período de tiempo determinado, metas, objetivos y actividades amparadas en el ecosistema y capacidades institucionales de la evaluación científica. Solo así, los instrumentos de evaluación permitirán un crecimiento de la producción científica en concordancia con la política, y mejorará la visibilidad y posicionamiento de la región.

Referencias bibliográficas

Aguado López, Eduardo, Arianna Becerril García y Luis Brito Cruz. 2014. Indicadores alternativos para el análisis cienciométrico de la actividad científica y tecnológica a partir de Redalyc.org: el caso de México. En Dutrénit, Gabriela y Patricia Zúñiga-Bello, ed. Taller sobre Indicadores en Ciencia y Tecnología en Latinoamérica. México, D.F.: Foro Consultivo Científico y Tecnológico, AC. p. 55-64.<http://www.foroconsultivo.org.mx/libros_editados/taller_sobre_indicadores_en_ciencia_y_tecnologia_en_latinoamerica.pdf> [Consulta: 20 octubre 2020].

Aguillo, Isidro. 2016. Informetría para Bibliotecarios: Descripción de su papel clave en los procesos de evaluación. En El profesional de la información. Vol. 25, no. 1, 5-10. <http://dx.doi.org/10.3145/epi.2016.ene.01>

Albornoz, Mario. 2009. Desarrollo y políticas públicas en ciencia y tecnología en América Latina. En RIPS. Revista de Investigaciones Políticas y Sociológicas. Vol. 8, no. 1, 65-75.<https://www.redalyc.org/pdf/380/38011446006.pdf> [Consulta: 29 septiembre 2021].

Alonso-Arévalo, Julio. 2016. Altmetrics pueden no seguir siendo alternativa por mucho tiempo. En ORL. Vol. 7, no. 3, 169-177. <https://doi.org/10.14201/orl201673.14190>

Alperin, Juan Pablo. 2015. The Public Impact of Latin America’s Approach to Open Access. California: Stanford University, 2015. 134 p. Tesis de doctorado. <https://stacks.stanford.edu/file/druid:jr256tk1194/AlperinDissertationFinalPublicImpact-augmented.pdf>

Arencibia, Ricardo y Félix de Moya Anegón. 2008. La evaluación de la investigación científica: una aproximación teórica desde la cienciometría. En ACIMED. Vol. 17, no. 4, 1-27. <http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000400004>[Consulta: 20 octubre 2020].

Barros, Moreno. 2015. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. En Perspectivas em Ciência da Informação. Vol. 20, no. 2,19-37. <http://dx.doi.org/10.1590/1981-5344/1782>

Beigel, Fernanda y Osvaldo Gallardo. 2021. Productividad, bibliodiversidad y bilingüismo en un corpus completo de producciones científicas. En Revista Iberoamericana de Ciencia, Tecnología y Sociedad. Vol. 16, no. 46, 41-71.<http://ojs.revistacts.net/index.php/CTS/article/view/211>

Borrego, Ángel. 2014. Altmétricas para la evaluación de la investigación y el análisis de necesidades de información. En El profesional de la información. Vol. 23, no. 4, 352-357. <https://doi.org/10.3145/epi.2014.jul.02>

Bortagaray, Isabel. 2016. Políticas de Ciencia, Tecnología, e Innovación Sustentable e Inclusiva en América Latina. París, Montevideo: UNESCO.

Comisión Económica para América Latina y el Caribe (CEPAL). 2010. Innovar para crecer. Desafíos y oportunidades para el desarrollo sostenible e inclusivo en Iberoamérica. Santiago: Naciones Unidas. <https://repositorio.cepal.org/bitstream/handle/11362/21494/lcg2443.pdf?sequence=1&isAllowed=y>

Corrales-Reyes, Ibraín, Yasmnay Fornaris-Ceden~o, Juan Reyes-Pe´rez y Leonardo Valde´s-Gamboa. 2017. Aproximación cienciométrica a la producción científica de Medisur. En Medisur. Vol. 15, no. 5, 640-646. <http://www.medisur.sld.cu/index.php/medisur/article/view/3554/2409> [Consulta: 27 octubre 2020].

Costa, Heloisa, Márcio Matias y Rosângela Schwarz Rodrigues. 2017. Institutos Nacionales de Ciencia y Tecnología del área de Ciencias Agrarias: estudio de la publicación científica, técnica y tecnológica (2013-2015). En Biblios: Revista de Bibliotecología y Ciencias de la Información. No. 68, 1-20.<https://doi.org/10.5195/biblios.2017.390>

De Volder, Carolina. 2016. Métricas alternativas: ¿Una nueva forma de medir el impacto científico? En Épocas Revista de ciencias sociales y crítica cultural. Vol. 3. <http://eprints.rclis.org/38818/1/metricas.pdf> [Consulta: 11 noviembre 2020].

Donato, Helena. 2014. Traditional and alternative metrics: the full story of impact. En Revista Portuguesa de Pneumologia. Vol. 20, no. 1, 1-2. <http://dx.doi.org/10.1016/j.rppneu.2013.11.001>

Dutrénit, Gabriela. 2019. La construcción de políticas públicas en ciencia, tecnología e innovación. En Ciencia. Vol. 70, no. 2, 50-57. <https://www.amc.edu.mx/revistaciencia/images/revista/70_2/PDF/09_70_2_1173_RetosPoliticasPublicas.pdf>[Consulta: 11 noviembre 2020].

Gómez, Isabel. 2007. Reseña de The Hand of Science. Academic writing and its rewards. En Revista Española de Documentación Científica. Vol. 30, no. 1, 127-129.<http://redc.revistas.csic.es/index.php/redc/article/view/373/378>[Consulta: 10 de septiembre 2020].

Gouveia, Fabio Castro. 2013. Altmetria: métricas de produção científica para além das citações. En Liinc em Revista. Vol. 9, no. 1, 214-227.<https://doi.org/10.18617/liinc.v9i1.569>

Haustein, Stefanie, Timothy Bowman y Rodrigo Costas. 2015. Interpreting “altmetrics”: viewing acts on social media through the lens of citation and social theories. En Sugimoto, Cassidy R, ed. Theories of Informetrics and Scholarly Communication. Berlín: De Gruyter, p. 1-24. <https://arxiv.org/pdf/1502.05701.pdf>[Consulta: 11 enero 2021].

Herrera, Amílcar O. 1995. Los determinantes sociales de la política científica en América Latina. Política científica explícita y política científica implícita. En Redes. Vol. 2, no. 5, 117-131. <https://www.redalyc.org/pdf/907/90711276005.pdf>[Consulta: 29 septiembre 2021].

Hicks, Diana, Paul Wouters, Ludo Waltman, Sarah de Rijcke e Ismael Rafols. 2015. Bibliometrics: The Leiden Manifesto for research metrics. En Nature. Vol. 520, no. 7548, 429–431.<https://doi.org/10.1038/520429a>

Kreimer, Pablo y Juan Pablo Zabala. 2006. ¿Qué conocimiento y para quién? Problemas sociales, producción y uso social de conocimientos científicos sobre la enfermedad de Chagas en Argentina. En Redes. Vol. 12, no. 23, 49-78. <https://ridaa.unq.edu.ar/bitstream/handle/20.500.11807/612/02R2006v12n23.pdf?sequence=1&isAllowed=y>[Consulta: 10 septiembre 2020].

Lin, Jennifer y Martin Fenner. 2013. Altmetrics in Evolution: Defining and Redefining the Ontology of Article-Level Metrics. En Information Standards Quarterly. Vol. 25, no. 2, 20-26. <https://www.niso.org/sites/default/files/stories/2017-08/IP_Lin_Fenner_PLOS_altmetrics_isqv25no2.pdf> [Consulta: 10 septiembre 2020].

López Yepes, José. 2004. Características de la Documentación y su reflejo en la formación de los profesionales e investigadores de la disciplina. En Actas do Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas. No. 8. <https://www.bad.pt/publicacoes/index.php/congressosbad/article/view/676> [Consulta: 10 septiembre 2020].

Loray, Romina. 2017. Políticas públicas en ciencia, tecnología e innovación: tendencias regionales y espacios de convergencia. En Revista de Estudios Sociales. No. 62, 68-80. <https://dx.doi.org/10.7440/res62.2017.07>

Maricato, João de Melo y Dalton Lopes Martins. 2017. Altmetria: complexidades, desafios e novas formas de mensurac¸a~o e compreensa~o da comunicac¸a~o cienti´fica na web social. En Biblios: Revista de Bibliotecología y Ciencias de la Información. No. 68, 49-68. <https://doi.org/10.5195/biblios.2017.358>

Martínez-Salgado, Carolina. 2012. El muestreo en investigación cualitativa: principios básicos y algunas controversias. En Ciência & Saúde Coletiva. Vol. 17, no. 3, 613-619. <https://www.redalyc.org/articulo.oa?id=63023334008>[Consulta: 29 septiembre 2021].

Mas-Bleda, Amalia e Isidro F. Aguillo. 2015. La web social como nuevo medio de comunicación y evaluación científica. Barcelona: Editorial UOC. <http://reader.digitalbooks.pro/book/preview/41040/WebSocial_EPUB-2?1597170304401> [Consulta: 5 agosto 2021].

Moreno Gálvez, Francisco Javier. 2016. Contradicción y crisis en el capitalismo cognitivo. En Chasqui. Revista Latinoamericana de Comunicación. No. 133, 101-111.<https://revistachasqui.org/index.php/chasqui/article/view/3001/2824> [Consulta: 28 noviembre 2020].

Nascimento, Andrea Ferreira Gonçalves Do y Nanci Elizabeth Oddone. 2016. Métricas alternativas para a avaliação da produção científica: a altmetria e seu uso pelos bibliotecários. Trabajo presentado al XVII Encontro Nacional de Pesquisa em Ciência da Informação, realizado en Río de Janeiro del 20 al 25 de noviembre de 2016. <http://200.20.0.78/repositorios/bitstream/handle/123456789/3541/2016_GT7-CO_12.pdf?sequence=1>

Nassi-Caló, Lilian. 2017. Evaluation metrics in science: current status and prospects. En Revista Latino-Americana de Enfermagem. Vol. 25. <https://doi.org/10.1590/1518-8345.0000.2865>

Observatorio Iberoamericano de la Ciencia, la Tecnología y la Sociedad de la OEI (OCTS) y Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT). 2017. Manual Iberoamericano de Indicadores de Vinculación de la Universidad con el Entorno Socioeconómico. Manual de Valencia. <http://www.ricyt.org/wp-content/uploads/2017/06/files_manual_vinculacion.pdf> [Consulta: 27 septiembre 2020].

Ortiz Torres, Emilio Alberto. 2015. La evaluación del impacto científico en las investigaciones educativas a través de un estudio de caso. En Revista Electrónica de Investigación Educativa. Vol. 17, no. 2, 89-100. <http://www.scielo.org.mx/pdf/redie/v17n2/v17n2a7.pdf> [Consulta: 15 septiembre 2020].

Pérez-Angón, Miguel Ángel. 2006. Usos y abusos de la cienciometría. En Cinvestav. Vol. 25, no. 1, 29-33. <https://studylib.es/doc/7261998/usos-y-abusos-de-la-cienciometr%C3%ADa> [Consulta: 05 de agosto 2020].

Piwowar, Heather. 2013. Introduction altmetrics: What, why and where? En Bulletin of the American Society for Information Science and Technology. Vol. 39, no. 4, 8-9. <https://doi.org/10.1002/bult.2013.1720390404>

Priem, Jason, Paul Groth y Dario Taraborelli. 2012. The Altmetrics Collection. En PLos ONE. Vol. 7, no. 11. <https://doi.org/10.1371/journal.pone.0048753>

Priem, Jason y Bradley Hemminger. 2010. Scientometrics 2.0: Toward new metrics of scholarly impact on the social Web. En First Monday. Vol. 15, no. 7. <https://firstmonday.org/ojs/index.php/fm/article/view/2874/2570> [Consulta: 12 noviembre 2020].

Puentes-Cala, Mauricio. 2019. Bases de datos con ánimo de lucro y la mercantilización de las publicaciones científicas. Colombia, una vía de entrada. En E- Ciencias de la información. Vol. 9, no. 2, 1-21. <http://dx.doi.org/10.15517/eci.v9i2.37498>

Rousseau, Ronald y Y. Ye Fred. 2013. A multi-metric approach for research evaluation. En Chinese Science Bulletin. Vol. 58, no. 26, 3288-3290. <https://doi.org/10.1007/s11434-013-5939-3>

Seglen, Per O. 1997. Why the impact factor of journals should not be used for evaluating research. En BMJ. Vol. 314, 498-502. <https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/pdf/9056804.pdf> [Consulta: 11 agosto 2020].

Shaikh, Abdul Rahman y Hamed Alhoori. 2019. Predicting patent citations to measure economic impact of scholarly research. En ACM/IEEE Joint Conference on Digital Libraries (JCDL). 400-401. <https://doi.org/10.1109/JCDL.2019.00089>

Shapin, Steven. 1979. Reseña de General - Science, Technology and Society: A Cross-Disciplinary Perspective. Editado por Ina Spiegel-Rösing and Derek de Solla Price. London and Beverly Hills: Sage, xi 607. En The British Journal for the History of Science. Vol. 12, no. 1, 90-91. <https://doi.org/10.1017/S0007087400016861>

Smith, Adrian, Jan-Peter Voss y John Grin. 2010. Innovation studies and sustainability transitions: The allure of the multi-level perspective and its challenges. En Research Policy. Vol. 39, no. 4, 435-448. <https://doi.org/10.1016/j.respol.2010.01.023>

Thelwall, Mike y Kayvan Kousha. 2015. Web indicators for research evaluation. Part 1: Citations and links to academic articles from the Web. En Profesional De La Información. Vol. 24, no. 5, 587-606. <https://doi.org/10.3145/epi.2015.sep.08>

Torres-Salinas, Daniel y Álvaro Cabezas-Clavijo. 2013. Altmetrics: no todo lo que se puede contar, cuenta. En Anuario Think EPI, El profesional de la Información. Vol. 7, 114-117. <https://digibug.ugr.es/handle/10481/26361> [Consulta: 22 enero 2021].

United Nations. 2012. UN System Task Team on the Post-2015 UN Development Agenda. <https://sustainabledevelopment.un.org/post2015/index.php?page=view&type=400&nr=843&menu=35> [Consulta: 10 septiembre 2020].

Vélez-Cuartas, Gabriel, Alejandro Uribe-Tirado, Diego Restrepo-Quintero, Jaider Ochoa-Gutiérrez, César Pallares, Huber Gómez-Molina, Marcela Suárez-Tamayo y Julián Calle. 2019. Hacia un modelo de medición de la ciencia desde el Sur-Global: métricas responsables. En Palabra Clave. Vol. 8, no.2.<https://doi.org/10.24215/18539912e068>

Viales Hurtado, Ronny José. 2016. Los elementos básicos para la formulación de políticas científicas, tecnológicas y de innovación para la cohesión social. Una visión CTS. En Revista de Ciencias Sociales. No. 153, 101-120. <https://dialnet.unirioja.es/servlet/articulo?codigo=5879688> [Consulta: 10 Febrero 2020].

Notas