ARTÍCULOS
El impacto social de las instituciones de educación superior: Un estudio de caso con la Universidad Complutense de Madrid
Social impact of higher education institutions: A case study of the Universidad Complutense de Madrid
Michela Montesi e Isabel Villaseñor Rodríguez
Grupo Politecom, Facultad de Ciencias de la Documentación, Universidad Complutense de Madrid, España / mmontesi@ucm.es / https://orcid.org/0000-0002-5509-2075 | isavilla@ucm.es / https://orcid.org/0000-0002-6000-7824
Artículo recibido: 13-06-2018
Aceptado: 20-09-2018
Resumen
El presente trabajo pretende contribuir a una mejor determinación del desempeño social institucional a través del análisis de una caso concreto, el de la Universidad Complutense de Madrid (UCM). Para ese fin, se recabaron datos cualitativos a través de entrevistas sobre la autopercepción de la institución en referencia a su actuación social y, en clave comparativa con otras 20 instituciones internacionales, datos cuantitativos procedentes de la Web (misión social y tamaño del repositorio) y algunos medios sociales (Twitter, ResearchGate, YouTube). Los resultados reiteran la necesidad de aportar datos cuantitativos comparables para las tareas de evaluación del impacto social institucional.
Palabras clave: Impacto social; Instituciones de Educación Superior; Responsabilidad Social Universitaria; Evaluación de la Ciencia; Métricas alternativas; Estudio de caso
Abstract
This article aims to improve the understanding and evaluation of social impact of higher education institutions by the analysis of a specific case, that of the Universidad Complutense de Madrid. We obtained qualitative data through interviews about the institution’s self-perception of its social performance, and, comparatively with 20 other institutions, quantitative data from the web (social mission and size of the institutional repository) and some social media (Twitter, ResearchGate, YouTube). Results corroborate the importance of quantitative comparable data in order to measure the social impact of higher education institutions.
Keywords: Social impact; Higher Education Institutions; Social Responsibility of Universities; Science Assessment; Alternative Metrics; Case Study
1. El impacto social de la ciencia
La comunidad académica se está interrogando sobre la manera de crear y difundir conocimiento que repercuta positivamente en la sociedad. La cuestión del impacto social de la actividad investigadora se contextualiza en el marco de lo que se conoce como “ciencia post-académica”, “ciencia post-normal” o “ciencia modo 2”, denominaciones que, en la sociología de la ciencia, pretenden identificar el sistema de producción de conocimiento posterior a la crisis energética de los años setenta del siglo XX (Jiménez-Buedo y Ramos Vielba, 2009), caracterizado en la obra de, entre otros, Ziman (1994), Gibbons et al. (1994) y Funtowicz y Ravetz (1993). En la ciencia “post-académica” o “post-normal” o “modo 2”, independientemente de cómo se la denomine, la producción de conocimiento responde al principio de “rendición de cuentas ante la sociedad”, a la vez que el control de la calidad de la investigación corresponde tanto a pares, como a agentes sociales, políticos y económicos ajenos a la comunidad científica. En este marco conceptual, las universidades dejan de ejercer el cuasi-monopolio de la producción de conocimiento ya que la investigación se realiza cada vez más en otros entornos, entre otros los empresariales.
La cuestión del impacto social de la ciencia se ha empezado a tratar en el ámbito de la literatura económica con el objetivo de evaluar la rentabilidad de las inversiones gubernamentales en I+D (Miettinen, Tuunainen, y Esko, 2015), circunstancia que en parte explica la tendencia a concebir el impacto social en términos utilitarios de repercusiones económicas (Bornmann, Haunschild y Marx, 2016). Desde el punto de vista de la evaluación de la ciencia, el interés de la comunidad bibliométrica por el impacto social de la investigación es más reciente y se sitúa en el contexto de los estudios sobre bibliometría web y altmétricas (Priem et al., 2010), es decir, de las métricas alternativas de impacto científico respecto a las tradicionales, principalmente los indicadores basados en la citación (Bornmann, 2015; Holmberg, 2015). Las métricas obtenidas de la web y de los medios sociales, incluidas las altmétricas, por originarse en plataformas potencialmente abiertas a todo el mundo, han planteado expectativas respecto de su valor o significado social, llevando al planteamiento de varias cuestiones, entre otras: ¿Qué es el impacto social de la ciencia? ¿De qué forma los indicadores altmétricos pueden complementar los indicadores tradicionales de la actividad investigadora?
Además de las Ciencias Económicas y el área de Evaluación de la Ciencia y Bibliometría, el impacto social de la investigación se configura como un ámbito interdisciplinario, potencialmente de gran interés en todas las áreas del saber, y las aportaciones al debate proceden de disciplinas tan diferentes como las Ciencias de la Salud (Greenhalgh et al., 2016), la Educación (Ramalho y Llavador, 2012), las Ciencias Medioambientales, o las Ciencias Políticas (Trencher et al., 2014) entre otras. En este artículo, proponemos el punto de vista de las Ciencias de la Documentación, Bibliometría y Evaluación de la Ciencia con aplicación a una institución de educación superior concreta, la Universidad Complutense de Madrid.
1.1 El impacto social de actividad de las instituciones de educación superior
En el ámbito de la educación superior, el impacto social de la actividad científica se ha denominado también la “tercera misión” de la universidad, cuando se la ha considerado un añadido a la docencia, que sería la primera misión, y a la investigación, que representaría la segunda (Palomares-Montero et al., 2008). Sin embargo, se ha cuestionado si de verdad el impacto social de la universidad puede reducirse a esta tercera misión y por varias razones. Desde el proyecto europeo E3M (2012), se entiende que más que una misión aparte, la tercera misión de la universidad debería concebirse como “[...] una forma de aplicar, o un modo de pensar para conseguir las dos primeras” (E3M, 2012: 5), que permita cumplir una misión realmente educativa más que formar al alumnado exclusivamente para el mercado laboral. Aunque las diferentes esferas de la actividad universitaria se vean principalmente como autónomas, aislar el impacto social en una dimensión u otra puede ser contraproducente. Según Rassenfosse y Williams (2015), satisfacer necesidades sociales significa conectar con la sociedad. Sugieren que la conectividad institucional no debería limitarse a una tercera misión sino estudiarse en el seno de la investigación y la docencia. Por otro lado, el concepto de tercera misión parece más relacionado con una visión orientada al estado o al mercado que desatiende las necesidades reales de la sociedad civil (Vargiu, 2014). Trencher et al. (2014) argumentan que el paradigma de la “tercera misión”, del cual son ilustres representantes instituciones como el MIT o la Universidad de Stanford, concibe la contribución social de la universidad exclusivamente, o principalmente, en términos de aportaciones tecnológicas y económicas, dejando de lado otras de más amplio alcance como la sostenibilidad. Proponen, como alternativa a la tercera misión, el concepto de una universidad transformadora y co-creadora de conocimiento, comprometida, en colaboración con múltiples partes sociales, con un proceso continuo y mutuo de transformación y creación.
También se enfatiza el tema de la sostenibilidad y el compromiso en otra línea de trabajo en el ámbito de la educación superior, concretamente en la que se conoce como Responsabilidad Social de la Universidad (RSU) (Ramallo, 2015). La RSU sería “una política de gestión de la calidad ética de la universidad” (Ramallo, 2015: 26) a través de la cual los procesos de gestión, docencia, investigación y extensión se rigen por la necesidad de compromiso social y se orientan a la resolución de problemas acuciantes de la sociedad, como la inequidad o la sostenibilidad. La RSU se ejerce a través de la gestión del impacto que la actividad universitaria deja tanto desde un punto de vista organizacional, como otro más propiamente académico (Vallaeys, 2014). Se trata de un concepto desarrollado en el mundo de la empresa y que se ha aplicado a las universidades para orientar el establecimiento de relaciones con diversos actores sociales (Quezada, 2011). Sin embargo, la implantación de estos principios en la gestión universitaria no es menos compleja que para entornos empresariales, siendo un primer obstáculo la indefinición del propio concepto (Quezada, 2011; Wigmore-Álvarez y Ruiz-Lozano, 2012). Diferentes supuestos teóricos derivan en diferentes formas de practicar la responsabilidad social, aunque según Quezada (2011) el énfasis en la transparencia y la participación que muestran diversos casos de universidades españolas podría llevar a una simplificación de la RSU, confundiéndola con la rendición de cuentas y derivando en la producción de cifras y cuentas que no pueden reflejar una auténtica cultura institucional.
1.2 La evaluación del impacto social
El problema definitorio y conceptual en relación con el impacto social se da desde otros puntos de vista también. Desde la perspectiva de la Bibliometría y Evaluación de la Ciencia, la propia definición del concepto sería, según Bornmann (2012, 2013, 2014), el primer problema que se plantea a la hora de hablar de impacto social de la ciencia y de la investigación. Las varias denominaciones propuestas responden a la necesidad de captar todos los matices de un concepto extremadamente complejo: third stream activities, societal benefits, societal quality, public values, knowledge transfer, societal relevance… Desde el punto de vista de las ciencias de la salud, Greenhalgh, Raftery, Hanney et al. (2016) reiteran que existen varias definiciones, subrayando que cada una refleja diferentes suposiciones acerca de la naturaleza del conocimiento científico, los objetivos de la investigación, la determinación de la calidad de la investigación o el rol de los valores en la investigación y su implementación. El problema de definir claramente el concepto de impacto social de la investigación puede repercutir negativamente en los procesos efectivos de evaluación. En (Samuel y Derrick, 2015) 62 evaluadores de REF 2014, UK Research Excellence Framework, entrevistados antes del proceso de evaluación, mostraban una gran diferencia de opiniones respecto del concepto y significado de impacto social de la ciencia. De manera parecida, Given, Kelly, y Willson (2015), entrevistando a académicos australianos, encuentran que la definición de impacto que estos daban difería considerablemente y que el personal académico no se consideraba preparado para determinar el impacto fuera de lo puramente académico.
Aparte del problema definitorio de base, las problemáticas para medir y evaluar el impacto social de la actividad investigadora incluyen, entre otras, el problema de la causalidad, o la dificultad de determinar qué ha producido cierto tipo de impacto, y el problema de la atribución, o cómo atribuir unos resultados a ciertas intervenciones o actores. Bornmann (2012) añade la existencia de diferencias disciplinarias en cuanto a la relevancia de la investigación para la sociedad, la dificultad de encontrar personal de evaluación experto en impacto social, y más para proyectos interdisciplinarios, y la participación de diferentes partes en actuaciones con impacto social, procedentes, entre otros, del mundo de la política, las profesiones y la ciudadanía. Estas problemáticas se acentúan en el caso de las instituciones de educación superior, considerando la diversidad de su actuación.
1.2.1 Modalidades de evaluación
A efectos prácticos de evaluación, los marcos conceptuales que se han desarrollado para determinar el impacto social de la investigación pueden ser de corte cualitativo, basados fundamentalmente en estudios de caso, o de corte cuantitativo. Los enfoques cuantitativos pueden diferir. En los procesos de evaluación de la RSU, por ejemplo, son importantes referentes la norma ISO 26000, que orienta en la definición de conceptos y en la práctica de la responsabilidad social, así como los indicadores Global Reporting Indicators, pensados fundamentalmente para organizaciones y entornos empresariales. En ambos casos, se trata de directrices e indicadores desarrollados para ser aplicados en toda organización y no específicamente para la universidad (Huerta-Riveros y Gaete-Feres, 2017).
1.2.2 Marcos cualitativos para la evaluación del impacto social
Conceptualmente los enfoques cualitativos, tanto cuando se proponen desde la evaluación de la ciencia como desde la RSU u otras perspectivas, permitirían solucionar el problema de la indefinición del concepto de impacto social y la polisemia de la RSU dentro del contexto específico de cada institución, aceptando que la forma en la que cada universidad expresa y dinamiza su función social puede variar (Olarte-Mejía y Ríos-Osorio, 2015). Benneworth, Pinheiro, y Sánchez-Barrioluengo (2016), reiteran la importancia del contexto y de la diversidad de cada institución en la introducción a un número especial de la revista Science and Public Policy, para poder determinar y caracterizar el desempeño social de las instituciones de enseñanza superior. Solo en un contexto específico se podrá valorar la calidad de las relaciones e interacciones de una institución con otros actores sociales, que necesariamente serán específicas.
Dentro de los modelos de evaluación de corte cualitativo para la determinación del impacto social de la investigación, pueden destacarse el de las interacciones productivas y el modelo payback, más propio del ámbito de la salud (Greenhalgh, Raftery, Hanney et al., 2016). En el marco de las que se conocen como “interacciones productivas”, el impacto social se analiza a través de estudios de caso. Este enfoque, que se ha planteado dentro del proyecto europeo SIAMPI (Social Impact Assessment Methods through the study of Productive Interactions, 2011), propone analizar los procesos en lugar de los resultados, sugiriendo asimismo que la clave de una transferencia exitosa de conocimiento científico a la sociedad está en las “interacciones” entre personal de investigación y diversas partes sociales (De Jong, Barker, Cox et al., 2014). En esta perspectiva, la diseminación de conocimiento científico en la sociedad no dependería exclusivamente del personal de investigación, sino que se produciría en dinámicas de interacción complejas y multidireccionales entre este y diferentes partes sociales (Spaapen y Van Drooge, 2011).
Desde la perspectiva de la RSU, la revisión bibliográfica de Wigmore-Álvarez y Ruiz-Lozano (2012) clasifica la investigación realizada sobre la RSU en ocho líneas, presentando todas ellas un carácter marcadamente aplicado, y siendo gran parte de la investigación empírica realizada a través de estudios de caso en diferentes universidades, conjuntos de universidades, o facultades. Por otro lado, es difícil diferenciar la “perspectiva cuantitativa” de medición de la RSU que proponen Vallaeys, De la Cruz, y Sasia (2009, 2012) de la cualitativa. Vallaeys, De la Cruz y Sasia (2009) articulan los procesos de RSU en cuatro pasos: compromiso, autodiagnóstico, cumplimento y rendición de cuentas. Estos cuatro pasos formarían parte de una estrategia de arriba hacia abajo, por parte de la dirección de la universidad, que incluye, entre las demás acciones, convencer a la comunidad universitaria, crear un equipo destinado a la RSU, conocer las percepciones de los actores internos respecto de la actuación de la universidad o las expectativas de los actores externos para poder cumplir con ellas. Estos indicadores se recaban a través de encuestas, entrevistas o grupos focales en la institución y su entorno más próximo (Vallaeys, de la Cruz y Sasia, 2012), siendo por lo tanto difícil diferenciar esta perspectiva de un estudio de caso.
1.2.3 Marcos cuantitativos para evaluar el impacto social
La metodología más estrictamente cuantitativa aplicable en el marco de la RSU contaría con indicadores, como los GRI, desarrollados y pensados para la aplicación a organizaciones empresariales. Huerta-Riveros y Gaete-Feres (2017) explican que los indicadores GRI, ampliamente utilizados por parte de instituciones de educación superior para la elaboración de sus memorias de RSU, están asociados con procesos productivos basados en bienes elaborados materiales, mientras que las universidades producen más bien productos intangibles como la formación. En este sentido, no serían los mejores indicadores para las instituciones de educación superior.
En el ámbito de la Evaluación de la Ciencia, se considera que son necesarias métricas robustas que permitan realizar evaluaciones y comparaciones entre universidades. Los estudios de caso son procesos muy largos y muy exigentes en términos de recursos humanos, permitiendo exclusivamente evaluaciones basadas en la revisión por pares y presentando además un sesgo hacia las “historias” positivas (Bornmann, Haunschild y Marx, 2016). Las mediciones cuantitativas, en cambio, permitirían a las instituciones monitorizar su impacto, compararse con otras y reconocer la contribución de diferentes facultades. Los indicadores bibliométricos tradicionales de impacto institucional, muchos de los cuales se encuentran recogidos en los rankings universitarios como el de Shanghai, como número de citas o número de publicaciones en revistas de impacto, se contabilizan como la suma de todas las aportaciones de la comunidad científica afiliada a una institución (González-Albo et al., 2012; Bornmann et al., 2014), en una perspectiva de abajo hacia arriba. Aparte de estos, la perspectiva bibliométrica también cuenta con métricas específicas para ciertas disciplinas. Entre las métricas actualmente disponibles, algunas consisten en analizar ciertos tipos de documentos con una vocación claramente aplicada para encontrar referencias a la literatura científica, como las guías de práctica clínica en las ciencias de la salud, las patentes en las áreas tecnológicas (Kousha y Thelwall, 2015), o los informes políticos en algunas ciencias sociales (Bornmann et al., 2016). Todos estos documentos, aunque se destinen a un público de profesionales, suelen incluir citaciones a la literatura científica. En este sentido, el estudio de Bornmann et al. (2016) concluye que la literatura científica es escasamente relevante para la toma de decisiones políticas, y que los niveles de interacción entre ciencia y política son aún muy bajos, cuando se miden a través de la citación.
Si la visión más tradicional de las altmétricas busca citaciones o “menciones” a la literatura científica en los medios sociales, al igual que citas en la literatura científica, otra línea se centra en la interacción, en línea con el enfoque conceptual de las interacciones productivas visto más arriba (Spaapen y Van Drooge, 2011). Según Ozanne, Davis, Murray et al. (2016), las altmétricas permitirían medir lo que actualmente es difícil expresar en números, es decir la interacción de la comunidad académica con la sociedad, pues la web social es un contexto informal de interacción y participación. La ventaja de los medios sociales para medir el impacto social incluyen la cobertura de audiencias diferentes a la académica, la posibilidad de medir productos de investigación diferentes al artículo, la rapidez con la que permiten obtener indicadores, y su apertura (Bornmann, 2014). Por otro lado, las limitaciones de las altmétricas incluyen la dependencia de plataformas comerciales, la escasa calidad de los datos, la indefinición de las audiencias, así como la falta de normalización. La interacción entre la comunidad científica y otras comunidades en los medios sociales es un campo abierto de investigación. En algunas plataformas, como Mendeley, la interacción con la comunidad y la participación en grupos parecen ser actividades menos frecuentes que las relacionadas con la investigación propiamente dicha, como la búsqueda bibliográfica o la difusión de la producción científica individual (Jeng, He, y Jiang, 2015). En el caso de Twitter, Boyd, Golder y Lotan (2010) indican que la interacción en esta plataforma se da principalmente a través del retweet, aunque según Quan-Haase, Martin and McCay-Peet (2015), el hecho de estar en Twitter sería de por sí una conversación.
Desde otro punto de vista todavía vinculado a las métricas web y altmétricas, se pueden concebir las universidades como organizaciones y se emplean métricas derivadas de los medios sociales para medir, por ejemplo, su participación y capacidad de interacción en estos (Zarco, Del-Barrio-García, y Cordón, 2016). Esta forma de medir las implicaciones sociales de la actividad institucional es más común para las bibliotecas académicas que para las universidades propiamente dichas (Stuart, 2014; González-Fernández-Villavicencio, 2016).
1.3 Indicadores para medir el impacto social de las instituciones
En el ámbito más propiamente universitario, analizando casos concretos de evaluación diferentes a los indicadores RSU, cabe mencionar el caso del ejercicio nacional de evaluación UK Research Excellence Framework 2014. En este marco, por primera vez en el Reino Unido, se evaluaron casos de investigación con repercusión social presentados por instituciones universitarias. La revisión de estos casos, redactados en plantillas de un máximo de 4 páginas, correspondía a paneles de expertos del mundo académico y a partes sociales involucradas en la investigación, como colaboradoras o usuarias, por ejemplo (Samuel y Derrick, 2015). En el contexto de REF2014, la evaluación del impacto social de las instituciones universitaria se evaluó en paralelo al desempeño investigador, según criterios académicos tradicionales. La evaluación de la repercusión social de la actividad investigadora, en este contexto, se realizó a través de estudios de caso.
Vargiu (2014) reúne y resume los indicadores cuantitativos propuestos en tres proyectos anteriores sobre la tercera misión universitaria, concretamente los propuestos por el British National Coordination Centre for Public Engagement, por el grupo Russell de universidades británicas, y por el proyecto europeo E3M, en seis grandes grupos: misión y estrategias institucionales, investigación, participación estudiantil, diseminación, accesibilidad y uso de infraestructuras, y relaciones con interlocutores locales. Los indicadores esbozados en el proyecto E3M para medir las potencialidades de las instituciones en cuanto a su alcance social se reparten en tres grandes áreas: formación continua, transferencia tecnológica y compromiso social (E3M, 2012a). El compromiso social supondría “[...] representar el objetivo social de las universidades, de sus procesos bi-direccionales de diálogo, co-creación y aprendizaje mutuo” (E3M, 2012a: 6). Los informes producidos en el ámbito de este proyecto europeo insisten en la dificultad de medir el impacto propiamente dicho, y que en su lugar lo que se puede medir son ciertas actividades que servirán como aproximaciones al impacto verdadero. Las bases conceptuales del proyecto reiteran la extrema dificultad que supone recoger datos relativos al impacto social que, debido en cierta medida a la ambigüedad del propio concepto, pueden ser invisibles, tácitos, no cuantificables, informales y muy a menudo no registrados por las instituciones de educación superior (E3M, 2012b). Aplicados a la práctica, muchos de los indicadores del E3M, si no la mayoría, serían de difícil cuantificación, y deberían recopilarse más bien para uso interno que en clave comparativa con otras instituciones.
1.4 Objetivo
El estado de la cuestión anterior, cuyas aportaciones se obtuvieron de fuentes y disciplinas diferentes buscando los conceptos de “impacto social” y “universidad” en bases de datos multidisciplinarias como Scopus y Google Scholar, pone de manifiesto la gran complejidad del problema. En la presente contribución, pretendemos abordar esta complejidad desde la perspectiva de un caso particular, el de la Universidad Complutense de Madrid, identificando de manera exploratoria posibles vías de medición del impacto social aplicables, en clave comparativa, a otras universidades parecidas, tanto españolas como internacionales. Con este objetivo, hemos recopilado dos conjuntos de datos. Por un lado, a través de una serie de entrevistas con personas pertenecientes al equipo de gobierno de la UCM, hemos querido representar la auto-percepción de la institución respecto de su cometido social. Por otro lado, se han recabado algunos datos de tipo cuantitativo de la web y de los medios sociales, haciendo hincapié en aquellos más idóneos para reflejar dinámicas de interacción.
2. Metodología de la investigación
2.1 Entrevistas
Uno de los métodos empleados se ha basado en el análisis cualitativo, ya que se ha querido conocer la percepción que sobre el tema de estudio tiene la propia institución desde dentro.
Con este fin se realizaron una serie de entrevistas con las personas responsables de algunos de los vicerrectorados y delegaciones del rector con vocación más “social”, concretamente el Vicerrectorado de Relaciones Institucionales y Gabinete del Rector, la Delegada del Rector para la Formación Permanente, Prácticas externas y Empleabilidad, la Delegada del Rector para la Unidad de Apoyo a la Diversidad e Inclusión y la Delegada del Rector para la Unidad de Igualdad. No se recibió respuesta del Vicerrectorado de Extensión Universitaria, Cultura y Deporte ni del Delegado del Rector para Campus y Medio Ambiente.
Las entrevistas fueron de tipo semiestructurado y permitieron tocar, entre otros, los siguientes puntos:
2.2 Datos procedentes de la web y los medios sociales
La ventaja de los datos procedentes de la web y de los medios sociales es que pueden obtenerse de manera no intrusiva con cierta facilidad, incluso para instituciones alejadas geográficamente y, a diferencia de los datos cualitativos, permiten realizar comparaciones. Existen estudios a nivel español en los cuales se comparan las universidades españolas según criterios altmétricos y recabados de los medios sociales (Zarco et al., 2016; Serrano-López et al., 2015). Sin embargo, en este trabajo el objetivo es comparar la UCM con 20 instituciones ubicadas dentro y fuera de España, que se seleccionaron en el marco de un proyecto de investigación (Fernández-Bajón, 2018) con base en su similitud con la UCM en términos de producción, cercanía geográfica, redes de colaboración y perfil docente.
En la Tabla I se muestran las 20 instituciones y la UCM, ordenadas según la posición que ocupan en el Ranking Web de Universidades, producido por el Cybermetrics Lab del CSIC. El Ranking Web de Universidades es el único que tiene cuenta, en cierta medida, del impacto social de la actividad institucional, pues premia la publicación en abierto de la literatura científica, contabilizando el número de documentos accesibles desde los dominios web de las universidades estudiadas. Según el equipo del Ranking Web, la web sería un contexto más democrático y mejor indicado para recoger este papel social de los centros universitarios, especialmente para países en vías de desarrollo que están muy poco representados en los índices de citas (Aguillo, 2009).
Tabla I. Posición de las universidades analizadas en el Ranking Web de Universidades (Edición de julio de 2017)
En cuanto a los datos obtenidos para el estudio, se han seleccionado datos web que puedan obtenerse manualmente o a través de herramientas de uso gratuito. Concretamente, se han seleccionado los siguientes:
Tabla II. Definición de las métricas obtenidas de Twitter para medir el nivel de interacción y engagement de las instituciones 1,2,3
3. Resultados
3.1 Resultados de las entrevistas
3.1.1. Concepto de impacto social
Las personas entrevistadas entre mayo y junio de 2017 no comparten una definición única de impacto social, pues, entre otras cosas, no existe una política específica de la institución en este sentido. Sin embargo, conjuntamente, apuntan a aspectos que permiten acotar un concepto complejo, máxime desde el punto de vista de las políticas institucionales. En el curso de las entrevistas, el concepto de impacto social de las personas participantes se ha ido co-construyendo de forma interactiva con las investigadoras, pasando de connotaciones vinculadas al apoyo a colectivos desfavorecidos o incluso al mundo empresarial, cuando se relaciona con la marca UCM o la imagen corporativa, a identificarse con elementos concretos en las políticas y actuaciones de cada delegación o vicerrectorado.
En primer lugar, el impacto social es algo que se produce en diferentes esferas de la actividad institucional y repercute de manera transversal hacia múltiples partes, tanto académicas como no. Por ejemplo, favorecer el contacto con el tejido social es un objetivo transversal de muchos vicerrectorados y delegaciones, y el fin último de la investigación y la docencia que se realizan dentro de la universidad. La persecución de objetivos sociales, además, puede fomentar la consecución de objetivos institucionales. Por ejemplo, los programas de formación permanente a la vez que aportan posibilidades de actualización, permiten incrementar las matrículas en titulaciones de post-grado.
En segundo lugar, emerge que la labor institucional dirigida a la consecución del impacto social difiere mucho de una universidad a otra, incluso cuando las actuaciones “sociales” se ponen en común a través de redes. En el caso de las políticas de inclusión y diversidad, por ejemplo, aunque en todas las universidades españolas debe de haber un servicio SAPDU (Servicios de Atención a Personas con Discapacidad en la Universidad), en diferentes centros se pueden emplear criterios diferentes a la hora de reconocer la discapacidad. Lo mismo ocurre con las políticas de género, pues, aunque toda institución pública debe contar por ley con una unidad de género, la actuación de estas unidades puede diferir mucho de una universidad a otra, e incluso pueden existir diferencias en la definición de competencias o en las políticas concretas que se deben llevar a cabo desde una unidad de género.
En tercer lugar, el impacto social significa también apostar por la transparencia y la apertura de la institución de manera que la sociedad pueda conocerla mejor. Esto puede materializarse, por ejemplo, dando cabida en la universidad a personas tradicionalmente excluidas de esta, como las personas con discapacidad intelectual.
Finalmente, trabajar en políticas con vocación social confiere a las instituciones académicas el poder de participar activamente en el cambio social. Las políticas de género, por ejemplo, pueden poner en cuestión conceptos tan consolidados y aceptados como el de excelencia académica, si se considera que la valoración del mismo CV académico puede variar dependiendo de si se atribuye a un hombre o a una mujer.
3.1.2. ¿Cómo medir el impacto social?
Analizando de forma conjunta las entrevistas, la evaluación en base a datos cuantitativos no resulta en conflicto con la evaluación por estudio de caso, pues datos cuantitativos de distinta índole pueden integrarse en unos informes cualitativos más fieles a las especificidades de la actividad emprendida por cada vicerrectorado y diferentes universidades. Dependiendo de la naturaleza de las actuaciones de cada vicerrectorado o delegación, los datos pueden variar, a pesar de la existencia de un centro de inteligencia institucional. En líneas generales, es posible diferenciar posibles objetos de medición.
a. Personas y colectivos
La primera dimensión del impacto social es la que concierne a las personas con las cuales se trabajan determinadas políticas de envergadura social. Estas personas pueden identificarse como colectivos (por ejemplo, antiguos alumnos o alumnos en prácticas) o no. Por ejemplo, en el caso de las discapacidades, no es obligatorio registrarlas, y el colectivo real de personas con discapacidad es más amplio del que se reconoce oficialmente. Adicionalmente, contar con datos relativos a personas obliga a tomar conciencia de cuestiones relacionadas con la privacidad y confidencialidad de estos. También se pueden identificar colectivos más efímeros, como las personas que participan en programas concretos, por ejemplo los de voluntariado.
Las personas implicadas en actuaciones de envergadura social pueden pertenecer a la comunidad UCM o no. Dentro de la comunidad académica, aparte del alumnado y el profesorado, es importante tener en cuenta al personal de administración y servicios comprometido con actividades de impacto social, así como la distribución de hombres y mujeres en diferentes colectivos universitarios, pues puede reflejar posibles desigualdades que es importante detectar. En la actualidad, las mujeres tienden a desempeñar roles de gestión, mientras que los hombres se dedican a la investigación, actividad que goza de mayor reconocimiento académico. Fuera de la comunidad universitaria, las personas y colectivos interlocutores se identifican más claramente en el marco de los convenios que la institución establece con otras.
b. Convenios y relaciones
Las relaciones institucionales y los convenios de la UCM contribuyen a definir su identidad, pues la ubican en el entramado social, y tienen un matiz cualitativo (con quién se establecen) y cuantitativo (cuántas se llegan a formalizar). En lo cualitativo, cabe mencionar que los convenios y las relaciones institucionales se establecen tanto con entidades públicas, como por ejemplo otras universidades, como privadas, como por ejemplo las empresas, para prácticas o cátedras extraordinarias. Por otro lado, en lo cuantitativo, el número y la naturaleza de los interlocutores institucionales varía de una delegación o vicerrectorado a otro. La Delegación para Formación Permanente, Prácticas Externas y Empleabilidad, por ejemplo, cuenta con 16.000 convenios, debido a la peculiaridad de su actuación. Asimismo, cabe añadir que el trabajo realizado para construir relaciones no tiene porqué dirigirse hacia fuera y materializarse en convenios. Por ejemplo, la actuación de la Unidad de Igualdad de la UCM está orientada claramente hacia dentro, con el objetivo de diagnosticar desigualdades de género, promover planes de igualdad, y sensibilizar a la comunidad UCM. Las relaciones de la Unidad de Género con entidades externas a la UCM son raras y se limitan a los casos de violencia de género.
Desde el punto de vista de las relaciones y los convenios, el impacto social puede configurarse como asociado a ciertos patrones de colaboración, no siempre formales. Por ejemplo, la Delegación para la Unidad de Apoyo a la Diversidad e Inclusión destaca que, al lado de los convenios formales, existen relaciones de colaboración con entidades de diferente naturaleza, desde otras universidades (existe por ejemplo una Red madrileña de universidades inclusivas), hasta asociaciones y familias. En estas colaboraciones se intercambia conocimiento a cambio de charlas, por ejemplo. La colaboración entre diferentes colectivos es importante también para el éxito de las políticas de género, y los cursos mixtos para profesorado, personal de administración y servicios, y alumnado pueden verse como auténticos entornos de colaboración entre diferentes colectivos.
c. Eventos, interacción y engagement
Además de las personas y colectivos identificados para políticas de alcance social, así como de las posibles relaciones, formales e informales, con estos, están las oportunidades de interacción real. En este sentido, un ejemplo significativo son los encuentros anuales que se producen alrededor de las prácticas externas entre quienes tutorizan al alumnado dentro de la empresa y en la universidad, el alumnado y otros actores institucionales. Una función parecida desempeñan los foros para el empleo con stands, talleres, conferencias y posibilidades de networking.
Otra clase de eventos interactivos y participativos serían los cursos de formación, tanto destinados al personal interno, como los de igualdad de género o para voluntariado, como los abiertos a un público externo a la comunidad universitaria, especialmente aquellos dirigidos a personas que normalmente no tienen acceso a las aulas universitarias, como por ejemplo los cursos de formación a profesores de educación secundaria, o la formación para el empleo y la seguridad social. Adicionalmente, abrir las aulas universitarias permitiría a la universidad fomentar la transparencia.
Otra oportunidad de interacción estaría en conocer la satisfacción de las personas que han sido objeto de políticas específicas con vocación social, como, por ejemplo, en los programas de inclusión y diversidad.
En ningún caso se identificó la web como en un entorno claro de interacción y engagement. La razón estaría en que no todo el colectivo UCM utiliza la web social y que esta sería más efectiva para el alumnado que para el profesorado. Para las políticas de género, sin embargo, sí que se identifica un papel claro de la comunicación en plataformas sociales, pues pueden dar visibilidad a quejas y molestias dentro de la comunidad universitaria.
d. Procesos
En este apartado hemos querido identificar todas las actuaciones y procesos que las personas entrevistadas identifican como relevantes para la consecución de impacto social. Se trata de políticas a menudo a largo plazo cuya naturaleza es muy diferente de una delegación o vicerrectorado a otros. En unos casos puede tratarse de sistemas informáticos que permitan gestionar el volumen de relaciones y convenios de prácticas que tiene la UCM (GIPE). En otros, puede tratarse de medidas legislativas, como el desarrollo y la actualización de la normativa para las prácticas externas, o parecidas, como la definición de protocolos de acoso y el plan de actuación de género.
Las actividades encaminadas a la difusión, divulgación y visibilización también corresponden a este apartado, incluyendo la divulgación y difusión de cursos o la visibilización de asignaturas y grupos de investigación cuya labor repercute en lo social.
3.2 Datos procedentes de la web y de la web social
3.2.1. Misión de la universidad
Tal y como recomiendan las directrices E3M (E3M, 2012a), se ha comprobado si el compromiso social se enuncia expresamente como “impacto social” dentro de la Misión de la institución. Para ello se ha contrastado, en primer lugar, si en la web de todas las universidades analizadas aparece visible su Misión, en qué ubicación exacta (fundamentalmente si se encuentra en su Portal de Transparencia), si en ella se enuncia expresamente el tema y, si no es así, si recoge referencias que se puedan relacionar con él, tales como servicio público, formación global y en valores, beneficios y relaciones para y con la sociedad, compromiso social, o integración de colectivos, entre otras. Cumpliendo con tres de estas cuatro dimensiones, la UCM y otras 7 universidades españolas se sitúan en las posiciones de cabecera, según puede observarse en la Tabla III.
Tabla III. Tratamiento del concepto de “compromiso social” en las sedes web de las universidades analizadas
3.2.2. Métricas de interacción y engagement procedentes de Twitter
La Tabla IV pone de manifiesto un compromiso importante de la UCM con su audiencia en Twitter, pues en las tres métricas la UCM se sitúa entre las primeras cuatro universidades. Este compromiso se manifiesta en el promedio más alto de menciones -–es decir, en las referencias expresas a otras cuentas de Twitter; en la difusión que da a contenido publicado por parte de otras cuentas a través de los retweets, y en el número de respuestas que aporta a tweets publicados por otros.
Tabla IV. Métricas de interacción y engagement en Twitter
3.2.3. Métricas de ResearchGate
Según es posible observar en la Tabla V, en la que las universidades se ordenan en base al promedio de documentos por miembro registrado (primera columna), la UCM presenta el segundo RG Score más alto del conjunto, sin embargo en la plataforma aporta comparativamente menos contenido que otras, con un promedio de 2,94 publicaciones por miembro registrado. El RG score es un indicador cuyo peso depende de forma importante de los indicadores bibliométricos tradicionales, en particular el factor de impacto, apuntando a que la investigación publicada por la comunidad UCM en RG es investigación de impacto. Por otro lado, la auto-publicación de la comunidad universitaria de la UCM en RG es comparativamente menor que la de otras y, teniendo en cuenta el promedio de trabajos por persona, la UCM se sitúa detrás de 6 instituciones.
Tabla V. Métricas de RG. Fuente ResearchGate. Los datos se recabaron el día 13 de diciembre de 2017 4
3.2.4. Métricas de YouTube
En la Tabla VI los datos se han ordenado en base al número de suscriptores a los respectivos canales institucionales. La UCM se encuentra en tercer lugar por detrás de la Universidad Politécnica de Madrid y la Universidad Nacional Autónoma de México.
Tabla VI. Métricas de YouTube. Los datos se obtuvieron el 13/12/2017 5
3.2.5. Tamaño del repositorio
Como anticipábamos en el apartado de Método, estos datos pueden presentar ciertas limitaciones, aunque ordenando las universidades por número de documentos registrados en sus repositorios institucionales, la Università degli Studi de Firenze vuelve a situarse en el top del ranking confirmando los datos obtenidos en ResearchGate y presentando una comunidad universitaria comparativamente más comprometida con el acceso abierto a su producción científica, pues casi triplica a la siguiente.
Tabla VII. Número de documentos registrados en el repositorio institucional
4. Discusión y Conclusiones
Los resultados relativos a la auto-percepción de la UCM respecto a su impacto social y los datos obtenidos de la web dibujan conjuntamente y en comparación con otras instituciones una imagen positiva del desempeño social de esta institución. Las representantes del equipo de gobierno entrevistadas identifican cuatro diferentes dimensiones del impacto social, a saber: 1) personas y colectivos, 2) convenios y relaciones, 3) eventos, interacción y engagement, y 4) procesos. La detección de estas cuatro dimensiones y el acuerdo existente entre las personas entrevistadas avalan cierta conciencia institucional respecto de la problemática del impacto social. Asimismo, muestran cierta coherencia con las directrices REF 2014, que ubican el impacto en muchos tipos de beneficiarios (individuos, organizaciones, comunidades, o regiones) y en “productos, procesos, comportamientos, políticas y prácticas” (Samuel y Derrick, 2015: P. 232); y con el marco conceptual esbozado por Vargiu (2014), como resultado de iniciativas anteriores y articulado en misión y estrategias institucionales, investigación, participación estudiantil, diseminación, accesibilidad y uso de infraestructuras, y relaciones con interlocutores locales. Además, aunque muestran cierta coherencia con los indicadores esbozados en (E3C, 2012a), se diferencian de estos por su mayor indeterminación. Por ejemplo, los indicadores de E3C (2012a) hablan de “voluntariado” en lugar de personas, o restringen las posibilidades de engagement a las consultorías técnicas, limitando en muchos sentidos no solo el alcance del impacto social, sino las posibilidades reales de medición en centros diferentes y de aplicación a contextos cambiantes. En investigaciones futuras, sería deseable comprobar si estas cuatro dimensiones identificadas para la UCM son válidas para otras universidades españolas e internacionales, pues al amparo de estas cuatro dimensiones y respetando la especificidad de cada universidad es posible ir produciendo indicadores y métricas para cuantificar, aunque complementariamente a los informes cualitativos, el desempeño social de una institución. Existe gran diversidad en el panorama universitario español e internacional que debe desalentar de soluciones únicas que no tengan en cuenta el contexto y la especificidad de cada institución, pues algunas instituciones tienen una vocación más tecnológica y otras docente y en todo caso interactúan con el contexto social de forma diferente (Sánchez-Barrioluengo, 2014). Otro aspecto que merece la pena investigar es la actitud del personal docente e investigador, especialmente por lo que concierne a su disponibilidad de interacción con interlocutores no académicos.
En cuanto a los datos obtenidos de la web, la UCM destaca en todas las métricas por encabezar la lista de las universidades analizadas, aunque con menos claridad cuando se mide el número de documentos recopilados en el repositorio institucional y el promedio de documentos por perfil en ResearchGate. Se trata de dos entornos en los cuales puede observarse el nivel de participación de la comunidad universitaria, porque el depósito de la producción científica en abierto depende de los individuos y, aunque la UCM siga ocupando buenas posiciones, muestra, comparativamente con otros resultados, un rendimiento inferior. Es decir que en los indicadores recabados de la web y los medios sociales que dependen de una estrategia explícita de gobierno, por ejemplo la actividad en Twitter o en YouTube, la UCM muestra mejores resultados que en los que dependen de la aportación conjunta de toda la comunidad universitaria, como por ejemplo los indicadores de ResearchGate. Esto parece apuntar a que la participación de la comunidad universitaria, por lo menos en las actividades de difusión del conocimiento científico, es algo menos decidida que la presencia e interacción en los medios sociales promovida por la dirección de la universidad. A la luz de los resultados obtenidos en las entrevistas, sin embargo, cabe señalar que la web puede devolver una imagen parcial no solo de la comunidad universitaria, en parte bastante reacia a utilizar la web social, sino de todas las posibles ocasiones de interacción y engagement que se dan en el ámbito de una universidad.
Finalmente, cabe concluir que la aportación de datos cuantitativos comparables con un conjunto de otras 20 universidades ha permitido visibilizar un menor compromiso por parte de la comunidad universitaria de la UCM en la difusión de conocimiento en abierto, ratificando la postura altmétrica sobre la necesidad de cuantificar y comparar indicadores de impacto social. Si los estudios de caso pueden ayudar a detectar áreas de interés para el desempeño social, como en el caso de la auto-percepción del equipo de dirección de la UCM en este trabajo, dentro de estas áreas o de forma complementaria a estas resulta necesario aportar datos cuantitativos comparables. Corresponde a la comunidad científica estudiar cuáles datos y cuáles herramientas utilizar, desarrollando sus bases conceptuales. En este trabajo, se escogieron indicadores consecuentes con ciertos supuestos teóricos, como, por ejemplo, la posibilidad de impacto social a través de la interacción con actores no-académicos (Spaapen y Van Droge, 2011), o a través de la difusión de conocimiento científico en abierto (Ranking Web de Universidades). Sin embargo, es necesario ampliar el abanico de indicadores y herramientas para poder adaptarlos a la especificidad de cada institución.
Agradecimientos
La investigación recogida en este artículo se ha desarrollado en el marco del proyecto UCM-Santander PR2616-20347, titulado “Evaluación científico-académica de universidades: un modelo basado en la Universidad Complutense de Madrid” y dirigido por la Profesora María Teresa Fernández Bajón.
1 Las menciones en Twitter son referencias a otros usuarios de Twitter a través de su nombre de cuenta.
2 Es decir, reenvíos de tweets recibidos de otros a los seguidores de una cuenta.
3 Se trata de respuestas que otros usuarios publican a los tweets de una cuenta determinada.
4 Las universidades se han ordenado en base al promedio de documentos por miembro registrado (primera columna).
5 Las universidades se han ordenado en base al número de suscriptores al canal institucional.
1. Aguillo, Isidro. 2009. Measuring the institution’s footprint in the web. En Library Hi Tec. Vol. 27, no. 4, 540-556.
2. Benneworth, Paul; Rómulo Pinheiro y Mabel Sánchez-Barrioluengo. 2016. One size does not fit all! New perspectives on the university in the social knowledge economy. En Science and Public Policy. Vol. 43, no.6, 731-735.
3. Bornmann, Lutz. 2012. Measuring the societal impact of research. En EMBO Reports, Vol. 13, no. 8, 673- 676.
4. Bornmann, Lutz. 2013. What is societal impact of research and how can it be assessed? A literature survey. En Journal of the American Society of Information Science and Technology. Vol. 64, no. 2, 217-233.
5. Bornmann, Lutz. 2014. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. En Journal of Informetrics. Vol. 8, no. 4, 895-903.
6. Bornmann, Lutz. 2015. Alternative metrics in scientometrics: A meta-analysis of research into three altmetrics. En Scientometrics. Vol. 103, no. 3, 1123-1144.
7. Bornmann, Lutz; Werner Marx. 2014. How should the societal impact of research be generated and measured? A proposal for a simple and practicable approach to allow interdisciplinary comparisons. En Scientometrics. Vol. 98, no. 1, 211-219.
8. Bornmann, Lutz; Benjamin F. Bowman; Johann Bauer; Werner Marx; Hermann Schier y Margit Palzenberger. 2014. 11 Bibliometric Standards for Evaluating Research Institutes in the Natural Sciences.En Beyond Bibliometrics: Harnessing Multidimensional Indicators of Scholarly Impact. p. 201-223.
9. Bornmann, Lutz; Robin Haunschild y Werner Marx. 2016. Policy documents as sources for measuring societal impact: how often is climate change research mentioned in policy-related documents? En Scientometrics. Vol. 109, no. 3, 1477-1495.
10. Boyd, Danah; Scott Golder y Gilad Lotan. 2010. Tweet, tweet, retweet: Conversational aspects of retweeting on twitter. En Hawaii International Conference on System Sciences-IEEE (43a: 2010: Hawaii). p. 1-10. <https://www.danah.org/papers/TweetTweetRetweet.pdf> [Consulta: 9 marzo 2017].
11. De Jong, Stefan; Katharine Barker; Deborah Cox; Thordis Sveinsdottir y Peter Van den Besselaar. 2014. Understanding societal impact through productive interactions: ICT research as a case. En Research Evaluation. Vol. 23, no. 2, 89-102.
12. E3M. European Indicators and Ranking Methodology for University Third Mission, 2012. Libro verde. El fomento y la medición de la «Tercera Misión» en las Instituciones de Educación Superior. Informe. <http://e3mproject.eu/Green%20paper-p-C.pdf> [Consulta: 9 marzo 2017].
13. E3M. European Indicators and Ranking Methodology for University Third Mission. 2012a. Conceptual Framework for Third Mission Indicator Definition. Informe, <http://e3mproject.eu/Concep-Framework-Third-Mission-Indicator.pdf> [Consulta: 9 marzo 2017].
14. E3M. European Indicators and Ranking Methodology for University Third Mission. 2012b. Needs and constraints analysis of the three dimensions of third mission activities. Informe. <http://e3mproject.eu/Three-dim-third-mission-act.pdf> [Consulta: 28 marzo 2017].
15. Fernández Bajón, María Teresa. 2018. Evaluación científico-académica de universidades: un modelo basado en la Universidad Complutense de Madrid. Memoria. Proyecto de Investigación Santander-UCM.
16. Funtowicz, Silvio O. y Jerome. R. Ravetz. 1993. Science for the Post-Normal Age. En Futures. Vol. 25, no. 7, 739-755.
17. Gibbons, Michael; Camille Limoges; Helga Nowotny; Simon Schwartzman; Peter Scott y Martin Trow. 1994. The new production of knowledge: The dynamics of science and research in contemporary societies. London: Sage.
18. Given, Lisa M.; Wade Kelly y Rebekah Willson. 2015. Bracing for impact: The role of information science in supporting societal research impact. En Proceedings of the Association for Information Science and Technology. Vol. 52, no. 1, 1-10.
19. Global Reporting Indicators. <https://www.globalreporting.org/Pages/default.aspx> [Consulta: 9 marzo 2018].
20. González-Albo, Borja; Luz Moreno; Fernanda Morillo y María Bordons. 2012. Indicadores bibliométricos para el análisis de la actividad de una institución multidisciplinar: el CSIC. En Revista Española de Documentación Científica. Vol. 35, no. 1, 9-37.
21. González-Fernández-Villavicencio, Nieves. 2016. Métricas de la web social para bibliotecas. Barcelona: Editorial UOC - El Profesional de la Información
22. Greenhalgh, Trisha; James Raftery; Steve Hanney y Matthew Glover. 2016. Research impact: a narrative review. En BMC Medicine. Vol. 14, no. 1, 1.
23. Holmberg, Kim J. 2015. Altmetrics for information professionals: Past, present and future. Oxford: Chandos Publishing.
24. Huerta-Riveros, Patricia y Héctor Gaete-Feres. 2017. Responsabilidad social universitaria a través de los reportes de sostenibilidad del Global Reporting Initiative: experiencia de una universidad pública. En Revista Iberoamericana de Educación Superior. Vol. 8, no. 23, 120-137.
25. International Standard Organization. 2010. 26000: 2010. Términos y Definiciones. <https://www.iso.org/obp/ui#iso:std:iso:26000:ed-1:v1:es> [Consulta: 9 marzo 2018].
26. Jeng, Wei; Daqing He y Jiepu Jiang. 2015. User participation in an academic social networking service: A survey of open group users on Mendeley. En Journal of the Association for Information Science and Technology. Vol. 66, no. 5, 890-904.
27. Jiménez-Buedo, María e Irene Ramos Vielba. 2009. ¿Más allá de la ciencia académica?: modo 2, ciencia posnormal y ciencia posacadémica. En Arbor. Vol. 185, no. 738, 721-737.
28. Kousha, Kayvan y Mike Thelwall. 2015. Patent citation analysis with Google. En Journal of the Association for Information Science and Technology. Vol. 68, no. 1, 48-61.
29. Mas-Bleda, Amelia e Isidro F. Aguillo. 2015. La web social como nuevo medio de comunicación y evaluación científica. Barcelona: Editorial UOC y EPI.
30. Miettinen, Reijo; Juha Tuunainen y Terhi Esko. 2015. Epistemological, artefactual and interactional–institutional foundations of social impact of academic research. En Minerva. Vol. 53, no. 3, 257-277.
31. Olarte-Mejía, Diana Victoria y Leonardo Alberto Ríos-Osorio. 2015. Enfoques y estrategias de responsabilidad social implementadas en instituciones de educación superior. Una revisión sistemática de la literatura científica de los últimos 10 años. En Revista de la Educación Superior. Vol.44, no. 175, 19-40.
32. Orduña-Malea, Enrique; Alberto Martín-Martín y Emilio Delgado-López-Cózar. 2016. ResearchGate como fuente de evaluación científica: desvelando sus aplicaciones bibliométricas. En El Profesional de la Información. Vol. 25, no. 2, 303-310.
33. Ozanne, Julie L.; Brennan Davis; Jeff B. Murray; Sonya Grier; Ahmed Benmecheddal; Hilary Downey; Akon E. Ekpo; Marion Garnier; Joel Hietanen; Marine Le Gall-Ely; Anastasia Seregina; Kevin D. Thomas y Ekant Veer. 2017. Assessing the Societal Impact of Research: The Relational Engagement Approach. En Journal of Public Policy & Marketing. Vol. 36, no. 1. 1-14. http://dx.doi.org/10.1509/jppm.14.121.
34. Palomares-Montero, D.; A. García-Aracil y E. Castro-Martínez. 2008. Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. En Revista Española de Documentación Científica. Vol 31, no. 2, 205-229.
35. Priem, Jason; Dario Taraborelli; Paul Groth y Cameron Neylon. 2010. Altmetrics: A manifesto. <http://altmetrics.org/manifesto/> [Consulta: 9 marzo 2018].
36. Quan-Haase, Anabel; Kim Martin y Lori McCay-Peet. 2015. Networks of digital humanities scholars: The informational and social uses and gratifications of Twitter. En Big Data & Society. Vol. 2, no. 1.
37. Quezada, Ricardo G. 2011. La responsabilidad social universitaria como desafío para la gestión estratégica de la Educación Superior: el caso de España. En Revista de Educación. Vol. 355, 109-133.
38. Ramalho, Betania L. y José. B. Llavador. 2012. Universidad y sociedad: la pertinencia de educación superior para una ciudadanía plena. En Revista Lusófona de Educaçao. No. 21, 33-52.
39. Ramallo, Milena. 2015. La evaluación de la Responsabilidad Social Universitaria. En Debate Universitario. Vol. 4, no. 7, 25-38.
40. Ranking Web de Universidades. <http://www.webometrics.info/es/world> [Consulta: 23 marzo 2018].
41. Rassenfosse, Gaétan y R. Williams. 2015. Rules of engagement: measuring connectivity in national systems of higher education. En Higher Education. Vol. 70, no. 6, 941-956.
42. Samuel, Gabrielle. N. y Gemma E. Derrick. 2015. Societal impact evaluation: Exploring evaluator perceptions of the characterization of impact under the REF 2014. En Research Evaluation. Vol. 24, no. 3, 229-241.
43. Sánchez-Barrioluengo, Mabel. 2014. Articulating the ‘three-missions’ in Spanish universities. En Research Policy. Vol. 43, no. 10, 1760-1773.
44. Serrano-López, Antonio E.; Maxima Bolaños-Pizarro y Andres Pandiella-Dominique. 2015. Propuesta de un mapa para la clasificación de universidades basado en indicadores bibliométricos y altmétricos. En Encuentro Ibérico EDICIC (7º: 2015: Madrid). Desafíos y oportunidades de las Ciencias de la Información y la Documentación en la era digital: actas. Madrid: Universidad Complutense de Madrid.
45. SIAMPI. Social Impact Assessment Methods for research and funding instruments through the study of Productive Interactions. <http://www.siampi.eu/ > [Consulta: 15 diciembre 2017].
46. Spaapen, Jack y Leonie Van Drooge. 2011. Introducing ‘productive interactions’ in social impact assessment. En Research Evaluation. Vol. 20, no. 3, 211-218.
47. Stuart, David. 2014. Web metrics for library and information professionals. Londres: Facet Publishing.
48. Thelwall, Mike y Kayvan Kousha. 2015. ResearchGate: Disseminating, communicating, and measuring scholarship? En Journal of the Association for Information Science and Technology. Vol. 66, no. 5, 876-889.
49. Trencher, Gregory; Masaru Yarime; Kes B. McCormick; Chistopher. N. Doll y Kraines, B.Steven. 2014. Beyond the third mission: Exploring the emerging university function of co-creation for sustainability. En Science and Public Policy. Vol. 41, no. 2, 151-179.
50. Vallaeys, François. 2014. La responsabilidad social universitaria: un nuevo modelo universitario contra la mercantilización. En Revista Iberoamericana de Educación Superior. Vol. 5, no. 12, 105-117.
51. Vallaeys, François; Cristina de la Cruz y Pedro M. Sasia. 2012. Manual de primeros pasos en responsabilización social universitaria. En Francia:(sn). <http://www.cyta.com.ar/biblioteca/bddoc/bdlibros/rse/334_as_manual_rsu_bid.pdf> [Consulta: 2 marzo 2018].
52. Vallaeys, François; Cristina De la Cruz y Pedro. M. Sasia. 2009. Responsabilidad social universitaria: manual de primeros pasos. México DF: Banco Interamericano de Desarrollo. <https://publications.iadb.org/bitstream/handle/11319/245/Responsabilidad%20so%20cial%20universitaria.pdf?sequence=1> [Consulta: 2 marzo 2018].
53. Vargiu, Andrea. 2014. Indicators for the evaluation of public engagement of higher education institutions. En Journal of the Knowledge Economy. Vol. 5, no. 3, 562-584.
54. Wigmore-Álvarez, Amber y Mercedes Ruiz-Lozano. 2012. University Social Responsibility (USR) in the Global Context: An Overview of Literature. En Business & Professional Ethics Journal. Vol. 31, no. 3-4, 475-498.
55. Zarco, Carmen; Salvador Del-Barrio-García y Óscar Cordón. 2016. Propuesta de rankings de universidades españolas en redes sociales. En El Profesional de la Información. Vol. 25, no. 4, 684-698.
56. Ziman, Johnston. 1994. Prometheus bound. Science in a dynamic steady state. Cambridge: Cambridge University Press.