Challenges of research assessment oriented towards knowledge mobilization in the transition to open science: an analysis based on the case of the Working Groups from the Latin American Council of Social Sciences

Main Article Content

Pablo Vommaro
Laura Rovelli

Abstract

Various recent debates and initiatives have once again brought to the forefront the need to reform research evaluation and its greater link with society, based on a growing openness, collaboration and participation in the field of knowledge, following some of the principles of transition to open science. The foregoing entails multiple challenges for the design of research promotion instruments and their evaluation. Taking as a sample case an experience in the Research Area of the Latin American Council of Social Sciences (Clacso), this article aims to describe and analyze the challenges of evaluating research aimed at mobilizing knowledge, based on the configuration of Clacso’s Groups of Work, with a focus on the criteria of the 2019-2022 call. In particular, the specific characteristics of the evaluation criteria involved in this program and its scope in relation to inclusion, openness, collaboration and interaction with society are explored. The approach is qualitative in nature and benefits from the collection of mainly documentary data related to the bases of the call for the 2019-2022 Working Groups, the evaluation grids used and the organizational actions promoted around some of the principles of open access and open science.

Keywords:
Clacso’s Working Group, open science, research, evaluation, knowledge mobilization

References

Alperin, J. P., Babini, D. y Fischman, G. (eds.) (2014). Indicadores de acceso abierto y comunicaciones académicas en América. Consejo Latinoamericano de Ciencias Sociales. http://eprints.rclis.org/25121/

Babini, D. y Rovelli, L. (2020). Tendencias recientes en las políticas científicas de ciencia y acceso abierto en Iberoamérica. Consejo Latinoamericano de Ciencias Sociales. http://eprints.rclis.org/40955/

Beigel, F. (2014). Publishing from the periphery: Structural heterogeneity and segmen- ted circuits. The evaluation of scientific publications for tenure in Argentina’s Coni- cet. Current Sociology, 62(5), 743-765. https://doi.org/10.1177/0011392114533977

Bianco, M., Gras, N. y Sutz, J. (2016). Academic evaluation: Universal instrument? Tool for development? Minerva, 54(4), 399-421. https://doi.org/10.1007/s11024-016-9306-9

Cohanoff, C., Mederos, L. y Simón, L. (2014). La Universidad vinculada y sus desafíos. En

M. Bianco y J. Sutz (coord.), Veinte años de políticas de investigación en la Universi- dad de la República: Aciertos, dudas y aprendizajes (pp. 85-106). Universidad de la República. https://www.academia.edu/download/52981933/Veinte_anos_de_politi- cas_de_investigacion_en_la_Universidad_de_la_Republica.pdf#page=86

CLACSO – Consejo Latinoamericano de Ciencias Sociales (2020a). Propuesta de De- claración de Principios. Una nueva evaluación académica para una ciencia con re- levancia social en América Latina y el Caribe. Serie Para Una Transformación de la Evaluación de la Ciencia en América Latina y el Caribe del Foro Latinoamericano sobre Evaluación Científica (FOLEC). 2da. Edición. CLACSO. https://biblioteca-repositorio.clacso.edu.ar/handle/CLACSO/3353.

CLACSO – Consejo Latinoamericano de Ciencias Sociales (2020b). Diagnóstico y pro- puestas para una iniciativa regional. Serie Para Una Transformación de la Evalua- ción de la Ciencia en América Latina y el Caribe del Foro Latinoamericano sobre Evaluación Científica (FOLEC). CLACSO. https://biblioteca-repositorio.clacso.edu.ar/handle/CLACSO/3349.

Curry, S., de Rijcke, S., Hatch, A., Pillay, D. G., van der Weijden, I. y Wilsdon, J. (2020). The changing role of funders in responsible research assessment: Progress, obstacles and the way ahead. https://eprints.whiterose.ac.uk/171602/

Declaración de Panamá sobre ciencia Abierta. https://web.karisma.org.co/wp-content/ uploads/download-manager-files/declaracion_panama_ciencia_abierta.pdf

Hicks, D., Wouters, P., Waltman, L., De Rijcke, S. y Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429-431. https://doi.org/10.1038/520429a

Kraemer-Mbula, E., Tijssen, R., Wallace, M. L. y McLean, R. (2021). Introducción. En E. Kraemer-Mbula, R. Tijssen, M. L. Wallace y R. McLean (eds.), Transformando la ex- celencia en la investigación: Nuevas ideas del Sur global (pp. 1-18). Universidad del Rosario. https://simehbucket.s3.amazonaws.com/miscfiles/transformando-excelencia-investigacion-web_4n31buat.pdf

Llamada de Jussieu para la Ciencia abierta y la bibliodiversidad. https://jussieucall.org/llamada-de-jussieu/

Mancisidor, M. (2017). El derecho humano a la ciencia: Un viejo derecho con un gran futuro. Anuario de Derechos Humanos, 13, 211-221. DOI: 10.5354/0718-2279.2017.46887

Ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation. (2021). Deu- xième Plan national pour la science ouverte: Généraliser la science ouverte en France 2021-2024. https://www.ouvrirlascience.fr/wp-content/uploads/2021/06/Deuxie- me-Plan-National-Science-Ouverte_2021-2024.pdf

Naidorf, J. y Alonso, M. (2018). La movilización social del conocimiento en tres tiempos. Revista Lusófona de Educação, 39(39), 81-95. https://revistas.ulusofona.pt/index. php/rleducacao/article/view/6404

Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. (2021). Recomendación de la Unesco sobre la Ciencia Abierta. https://unesdoc.unesco.org/ark:/48223/pf0000379949_spa

Pölönen, J. (2020, 23 de octubre). Helsinki Initiative on Multilingualism in Scholarly Communication. https://core.ac.uk/download/pdf/343483267.pdf

Ràfols, I. (2019). S&T indicators in the wild: Contextualization and participation for re- sponsible metrics. Research Evaluation, 28(1), 7-22. https://doi.org/10.1093/reseval/rvy030

Salatino, M. y López Ruiz, O. (2021). El fetichismo de la indexación: Una crítica latinoa- mericana a los regímenes de evaluación de la ciencia mundial. Revista Iberoame- ricana de Ciencia, Tecnología y Sociedad, 16(46), 73-100. http://ojs.revistacts.net/ index.php/CTS/article/view/212

San Francisco Declaration on Research Assessment. https://sfdora.org/read/

Social Sciences and Humanities Research Council. (s. f.). Knowledge mobilization. https://www.sshrc-crsh.gc.ca/funding-financement/programs-programmes/definitions-eng.aspx#km-mc

Sutz, J. (2014). Calidad y relevancia en la investigación universitaria: apuntes para avan- zar hacia su convergencia. Revista Iberoamericana de Ciencia, Tecnología y Sociedad, 9(27), 63-83. http://www.revistacts.net/contenido/numero-27/calidad-y-relevancia- en-la-investigacion-universitaria-apuntes-para-avanzar-hacia-su-convergencia/

Tijssen, R. y Kraemer-Mbula, E. (2017, 1 de octubre). Perspectives on research excellence in the Global South: Assessment, monitoring and evaluation in developing country contexts. https://openair.africa/perspectives-on-research-excellence-in-the-glob- al-south-assessment-monitoring-and-evaluation-in-developing-country-contexts/

Vessuri, H. (2019). Science for a sustainable development (Agenda 2030). http://www. unesco.org/new/fileadmin/MULTIMEDIA/FIELD/Montevideo/pdf/PolicyPapersCI- LAC-CienciaAgenda203-EN.pdf

Vessuri, H., Guédon, J. C. y Cetto, A. M. (2013). Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development. Current Sociology, 62(5), 647-665. https://doi.org/10.1177/0011392113512839

Wilsdon, J. (2015). The metric tide: Independent review of the role of metrics in research assessment and management. Sage.

Similar Articles

You may also start an advanced similarity search for this article.