Workshop on “How to measure the impact of scientific results on Society”

On 6 November 2013, Duisburg hosted a workshop within the framework of the SiSOB project to discuss how to study the impact of the results from the scientific studies on society. This is the main goal of the SiSOB project. The attempt during the workshop was to reflect on this main goal and on how the work done along the last three years has helped to meet this challenge.

The workshop started analyzing the case studies addressed by the project (Research mobility, Knowledge Sharing and Peer Review) and used as framework for discussion on issues and open-ended questions with the aim to connect the significant challenge of connecting research results with the citizenship to improve their quality of life. The working day began with the following questions, each one printed in different colored pieces of paper:

1. Biggest trends in the past 10 year
2. Emerging & future trends
3. Chances / opportunities
4. Risks (both ways: external threats to topic, risks originating from topic)
5. Role of communities and networks (of actors)
6. Role of Big Data
7. Role of technology and tools

The workshop has been attended by members of the consortium as well as some experts in some of the issues of the project’s thematic framework. They travelled to Duisburg to share the results of the research done and reflect on the open challenges and working lines to be tackled in this type of research. The idea is to make full use of the advances in technology and the new ways to collect data to target the specific objectives derived and match them with research and policy issues, the needs of society and a better life for citizens.

The workshop has become a shared activity where world-coffee discussion activities, proposal of ideas and reflection have been put together.

Keeping in mind the case studies and a set of seven previously listed questions, the most significant items were identified to later go on with the impact of research results on society. The questions examined the cases of use of the project: mobility, knowledge sharing and peer review, which will be dealt in depth in later posts in this blog.

The answers were then categorized in three major themes linked to research: scientific data, technology and policies. The material was then used to discuss on the great challenges to be addressed and on the advances achieved by SiSOB at political level as well as how SiSOB has been able to connect with the actions undertaken and the results achieved:

•  Thus, it is interesting to notice how, in projects like SiSOB, an open policy allows access to data to undertake studies which connect research management to its results. SiSOB has demonstrated that the open data can be used in this sort of studies, are quite useful and help us work towards the envisaged objectives.
• A number of items like the existence of unique identifiers, repositories, metadata formats, and protocol of data upload which allow creating observatories to help politicians understand how the investment in research is seen by the society. For the SiSOB project, this type of items connects projects with results and the way how citizens use them. To that aim, data from other sources different to publications or patents are also collected. That is, ‘what people say’ is collected from social networks, blogs, newspapers, reviews, etc.
• Bring the results obtained in the SiSOB Project in line with the results of similar projects like ORCID, SNOWBALL,CERIF, ALTMETRICS, among others. The idea is to record results and work towards the same goal.
• The role of technology, methods and algorithms to draw up conclusions and connect different fields from which to measure aspects related to impact and society.

We have seen in the SiSOB Project how a different approach of studies on science based on models of agent networks joined by their research activities is another way to analyze science results. Information is treated differently and particular emphasis is placed on those items which concern to society; the result is then measured and represented. In this sense, the whole process can be seen and represented as a flow from the sector which generates knowledge to the one which uses it. Our approach attempts to represent it and then look for quantitative measures that can show and display it.

To conclude, several aspects can be highlighted from the workshop and the surrounded discussion. Firstly, and with regard to the workshop held under the world-coffee formula and assisted by three working tables, it was an enriching experience for everyone, especially thanks to the experts’ contributions, who visited every working table and held discussions on the topics proposed with every partner, sharing their knowledge and experience. Secondly, it was also noteworthy the sharing of conclusions of each working table as well as the joint exchange and discussion around Politics, Scientific Data and Technology.

The workshop ended with suggestions and new proposals of analysis and research lines from the experts to the SiSOB researchers, which reveals the long path still to be explored.

El Workshop del Proyecto SiSOB se celebró el 6 de noviembre de 2013 en la ciudad de Duisburg, con el objetivo de debatir sobre cómo estudiar el impacto en la sociedad de los resultados de los estudios científicos. Objetivo que conforma el eje principal de la investigación del Proyecto SiSOB. Este encuentro ha sido un punto de reflexión sobre este objetivo y de cómo los trabajos realizados en el proyecto, durante tres años, han ayudado a alcanzar este reto.

La dinámica de trabajo y reflexión en el workshop ha girado en torno a los casos de estudio tratados en el Proyecto SiSOB (movilidad de los investigadores, intercambio de conocimiento y revisión por pares). A través de preguntas y cuestiones abiertas se trazaban conexiones entre los resultados de la investigación y la sociedad, así como con la mejora de la calidad de vida. El punto de partida de la jornada fueron las siguientes cuestiones, a cada una de las cuales se les adjudicó un color diferente en función de sus características:

1.  Grandes tendencias de los últimos 10 años
2. Tendencias emergentes y futuras
3. Oportunidades
4.  Riesgos (tanto externos al tema como riesgos originados por el propio tema
5. Papel de las comunidades y redes (de participantes/actores)
6. Papel del Big Data
7. Papel de la tecnología y herramientas

En este encuentro han participado miembros del consorcio así como un conjunto de invitados, expertos en temas relacionados con la temática del Proyecto. Todos ellos, se desplazaron a Dusiburg con el objetivo de compartir una jornada de trabajo en la que se pusieron en común los resultados de la investigación realizada. Asimismo, se reflexionó sobre los retos y líneas de trabajo que se abren en el futuro para este tipo de investigaciones. Se trata de aprovechar los avances de la tecnología y nuevas formas de obtener y coleccionar datos hacia objetivos concretos que permitan vincular la investigación con aspectos relacionados con la política, las necesidades de la sociedad y la mejora de la vida de los ciudadanos. 

El workshop ha sido un encuentro dinámico, una actividad participativa en la que se ha combinado un world-caffe con actividades de debate, propuesta de ideas y reflexión. 

Empezando por los casos de estudio y el conjunto de siete preguntas listadas previamente, se identificaron los elementos más relevantes para avanzar hacia la medida del impacto de los resultados científicos en la sociedad. Las preguntas se trataron desde el enfoque de los casos de estudio del Proyecto: mobilidad, knowledge sharing y peer review. Se tratarán en más detalle en futuros post de este blog.

Las respuestas se reclasificaron en tres grandes temas vinculados con la investigación: datos científicos, tecnología y políticas. Con todo este material se debatió sobre los grandes retos que se plantean y qué avances ha supuesto el Proyecto SiSOB:

• a nivel político y el ser capaz de conectarlas con las acciones realizadas y los resultados obtenidos. Así,  la política en abierto es interesante en un proyecto como SiSOB para poder tener acceso a los datos para hacer estudios que conecten la gestión de la investigación con los resultados de la misma. En el proyecto SiSOB ha mostrado que todos los datos que están en abierto pueden ser utilizados para estudios de este tipo, son útiles y permiten trabajar hacia los objetivos planteados.
• elementos como la existencia de identificadores únicos, repositorios, formatos de metadatos, protocolos de carga de datos que permitan crear observatorios que ayuden a los políticos a entender como la sociedad recibe las inversiones que se hacen en investigación. En el proyecto SiSOB este tipo de elementos ayudan a conectar proyectos con resultados y la forma en que la ciudadanía lo usa. Para ello se recopilan datos de diferentes fuentes, no solo las habituales como publicaciones o patentes sino también en “lo que dice la gente” por canales como las redes sociales, blogs, periódicos, comentarios a artículos, etc.
• poner los resultados de SiSOB en consonancia con resultados de proyectos similares tales como ORCID, SNOWBALL, CERIF, ALTMETRICS, entre otros. Se trata de sumar resultados y trabajar hacia el mismo objetivo.
• el papel de la tecnología, los métodos y los algoritmos para descubrir conclusiones y conectar campos diferentes, a partir de los cuales medir aspectos relacionados con el impacto y la sociedad. En el proyecto SiSOB hemos visto como un enfoque diferente de los estudios sobre ciencia basado en modelos de redes de agentes con relaciones basadas en actividades de investigación es otra forma de analizar los resultados de la ciencia.  Se modela la información de otra forma y  da un énfasis especial a aquellos elementos que destacan relación con la sociedad, se mide y se representa. En este sentido, todo este proceso puede verse y representarse como un flujo desde un sector que genera conocimiento hacia otro que lo usa. Nuestro enfoque fue intentar representarlo y luego buscar medidas cuantitativas para mostrarlo y visualizarlo.

Como conclusión se pueden resaltar varios aspectos, tanto del evento en sí como de las ideas y discusiones que tuvieron lugar en el mismo.  En primer lugar, en cuanto a las características del workshop, organizado bajo la fórmula world-coffee y alrededor de tres mesas de trabajo, supuso una experiencia muy enriquecedora para todos los asistentes, especialmente por las aportaciones de los expertos, que visitaron todas las mesas debatiendo con los partner su conocimiento y experiencia acerca de los temas que se discutían.  Igualmente valiosa resultó la puesta en común de las conclusiones de cada mesa así como la exposición y debate conjunto alrededor de los temas Politics, Scientific Data y Technology .

El workshop finalizó con una exposición de sugerencias y nuevas propuestas de análisis y líneas de investigación por parte de los expertos a los investigadores de SiSOB, demostrando el amplio camino que aún es necesario explorar en estos ámbitos.