Skip to content

Indicators and Measurements / Indicadores y medidas

September 30, 2011

The measurement of scientific activity has long been developing into a vivid discourse at the intersection of innovation and science policy studies, scientometrics, research evaluation and management science. Within established methodological frameworks many approaches have aimed to enrich, improve or critically revise the existing methods for the assessment and evaluation of science and technology. A strong tendency has been the incorporation of structural approaches, that is, network analysis and other tools for mapping the organization of the science system, into the toolbox of informed evaluation practices. Despite the rapid extension of the toolbox, however, little attention has been given to a systematic treatment of the various approaches and the dimensions of scientific activity they address.

Since the SISOB platform is envisioned to provide new insight into the social and societal aspects of Science and Technology (S&T), our work for the detailed report on indicators and measurements [1] is targeted at the systematization of the models, indicators and measurements. The aim is three‐fold:

  1. to uncover the mapping between existing approaches and the respective dimensions of S&T,
  2. to discuss models, indicators and measurements relevant for the SISOB platform based on (1), and
  3. prepare the development of “missing approaches” addressing SISOB relevant aspects.

The first part of our work provides an overview on the established framework for S&T measurement. The main focus is the shift from traditional input/output approaches to the applications of network analysis in evaluation and monitoring activities. Based on typical applications (“prototypes”), a taxonomy of network approaches is constructed, in terms of network type, network measures and indicators, including the exploitation of social networks, information networks and science maps (proximity networks) as well.

The second part specifies the general scheme for the particular domains of the SISOB project, that is, for the three case studies under development:

Figure 1. Relation of concept levels, case studies and prototype models.

Mobility. Mobility of researchers and research communities is an often prioritized policy goal, but less studied in necessary details. It is conceived as both (1) a social dimension of science production and (2) a social impact‐conveying factor of S&T (c.f. academia‐industry relations). Indicators for, and metrics based on different types of mobility networks are systematized, which are to be modelled as affecting the productivity of actor communities. A new set of dimensions is introduced to be incorporated as measurements, distinguishing different types of the phenomenon, including inter-institutional and virtual mobility.

Knowledge sharing. Knowledge sharing has been modelled via several types of social and information networks. A detailed taxonomy of network indicators and measurements, parallel with their typical uses, is given for the knowledge sharing case based on Appendix A of D2.1 (Common network indicators). In this section, a novel framework is outlined, appropriating a much broader community of actors than that of within‐science models. This framework builds on multirelational network of artefacts (papers, prototypes, software etc.). Network models are enriched with an ontology of relations that gives way to a whole new set of measurements using existing metrics of network analysis.

Peer review. With a few examples concerning conflict of interest detection, network effects of the peer review process have rarely been subjected to analysis using de facto network models. The peer review application is concentrated around the measurements of (1) network effects on different types of cronyism, and (2) network effects on both the scientific and public impact of actors of review networks. To this end, network indicators are interpreted for multi‐relational networks linking authors, reviewers and editors. These indicators are combined with both reviewer assessments and bibliometric impact measures for actors (authors).

Author: Sandor Soos & Judit Mosoni-Fried

La medición de la actividad científica ha desarrollado un intenso discurso en el cual confluyen estudios políticos de ciencia e innovación, cienciometría, evaluación de la investigación y ciencias de la gestión. Se han propuesto muchas aproximaciones, dentro de marcos de trabajo metodológicos establecidos, para mejorar o revisar críticamente los métodos existentes para la evaluación de la ciencia y la tecnología. Existe una tendencia muy fuerte que apoya la incorporación de aproximaciones estructurales, esto es, análisis de redes y otras herramientas para trazar la organización del sistema científico con prácticas de evaluación informadas. A pesar de la rápida extensión de estas herramientas, se le ha prestado poca atención al tratamiento sistemático de varias aproximaciones y a las dimensiones de la actividad científica a las que se refieren.

Dado que se ha previsto que la plataforma SISOB proporcione un nuevo punto de vista de los aspectos sociales de la Ciencia y la Tecnología (CyT), nuestro trabajo para el informe de indicadores y medidas [1] se dirige a la sistematización de modelos, indicadores y medidas. El objetivo es triple: (1) descubrir  la relación entre las aproximaciones existentes y las dimensiones respectivas de CyT, (2) debatir sobre modelos, indicadores y medidas relevantes para la plataforma SISOB basados en (1), y (3) preparar el desarrollo de “aproximaciones ausentes” referidas a aspectos relevantes de SISOB.

La primera parte de nuestro trabajo proporciona una visión general del marco de trabajo establecido para las medidas de CyT. El objetivo principal es cambiar de las aproximaciones tradicionales tipo entrada/salida a las aplicaciones de análisis de redes en evaluación y monitorización de actividades. Basándose en aplicaciones típicas (“prototipos”), se construye una taxonomía de aproximaciones de redes en términos de tipo de red, medidas e indicadores de red, incluyendo la explotación de redes sociales, redes de información y mapas científicos (redes de proximidad).

La segunda parte especifica el esquema general para dominios particulares del proyecto SISOB, esto es, para los tres casos de estudio a desarrollar:

Figura 1. Relación de niveles conceptuales, casos de estudio y modelos de prototipo.

Movilidad. La movilidad de los investigadores y las comunidades investigadores es normalmente un objetivo priorizado políticamente, pero está estudiado en menor detalle de lo necesario. Se concibe como (1) una dimensión social de la producción científica y (2) un factor de transmisión de impacto social de la CyT (ej. relaciones academia-industria). Se sistematizarán indicadores y métricas basadas en diferentes tipos de redes de movilidad, modeladas para afectar la productividad de comunidades de actores. Se incorporará un nuevo conjunto de dimensiones para introducirlas como medidas, distinguiendo diferentes tipos de fenómenos que incluirán movilidad inter-institucional y virtual.

Diseminación de conocimiento. La diseminación del conocimiento se ha modelado utilizando diferentes tipos de redes sociales y de información. Para la diseminación del conocimiento basándose en el apéndice A del entregable D2.1 del proyecto (Indicadores de red comunes) se proporciona una taxonomía detallada de indicadores y medidas de redes, a la vez que sus usos típicos. En esta sección, se perfila un marco de trabajo nuevo, que aglutina una comunidad de actores mucho más amplia que las  de los modelos científicos. Este marco de trabajo se construye sobre una red de artefactos multirelacional (artículos, prototipos, software, etc.). Los modelos de redes se enriquecen con una ontología de relaciones que proporciona un nuevo y completo conjunto de medidas utilizando métricas existentes de análisis de redes.

Revisión por pares. Los efectos de los proceso de revisión por pares se han visto rara vez sujetos a análisis utilizando modelos de redes de facto, con la excepción de algunos casos de conflictos de interés. La aplicación de la revisión por pares se concentra al rededor de medidas de (1) efectos de red en diferentes tipos de amistades, y (2) efectos de red en el impacto científico y publico de actores de redes de revisión. Para este fin, los indicadores de redes son interpretados por redes multirelacionales que enlazan autores, revisores y editores. Estos indicadores se combinan con evaluaciones de los revisores e impacto bibliométrico de los actores (autores).

Autores: Sandor Soos y Judit Mosoni-Fried


References / Referencias:

[1] Detailed report on indicators and measurements, SISOB Project, Deliverable 4.1.

No comments yet

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: