Skip to content

Evaluation of the SiSOB Analytics Workbench / Evaluación del SiSOB Analytics Workbench

June 24, 2013

In connection with the fifth SiSOB plenary meeting the third prototype of the SiSOB Analytics Workbench was subject of an evaluation workshop with international guests, experts in scientometric research. The workshop aimed not only at testing usability and understanding of the Workbench, but also at seeing whether the offered functions meet the scientometers’ needs and expectations referring to their daily work. For this purpose, the evaluation workshop ran through two phases described below. In each phase small groups of the participants (experts in application fields) were using the prototype interactively guided by a demonstrator who also acted as interviewer and note-taker for a semi-structured interview. In addition to the demonstrators one of the developers was acting as technical support for all groups.

The invited guests are experts in the application field of scientometric research and using social network analysis for their work. One of them looks into the field of innovation and breakthroughs in scientific communities from a sociological point of view, two look into innovation and science from a more management and economics oriented perspective, and the remaining two are computer scientists involved in scientometric research and in the development of tools for this research area.

Picture of two groups of participants during the evaluation workshop

Picture of two groups of participants during the evaluationworkshop

  

The first phase was a guided exploration of the workbench. The participants were given a demo of the workbench with the demonstrator loading workflow examples and explaining them to the group. Afterwards an explanatory model was elicited from the participants by asking them how they would explain the loaded example and if the function and the results of the workflows meet their expectations or deviate from them. In the next step the participants should construct workflows for given tasks on their own and evaluate the filters they used in the given example by answering questions like: “Is the filter’s name adequate?” or “Would you suggest to further differentiate one of the filters?”. The first phase was finished with a critical reflection containing the summary of expected or unexpected behavior, suggestions regarding meaningful changes within the workbench and questions concerning the usability of the workbench.

 The second phase was intended to find out whether the workbench could be used to map typical workflows of the interviewees’ daily work. Therefore the participants were first asked to individually describe typical analysis processes they perform frequently.  They were also asked about the tools they use, the sources and formats of data they use, whether they transform the original data, in which formats they store the results, whether they store intermediate states or results within the workflow, and whether they store macros or scripts for reuse. After describing their workflows they were asked to map these workflows on the workbench, using existing functional filters or dummies if the necessary filters were not available in the current prototype. In that case they also were asked what the missing filters should do and what would be input and output of these filters. They also should verbalize what they expect from the used filters including what they expected to be input and output of these filters. In case there emerged a problem the participants should think of possible causes. The last step in the second phase was the participants’ evaluation of their experiences, after they finished the mapping of their workflows onto the workbench. They should comment in detail on problems they encountered, on the benefits of the workbench and on the differences of working with the workbench compared to their typical workflows. Furthermore they could add ideas to expand the functions of the workbench or which filters they would like to be added.

 While for most workflows described by the workshop participants only parts of the necessary components were available in the workbench so that they could not be fully implemented in the workshop, one workflow could be replicated in the workbench.

Workflow created by one of the participants during the workshop, mapping parts of one of his typical analysis workflows to the workbench.

Workflow created by one of the participants during the workshop, mapping parts of one of his typical analysis workflows to the workbench.

The workflow shown in the screenshot combines one file containing a network and one file with some additional information about the network into an enriched network in the SiSOB graph format, which is then visualized using the Fruchterman-Reingold algorithm in order to visually explore the data set.

 The depicted version is the second iteration of that workflow. The first one was only taking the source network as input, transforming it into the SiSOB graph format and then visualizing it. The depicted version combines the graph with some information about a ranking of the nodes that has been collected when creating the network. The used network describes social relations in a class in school and the ranking information comes from grading information. The expert who created this workflow also described usage of analyses like centrality measures or subgroup detection as possible additional steps for the depicted workflow.

 Although there were still some constructive suggestions on improving the workbench, the overall feedback on the system was good. In general the participants evaluated the workbench as a simple and structured way to create, execute and display workflows. Furthermore the participants stated the explicit representation of workflows could be used for communication support, especially in communication with people who are interested more in the general analysis processes than in the details of every single analysis step. One example given was the communication with superiors. Another stated benefit was the combination of different tools and formats under the hood of the workbench so that the user does not need to care about interoperability issues. Also the support of variation by reusing an existing workflow and modifying only small parts of it without the need to manually redo all the steps of it was seen as benefit of the workbench.

 The workshop ended with a discussion about how the workbench could be opened for a broader community, both on the level of users as well as on the level of contributors of analysis components. This discussion arose from the participants’ impression, that the workbench would be interesting for a much broader audience than just the SiSOB project.

diseminación

 

Durante la quinta reunión plenaria del Proyecto SiSOB, el tercer prototipo del SiSOB Analytics Workbench fue objeto de un taller para su evaluación que contó con invitados internacionales expertos en cienciometría. El objetivo del taller no era sólo evaluar la compatibilidad y comprensión del Workbench, sino comprobar si las funciones que éste ofrece se ajustan a las necesidades y expectativas con las que se enfrenta  a diario la comunidad cienciométrica. Para cumplir con estos objetivos, el taller se desarrolló en dos fases, en cada una de las cuales se formaron pequeños grupos entre los participantes (expertos en estos campos de aplicación) que utilizaron el prototipo de manera interactiva guiados por un demostrador que al mismo tiempo realizaba una entrevista semi-estructurada, para la cual preguntaba a los participantes, y tomaba notas de sus respuestas.  Acompañaba, además, a los grupos uno de los programadores, que actuaba de soporte técnico.

 Los invitados son expertos en la aplicación de la  investigación cienciométrica y en el uso de análisis de redes sociales para su trabajo: uno de ellos analiza el campo de la innovación y los avances en las comunidades científicas desde un punto de vista sociológico; dos estudian en profundidad la innovación y la ciencia desde una perspectiva más orientada  a la gestión y el ámbito económico, y los dos restantes son científicos informáticos que participan en la investigación cienciométrica y el desarrollo de herramientas para dicha área investigadora.

Imagen de los dos grupos de participantes durante el taller de evaluación

Imagen de los dos grupos de participantes durante el taller de evaluación

La primera fase consistió en una exploración guiada del Workbench. A los asistentes se les hizo una demostración del funcionamiento del mismo cargando ejemplos del flujo de trabajo y ofreciendo una explicación de los mismos. A continuación y tras obtener un modelo explicativo propuesto por los propios participantes se les pidió a los mismos que explicasen el ejemplo cargado y manifestasen si  la función y los resultados de los flujos de trabajo cumplían o no con sus expectativas. En el siguiente paso los participantes debían construir flujos de trabajo para unas tareas concretas propuestas por ellos mismos y evaluar los filtros usados en el ejemplo dado contestando preguntas como: “Resulta adecuado el nombre del filtro?” o “Preferiría  diferenciar además  uno de los filtros?” La primera fase finalizó con una reflexión crítica que contenía el resumen de la conducta esperada o inesperada, sugerencias con respecto a cambios significativos en el Workbench y preguntas relativas a la usabilidad del mismo.

El objetivo de la segunda fase era averiguar si el Workbench se podría usar para mapear los flujos de trabajo que forman parte de la rutina  de los entrevistados. Es por ello por lo que se pidió a los participantes en primer lugar de modo individual que describieran algunos de los procesos típicos que suelen realizar. Además se les preguntó las herramientas, fuentes y formatos de datos que habitualmente usan, si normalmente transforman los datos originales, en qué formatos almacenan los resultados, si almacenan estados o resultados intermedios en el flujo de trabajo, y si almacenan macros o scripts para luego reutilizarlos. Tras la descripción de sus flujos de trabajo, se les pidió que mapearan dichos flujos en el Workbench usando los filtros funcionales existentes o simulados si los filtros necesarios no estaban disponibles en el prototipo actual, en cuyo caso se les preguntó que debían hacer los filtros no existentes y cuál sería el input y output sería el input y output de dichos filtros. Los participantes además debían verbalizar lo que esperaban de los filtros utilizados, incluyendo lo que serían el input y el output de los mencionados filtros. En caso de que surgiera un problema, los participantes debían pensar en sus posibles causas. El siguiente paso en la segunda fase fue la evaluación de las experiencias vividas  tras haber finalizado el mapeo de sus flujos de trabajo en el Workbench. Debían comentar en detalle los problemas a los que se enfrentaron, los beneficios obtenidos utilizando el Workbench y las diferencias al compararlo con sus flujos de trabajo habituales. Además podían añadir sus ideas para poder ampliar las funciones del Workbench o explicar qué filtros les gustaría que se añadieran al mismo.

Aunque la mayoría de los flujos de trabajo descritos por los participantes  no podía implementarse totalmente en el taller puesto que el Workbench disponía sólo de parte de los componentes necesarios, uno de ellos, en cambio, sí pudo ser replicado.

Flujo de trabajo creado por uno de los participantes durante el taller, con el mapeado de partes de sus flujos de trabajo de análisis habituales para el Workbench

Flujo de trabajo creado por uno de los participantes durante el taller, con el mapeado de partes de sus flujos de trabajo de análisis habituales para el Workbench

El flujo de trabajo que se muestra en la captura de pantalla combina un archivo que comprende  una red además de otro con información adicional sobre la red integrada en una red enriquecida en el formato de gráficos de SiSOB, y que se visualiza a continuación utilizando el algoritmo de Fruchterman-Reingold para poder explorar visualmente el conjunto de datos.

La versión que se muestra es la segunda iteración de ese flujo de trabajo. La primera fue tomar la red de origen como input, transformándola al formato de gráficos de SiSOB para a continuación visualizarla. Esta versión combina el gráfico con información sobre una clasificación de nodos reunida mientras se creaba la red, y que describe las relaciones sociales en un aula de un centro escolar donde la información se obtiene a partir de la calificación. El experto que creó este flujo de trabajo también describía el uso de análisis como las medidas de centralidad o la detección de subgrupos como posibles pasos adicionales para el flujo analizado.

Aunque se hicieron sugerencias constructivas para mejorar el Workbench, el feedback obtenido sobre el sistema fue bueno. En general, los participantes lo evaluaron como un sistema sencillo y estructurado para la creación, ejecución y visualización de flujos de trabajo. Los participantes manifestaron además que la representación explícita de flujos de trabajo podría usarse como soporte de comunicación, especialmente con personas más interesadas en procesos de análisis general  que en los detalles de cada paso de análisis individual.  Uno de los ejemplos propuestos fue el de la comunicación con mandos superiores. Otro de los beneficios apuntados fue la combinación de las herramientas y formatos diferentes que el Workbench proporciona, de modo que el usuario no debe preocuparse por problemas de inoperatividad. Otro de los beneficios aportados por este sistema es el soporte de variación, ya que reutiliza un flujo de trabajo existente modificando sólo partes del mismo sin necesidad de rehacer manualmente todos los pasos.

El taller finalizó con un diálogo sobre cómo el Workbench podría abrirse a una comunidad más amplia, tanto a nivel de usuarios como de contribuyentes de componentes de análisis. Dicho debate surgió a iniciativa de los participantes, que, tras manifestar sus impresiones, consideran que el sistema podría ser interesante para una audiencia mucho más amplia de la que abarca el Proyecto SiSOB.

 

No comments yet

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: