Skip to content

Executable Paper: Towards an effective reproducibility of scientific research/ Executable Paper: Hacia la reproducibilidad efectiva de la investigación científica

September 2, 2012

In previous posts we were wondering if open access and free software were enough to foster universal and unrestricted access to  academic articles. In fact, it is a good way but articles are not an asset in most disciplines. While this is a controversial issue, access to articles is only the first step to achieve one of the main objectives in scientific research: reproducibility of experiments.

In Computer Science, for example, how can experiments be reproduced if we don’t have exact input data and results, plus the source code of programs using this data? We must have access to all these  artifacts. This poses organizational, economic and social difficulties. However, if we focus only on  the technical ones we would say it in one plain sentence: PDF format  is not enough for an effective scientific information dissemination.

Several workshops, projects and initiatives are trying to come up with solutions to this problem:

–        Beyond the PDF:  “The goal [of the workshop] was not to produce a white paper! Rather it was to identify a set of requirements, and a group of willing participants to develop a mandate, open source code and a set of deliverables to be used by scholars to accelerate data and knowledge sharing and discovery”

–        Workflow forever (Wf4Ever):  scientific workflows are computational or data manipulation steps in a scientific application like, i.e. an experiment for a scientificarticle. So it is of main relevance to provide a “technological infrastructure for the preservation and efficient retrieval and reuse of scientific workflows in a range of disciplines” .

–        Reproducible Research:  making a paper truly reproducible is not so difficult and some real-world common-sense advice , carefully followed, would suffice.  For instance, a good one would be is to provide]“all the code to reproduce all the results, images and tables”.

But one of the most important efforts is Elsevier’s Executable Paper Grand Challenge in 2011 and former contests in the past years. This year, the conference ICCS 2012 had added invaluable resources to this movement and, more recently, Elsevier has brought two novelties to this initiative: the Computers & Graphics Special Issue on Executable Papers for 3D Object Retrieval (3DOR’12, upcoming event) and the launch of the officially supported tool for of the Executable Papers Grand Challenge 2011 winner, Collage,  now available for download and use.

An executable paper tries to address consistency, reliability, discoverability, validation, executability and preservation in perpetuity of not only the text r, but the actual knowledge of the research article by providing reviewers and readers with the tools and techniques that would let them reproduce and reuse that knowledge in an easy and effective way. This would eventually result in a new and  exciting boost of overall science impact, since these  tools could be used by a broader and non-technical audience.

REFERENCES

http://blogs.nature.com/eresearch/2011/07/04/towards-executable-journals

http://www.iccs-meeting.org/

http://www.executablepapers.com/

http://www.elsevier.com/wps/find/P05.print/executablepaper?avoidEmail=true&printHome=cws_home

https://collage.elsevier.com/

http://khinsen.wordpress.com/2011/06/03/executable-papers/

http://www.sciencedirect.com/science/article/pii/S1877050911001220

Roberto Aragón

En entradas anteriores nos preguntábamos si el acceso abierto y el software libre eran suficientes para fomentar el acceso universal y sin restricciones a los artículos académicos. En efecto, es la vía correcta, pero los artículos no son un activo en muchas disciplinas. Aunque es una cuestión controvertida, el acceso a los artículos es sólo el primer paso para conseguir uno de los principales objetivos de la investigación científica: la reproducibilidad de los experimentos.

En Ciencias de la Computación, por ejemplo, ¿cómo pueden reproducirse los experimentos si no disponemos de los datos de entrada y resultados exactos, además del código fuente de los programas que usan estos datos? Debemos tener acceso a todos estos artefactos. Esto plantea dificultades organizativas, económicas y sociales. Sin embargo, si nos centramos sólo en las técnicas, podríamos expresarlo en una sencilla frase: el formato PDF no es suficiente para la diseminación efectiva de la información científica.

Varios workshops, proyectos e iniciativas están intentando encontrar soluciones a este problema:

–        Beyond the PDF: “El objetivo [del workshop] era no producir ningún artículo escrito. En su lugar, el objetivo era identificar un conjunto de requisitos y un grupo de participantes voluntarios para desarrollar y recomendar software abierto y un conjunto de entregables, que serían usados por alumnos para acelerar la distribución y la transferencia de datos y conocimiento.” (sic.)

–        Workflow forever (Wf4Ever):  los flujos de datos científicos son pasos computacionales o de manipulación de datos de una aplicación científica como, por ejemplo, un experimento de un artículo científico. Así, es de vital importancia proveer una “infraestructura tecnológica para la preservación, recuperación y reutilización eficiente de los flujos de trabajo científicos en un amplio rango de disciplinas” (sic.)

–        Reproducible Research:  conseguir un artículo verdaderamente reproducible no es tan difícil y algún consejo de sentido común del mundo real, aplicado con cuidado, puede bastar. Por ejemplo, un buen consejo sería proveer “todo el código para reproducir los resultados, imágenes y tablas” (sic.)

Pero uno de los esfuerzos más importantes es el “Gran concurso del artículo ejecutable” de Elsevier de 2011 y las posteriores competiciones de años pasados. Este año, la conferencia ICCS 2012 ha aportado valiosos recursos a este movimiento y, más recientemente, Elsevier ha introducido dos novedades a esta iniciativa: la “Edición especial sobre gráficos y computadores en artículos ejecutables para la recuperación de objetos 3D” (3DOR’12, próximo evento) y el lanzamiento con soporte oficial de la herramienta ganadora del “Gran concurso del artículo ejecutable” del 2011, Collage, ya disponible para su descarga y uso.

Un artículo ejecutable trata de proporcionar consistencia, confiabilidad, transparencia, validación, ejecutabilidad y preservación a perpetuidad, no sólo del texto, si no del conocimiento real del artículo de investigación, proporcionando a revisores y lectores las herramientas y técnicas que les permitan reproducir y reutilizar ese conocimiento de un modo sencillo y eficiente. Esto resultaría eventualmente en un nuevo y excitante impulso del impacto global de la ciencia, ya que estas herramientas pueden ser usadas por un público más amplio y no necesariamente experto en tecnología.

FUENTES

http://blogs.nature.com/eresearch/2011/07/04/towards-executable-journals

http://www.iccs-meeting.org/

http://www.executablepapers.com/

http://www.elsevier.com/wps/find/P05.print/executablepaper?avoidEmail=true&printHome=cws_home

https://collage.elsevier.com/

http://khinsen.wordpress.com/2011/06/03/executable-papers/

http://www.sciencedirect.com/science/article/pii/S1877050911001220

Roberto Aragón
No comments yet

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: