Secure distributed workflows for biomedical data analysis

Abstract

Resumen: En los últimos años, la cantidad de datos biomédicos recopilados y almacenados ha crecido significativamente. El análisis de estas grandes cantidades de datos ya no puede ser realizado por individuos u organizaciones individuales. Por lo tanto, la comunidad científica está creando esfuerzos de colaboración global para analizar estos datos. Sin embargo, los datos biomédicos están sujetos a varias restricciones legales y socioeconómicas que dificultan las posibilidades de colaboración en investigación.

En esta tesis, primero investigamos y mostramos que los investigadores requieren nue- vas herramientas y técnicas para abordar las restricciones y necesidades de las colaboraciones científicas globales sobre datos biomédicos geo distribuidos. En particular, identificamos tres tipos de restricciones relacionadas con las colaboraciones globales, a saber, restricciones técnicas, legales y socioeconómicas. También investigamos el estado del arte de las herramientas actuales para análisis biomédicos globales distribuidos, incluidas herramientas que utilizan técnicas de aprendizaje automático, y mostramos sus limitaciones.

A partir de estos hallazgos, proponemos colaboraciones totalmente distribuidas FDC (definido en inglés como Fully Distributed Collaborations), como esfuerzos de investigación que aprovechan los medios para explotar y analizar información biomédica de forma masiva y colaborativa respetando las restricciones legales y socioeconómicas. Nosotros investigamos el concepto, las propiedades y las características de los sistemas FDC, así como los requisitos de arquitectura y las necesidades de seguridad y privacidad. Como primer ejemplo del diseño de herramientas basadas en FDC, proponemos una estrategia de aprendizaje automático completamente distribuida. La estrategia considera un algoritmo de entrenamiento de bosque aleatorio donde varios sitios distribuidos geográficamente, mantienen sus propios datos privados, entrenan un modelo global en colaboración sin compartir información privada. El algoritmo propuesto, llamado MuSiForest, mejora con respecto a otros enfoques existentes de bosques multi-sitio al mejorar el tiempo de cómputo y reducir la cantidad de datos compartidos mientras tiene una precisión de entrenamiento cercana a la de las técnicas centralizadas de bosques aleatorios.

Finalmente, investigamos cómo los sistemas de flujo de trabajo se han utilizado ampliamente para especificar análisis de datos biomédicos y mostramos las limitaciones actuales de esas herramientas. Mostramos cómo ofrecen medios limitados para definir, implementar y ejecutar estudios de sitios múltiples en la infraestructura distribuida actual, respetando la propiedad de los datos y las restricciones de privacidad. A continuación, proponemos FeDeRa, un lenguaje para especificar, implementar y ejecutar flujos de trabanes legales y socioeconómicas. Nosotros investigamos el concepto, las propiedades y las características de los sistemas FDC, así como los requisitos de arquitectura y las necesidades de seguridad y privacidad. Como primer ejemplo del diseño de herramientas basadas en FDC, proponemos una estrategia de aprendizaje automático completamente distribuida. La estrategia considera un algoritmo de entrenamiento de bosque aleatorio donde varios sitios distribuidos geográficamente, mantienen sus propios datos privados, entrenan un modelo global en colaboración sin compartir información privada. El algoritmo propuesto, llamado MuSiForest, mejora con respecto a otros enfoques existentes de bosques multi-sitio al mejorar el tiempo de cómputo y reducir la cantidad de datos compartidos mientras tiene una precisión de entrenamiento cercana a la de las técnicas centralizadas de bosques aleatorios.

Finalmente, investigamos cómo los sistemas de flujo de trabajo se han utilizado ampliamente para especificar análisis de datos biomédicos y mostramos las limitaciones actuales de esas herramientas. Mostramos cómo ofrecen medios limitados para definir, implementar y ejecutar estudios de sitios múltiples en la infraestructura distribuida actual, respetando la propiedad de los datos y las restricciones de privacidad. A continuación, proponemos FeDeRa, un lenguaje para especificar, implementar y ejecutar flujos de trabajo científicos multi sitio compatibles con FDC.

El lenguaje está enriquecido con abstracciones para implementar análisis en infraestructuras de nube distribuidas geográficamente y con abstracciones para definir patrones de flujo de trabajo complejos a través de límites de múltiples sitios. FeDeRa admite la programación de flujo de datos y la concurrencia declarativa de forma nativa. También presentamos la implementación de un motor de tiempo de ejecución que admite la ejecución de flujos de trabajo y experimentos de FeDeRa implementados en la infraestructura de la nube.

In recent years, the amount of biomedical data collected and stored has grown significantly. Analysis of these large amounts of data can no longer be performed by individual individuals or organizations. Therefore, the scientific community is creating global collaborative efforts to analyze this data. However, biomedical data is subject to several legal and socioeconomic restrictions that hinder the possibilities of research collaboration. In this thesis, we first investigate and show that researchers require new tools and techniques to address the constraints and needs of global scientific collaborations on geo-distributed biomedical data. In particular, we identify three types of constraints related to global collaborations, namely, technical, legal, and socioeconomic constraints. We also investigate the state of the art of current tools for distributed global biomedical analyses, including tools using machine learning techniques, and show their limitations. Based on these findings, we propose Fully Distributed Collaborations (FDC), as research efforts that take advantage of the media to exploit and analyze biomedical information in a massive and collaborative way while respecting legal and socioeconomic restrictions. We investigate the concept, properties and characteristics of FDC systems, as well as architectural requirements and security and privacy needs. As a first example of designing FDC-based tools, we propose a fully distributed machine learning strategy. The strategy considers a random forest training algorithm where several geographically distributed sites, keeping their own private data, train a global model collaboratively without sharing private information. The proposed algorithm, called MuSiForest, improves on other existing multi-site forest approaches by improving computation time and reducing the amount of data sharing while having a training accuracy close to that of centralized random forest techniques. Finally, we investigate how workflow systems have been widely used to specify biomedical data analysis and show the current limitations of those tools. We show how they offer limited means to define, deploy, and run multi-site studies on today's distributed infrastructure, while respecting data ownership and privacy restrictions. Next, we propose FeDeRa, a language for specifying, implementing, and executing legal and socioeconomic workflows. We investigate the concept, properties, and characteristics of FDC systems, as well as architectural requirements, and security and privacy needs. As a first example of designing FDC-based tools, we propose a fully distributed machine learning strategy. The strategy considers a random forest training algorithm where several geographically distributed sites, keeping their own private data, train a global model collaboratively without sharing private information. The proposed algorithm, called MuSiForest, improves on other existing multi-site forest approaches by improving computation time and reducing the amount of data sharing while having a training accuracy close to that of centralized random forest techniques. Finally, we investigate how workflow systems have been widely used to specify biomedical data analysis and show the current limitations of those tools. We show how they offer limited means to define, deploy, and run multi-site studies on today's distributed infrastructure, while respecting data ownership and privacy restrictions. Next, we propose FeDeRa, a language for specifying, implementing, and executing FDC-compliant multi-site scientific workflows. The language is enriched with abstractions for implementing analytics across geographically distributed cloud infrastructures and with abstractions for defining complex workflow patterns across multi-site boundaries. FeDeRa natively supports dataflow programming and declarative concurrency. We also present the implementation of a runtime engine that supports running FeDeRa workflows and experiments deployed on cloud infrastructure.