Publication:

Secure distributed workflows for biomedical data analysis

Resumen: En los últimos años, la cantidad de datos biomédicos recopilados y almacenados ha crecido significativamente. El análisis de estas grandes cantidades de datos ya no puede ser realizado por individuos u organizaciones individuales. Por lo tanto, la comunidad científica está creando esfuerzos de colaboración global para analizar estos datos. Sin embargo, los datos biomédicos están sujetos a varias restricciones legales y socioeconómicas que dificultan las posibilidades de colaboración en investigación. En esta tesis, primero investigamos y mostramos que los investigadores requieren nue- vas herramientas y técnicas para abordar las restricciones y necesidades de las colaboraciones científicas globales sobre datos biomédicos geo distribuidos. En particular, identificamos tres tipos de restricciones relacionadas con las colaboraciones globales, a saber, restricciones técnicas, legales y socioeconómicas. También investigamos el estado del arte de las herramientas actuales para análisis biomédicos globales distribuidos, incluidas herramientas que utilizan técnicas de aprendizaje automático, y mostramos sus limitaciones. A partir de estos hallazgos, proponemos colaboraciones totalmente distribuidas FDC (definido en inglés como Fully Distributed Collaborations), como esfuerzos de investigación que aprovechan los medios para explotar y analizar información biomédica de forma masiva y colaborativa respetando las restricciones legales y socioeconómicas. Nosotros investigamos el concepto, las propiedades y las características de los sistemas FDC, así como los requisitos de arquitectura y las necesidades de seguridad y privacidad. Como primer ejemplo del diseño de herramientas basadas en FDC, proponemos una estrategia de aprendizaje automático completamente distribuida. La estrategia considera un algoritmo de entrenamiento de bosque aleatorio donde varios sitios distribuidos geográficamente, mantienen sus propios datos privados, entrenan un modelo global en colaboración sin compartir información privada. El algoritmo propuesto, llamado MuSiForest, mejora con respecto a otros enfoques existentes de bosques multi-sitio al mejorar el tiempo de cómputo y reducir la cantidad de datos compartidos mientras tiene una precisión de entrenamiento cercana a la de las técnicas centralizadas de bosques aleatorios. Finalmente, investigamos cómo los sistemas de flujo de trabajo se han utilizado ampliamente para especificar análisis de datos biomédicos y mostramos las limitaciones actuales de esas herramientas. Mostramos cómo ofrecen medios limitados para definir, implementar y ejecutar estudios de sitios múltiples en la infraestructura distribuida actual, respetando la propiedad de los datos y las restricciones de privacidad. A continuación, proponemos FeDeRa, un lenguaje para especificar, implementar y ejecutar flujos de trabanes legales y socioeconómicas. Nosotros investigamos el concepto, las propiedades y las características de los sistemas FDC, así como los requisitos de arquitectura y las necesidades de seguridad y privacidad. Como primer ejemplo del diseño de herramientas basadas en FDC, proponemos una estrategia de aprendizaje automático completamente distribuida. La estrategia considera un algoritmo de entrenamiento de bosque aleatorio donde varios sitios distribuidos geográficamente, mantienen sus propios datos privados, entrenan un modelo global en colaboración sin compartir información privada. El algoritmo propuesto, llamado MuSiForest, mejora con respecto a otros enfoques existentes de bosques multi-sitio al mejorar el tiempo de cómputo y reducir la cantidad de datos compartidos mientras tiene una precisión de entrenamiento cercana a la de las técnicas centralizadas de bosques aleatorios. Finalmente, investigamos cómo los sistemas de flujo de trabajo se han utilizado ampliamente para especificar análisis de datos biomédicos y mostramos las limitaciones actuales de esas herramientas. Mostramos cómo ofrecen medios limitados para definir, implementar y ejecutar estudios de sitios múltiples en la infraestructura distribuida actual, respetando la propiedad de los datos y las restricciones de privacidad. A continuación, proponemos FeDeRa, un lenguaje para especificar, implementar y ejecutar flujos de trabajo científicos multi sitio compatibles con FDC. El lenguaje está enriquecido con abstracciones para implementar análisis en infraestructuras de nube distribuidas geográficamente y con abstracciones para definir patrones de flujo de trabajo complejos a través de límites de múltiples sitios. FeDeRa admite la programación de flujo de datos y la concurrencia declarativa de forma nativa. También presentamos la implementación de un motor de tiempo de ejecución que admite la ejecución de flujos de trabajo y experimentos de FeDeRa implementados en la infraestructura de la nube.