WIXLIB

¿Es posible la convergencia HPC y Big Data?Lecciones aprendidas de los sistemas de E/SMaría S. Pérezmperez@fi.upm.esDIAPOSITIVA 0

Introducción Contexto Problema general de convergencia HPCBig Data Convergencia HPC-Big Data a nivel dealmacenamiento Estudio y evaluación Conclusiones y líneas de trabajo futuroSeminarios UCM, 11/04/2019DIAPOSITIVA 1

Divergencia DA-CSSource: Big Data and Extreme-Scale Computing, BDECSeminarios UCM, 11/04/2019DIAPOSITIVA 2

Divergencia a nivel de hardware y arquitecturaSource: “Creating synergies across HPC & Big Data platforms”, BDVA-ETP4HPC White PaperSeminarios UCM, 11/04/2019DIAPOSITIVA 3

Diferencias históricas entre BD y HPCCarga de trabajo típicaBig DataHPCPrincipios de diseñoAplicaciones intensivas endatosLa mayoría del tiempo deejecución es dedicado a E/S ymanipulación de datosOptimizado para costeMenor prioridad alrendimiento(IOPS)Aplicaciones intensivas encómputoLa mayoría del tiempo deejecución es dedicado acomputaciónOptimizado para rendimientoMenor prioridad al coste(FLOPS)Seminarios UCM, 11/04/2019DIAPOSITIVA 4

Interés en la convergenciaSeminarios UCM, 11/04/2019DIAPOSITIVA 5

Introducción Contexto Problema general de convergencia HPCBig Data Convergencia HPC-Big Data a nivel dealmacenamiento Estudio y evaluación Conclusiones y líneas de trabajo futuroSeminarios UCM, 11/04/2019DIAPOSITIVA 6

BDVA focuses its activities on updating the multi-annualroadmap and on providing regular advice to enable the EuropeanCommission to prepare, draft and adopt the periodic WorkProgrammes, as well as on delivering Data InnovationRecommendations, developing Big Data ValueEcosystem, guiding Standards, and, facilitating Know-howexchange.BDVA ( 200) members include largeindustries, SMEs, researchorganisations and data users andproviders to support the developmentand deployment of the EU Big DataValue Public-Private Partnership withthe European CommissionSeminarios UCM, 11/04/2019DIAPOSITIVA 7

BDVA Task ForcesTF5:Policy &SocietalTF1: ProgrammeTF6:TechnicalTF7:ApplicationData Science/AI(Analyticsvisualization)TelecomData TechnologyArchitecturesTF2: ImpactHPC-Big DataTF3:EcosystemPolicy &SocietalData Protection sTF9:Skills andEducationDataentrepreneurs(SMEs andstartups)Skillrequirementsfrom LargeEnterprise)Liaison withexistingeducationalprojectsObservatoryon DataBusinessModelsAnalysis ofcurrentcurricularelated to datascienceMediaEarth observation &geospatialSmart ManufacturingIndustryMobility and LogisticsTF4:CommunicationStandardisationData BenchmarkingSmart Governance andSmart CitiesAgriSeminarios UCM, 11/04/2019DIAPOSITIVA 8

EuroHPC Joint Undertakinghttps://eurohpc-ju.europa.euSeminarios UCM, 11/04/2019DIAPOSITIVA 9

CABAHLA-CM: Convergencia BD-HPC: delos sensores a las aplicaciones Proyecto financiado por la Comunidad de Madrid, ayudas para larealización de programas de actividades de I D entre grupos deinvestigación de la Comunidad de Madrid en tecnologías y en biomedicina(2019-2022)4 grupos:–––– ArTeCS, Universidad Complutense de MadridARCOS, Universidad Carlos III de MadridSciTrack, Centro de Investigaciones Energéticas, Medioambientales y TecnológicasOEG, Universidad Politécnica de MadridObjetivo: Mejorar la integración de los paradigmas de HPC y Big Data––Plataforma intensiva en computación y datosDos casos de uso: captación y modelado de datos de sensores para la predicción deradiación solar con alta resolución espacio-temporal y procesamiento de datos masivos enimagen médica del cerebroSeminarios UCM, 11/04/2019DIAPOSITIVA 10

Introducción Contexto Problema general de convergenciaHPC-Big Data Convergencia HPC-Big Data a nivel dealmacenamiento Estudio y evaluación Conclusiones y líneas de trabajo futuroSeminarios UCM, 11/04/2019DIAPOSITIVA 11

Traditional Big DataExtreme Data AnalyticsData-intensive workloads[Example] Inferring newinsights from big data-setse.g. pattern recognitionacross suppliers, consumers,etc for data-driven insightsand innovationEnterprise IT‘Regular’ workloads[Example] Running theenterprise – HR, Legal,Payroll, finance, etc.Compute- and Dataintensive workloads:[Example] Reshapinghealthcare through advancedanalytics and artificialintelligence – leading topredictive and Example] Modelling andsimulating focusing oninteraction amongst parts ofa system and the system as awhole e.g. product designSource: Subgroup HPC-BD BDVASeminarios UCM, 11/04/2019DIAPOSITIVA 12

Estudio de aplicaciones/casos de uso13Source: Subgroup HPC-BD BDVASeminarios UCM, 11/04/2019DIAPOSITIVA 13

HPC, Big Data y Deep Learning14Source: “Creating synergies across HPC & Big Data platforms”, BDVA-ETP4HPC White PaperSeminarios UCM, 11/04/2019DIAPOSITIVA 14

Introducción Contexto Problema general de convergencia HPCBig Data Convergencia HPC-Big Data a nivel dealmacenamiento Estudio y evaluación Conclusiones y líneas de trabajo futuroSeminarios UCM, 11/04/2019DIAPOSITIVA 15

HPC a nivel de almacenamientoAplicación HPCSistema de ficheros POSIX Seminarios UCM, 11/04/2019Lecturas y escriturasaleatorias en ficheroJerarquía (directorios)PermisosRenombrado atómicoProtección multiusuarioDIAPOSITIVA 16

POSIXLecturas y escrituras aleatorias en ficheroJerarquía (directorios)PermisosRenombrado atómicoProtección multiusuarioSeminarios UCM, 11/04/2019DIAPOSITIVA 17

POSIXLecturas y escrituras aleatorias en ficheroSeminarios UCM, 11/04/2019DIAPOSITIVA 18

POSIXLecturas y escrituras aleatorias en fichero ObjetosSeminarios UCM, 11/04/2019DIAPOSITIVA 19

HPC a nivel de almacenamientoAplicación HPCSistema de almacenamientobasado en objetosSeminarios UCM, 11/04/2019DIAPOSITIVA 20

HPC y Big DataAplicación HPCAplicación Big DataSistema de almacenamientobasado en objetosSeminarios UCM, 11/04/2019DIAPOSITIVA 21

HPC y Big DataAplicación HPCAplicación Big DataSistema de almacenamientobasado en objetosSistemaK/VSeminarios UCM, 11/04/2019BBDDSist. deficherosDIAPOSITIVA 22

HPC y Big DataAplicación Big DataAplicación HPCSistemaK/VSistema de almacenamientobasado en objetosSeminarios UCM, 11/04/2019BBDDSistema de ficherosDIAPOSITIVA 23

HPC y Big DataAplicación Big DataAplicación HPCSistemaK/VSistema de almacenamientobasado en objetosBBDDSistema de almacenamientobasado en objetosSeminarios UCM, 11/04/2019DIAPOSITIVA 24

HPC y Big DataAplicación Big DataAplicación HPCSistemaK/VBBDDSistema de almacenamiento basado en objetos convergenteSeminarios UCM, 11/04/2019DIAPOSITIVA 25

Pila de almacenamiento actualAppHPCAppHPCAppHPCBiblioteca de E/SAppBDLlamadas bib E/SFramework BDAppBDAppBDFramework Big DataLlamadas tipoPOSIXSFD Big DataSFP HPCSeminarios UCM, 11/04/2019DIAPOSITIVA 26

Pila de almacenamiento actualAppHPCAppHPCAppHPCBiblioteca de E/SAppBDLlamadas bib E/SFramework BDAppBDAppBDFramework Big DataLlamadas tipoPOSIXAdaptador Big DataAdaptador HPCSistema de almacenamiento basado en objetos convergenteSeminarios UCM, 11/04/2019DIAPOSITIVA 27

Introducción Contexto Problema general de convergencia HPCBig Data Convergencia HPC-Big Data a nivel dealmacenamiento Estudio y evaluación Conclusiones y líneas de trabajo futuroSeminarios UCM, 11/04/2019DIAPOSITIVA 28

Primitivas orientadas a objetos Acceso al objeto: lectura (read) aleatoria del objeto, tamaño (size) delobjetoManipulación del objeto: escritura (write) aleatoria del objeto,truncado (truncate)Gestión del objeto: crear objetos (create), borrar objetos (delete)Estas operaciones son similares a las operaciones POSIX básicassobre un ficheroLas operaciones a nivel de directorio no tienen contrapartida a nivelde objeto:– Bajo número de este tipo de operaciones– Se pueden emular mediante la operación “scan” (operación pocoeficiente, pero compensado por el hecho de utilizar un espacio denombres plano y una semántica más sencilla)Seminarios UCM, 11/04/2019DIAPOSITIVA 29

Estudio sobre aplicaciones cturasEscriturasRatio R/WPerfilmpiBLASTProteindocking27.7 GB12.8 MB2.2*10 3Read-intensiveMOMOceanicmodel19.5 GB3.2 GB6.09Read-intensiveECOHAMSedimentpropagation67.4 GB71.2 GB0.94BalancedRay TracingVideoprocessing0.4 GB9.7 GB4.1*10 -2Write-intensiveSortTextprocessing5.8 GB5.8 1 GB71.2 MB1.8*10 2Read-intensiveGrepTextprocessing55.8 GB863.8 .1 GB4.7 GB12.57Read-intensiveTokenizerTextprocessing55.8 GB235.7 GB0.23Write-intensivePierre Matri, Yevhen Alforov, Álvaro Brandón, María S. Pérez et al. Mission possible: Unify HPC and Big Data stackstowards application-defined blobs at the storage layer. Future Generation Computer Systems, In press.Seminarios UCM, 11/04/2019DIAPOSITIVA 30

Distribución de operacionesSeminarios UCM, 11/04/2019DIAPOSITIVA 31

Operaciones sobre directorios (App BD)OperaciónAcciónNúm.Oper.Operación originalOperación reescritacreate(/foo/bar)create(/foo bar)open(/foo/bar)open(/foo bar)mkdirCrear directorio43read(fd)read(bd)rmdirBorrar tos)Abrir rosdirectorios)Abrir directorioscan(/), devolvertodos los ficheros queencajan con foo *0rmdir(/foo)Seminarios UCM, 11/04/2019scan(/), borrar todoslos ficheros queencajan con foo *DIAPOSITIVA 32

Influencia de las operaciones sobre directoriosSeminarios UCM, 11/04/2019DIAPOSITIVA 33

BlobSeer/RADOS vs Lustre (HPC) and HDFS/Ceph (BD) Grid’5000 testbed distribuido en 11 sitios en Francia y Luxemburgo(parapluie cluster, Rennes)Cada nodo: 2 x 12-core 1.7 Ghz 6164 HE, 48 GB of RAM y 250 GBHDD.Apps HPC: Lustre 2.9.0 y MPICH 3.2 [67], en un cluster de 32 nodos(InfiniBand)Apps BD: Spark 2.1.0, Hadoop / HDFS 2.7.3 and Ceph Kraken, en uncluster de 32 nodos (Gigabit Ethernet)Seminarios UCM, 11/04/2019DIAPOSITIVA 34

BlobSeerBogdan Nicolae; Gabriel Antoniu; Luc Bougé; Diana Moise; Alexandra Carpen-Amarie. 2011. BlobSeer: Next-generationdata management for large scale infrastructures. J. Parallel Distrib. Comput. 71, 2 (February 2011), 169-184.Seminarios UCM, 11/04/2019DIAPOSITIVA 35

RADOS/Cephceph.comSeminarios UCM, 11/04/2019DIAPOSITIVA 36

LustreSource: lustre.orgSeminarios UCM, 11/04/2019DIAPOSITIVA 37

HDFSSource: hadoop.apache.orgSeminarios UCM, 11/04/2019DIAPOSITIVA 38

Aplicaciones HPCSeminarios UCM, 11/04/2019DIAPOSITIVA 39

Aplicaciones BDSeminarios UCM, 11/04/2019DIAPOSITIVA 40

Análisis del estudio La convergencia a nivel de almacenamiento es posible medianteel uso de almacenamiento basado en objetos, llevando a unamejora en el rendimiento para ambos tipos de plataformas (HPC yCloud)Utilizando objetos, se consigue una mejora de hasta el 32%– Principalmente por el espacio de nombres plano– Rados: capacidad de lectura directa y esquema sencillo ydescentralizado de gestión de metadatos (gran rendimiento paralecturas)– BlobSeer: control de concurrencia multi-versión da soporte a granvelocidad de escritura para cargas de trabajo altamente concurrentes(gran rendimiento para escrituras) Problemas de ambos sistemas:– Aunque el rendimiento de Rados es excelente cuando hay bajacontención de escritura, su control de concurrencia basado encerrojos limita el rendimiento de casos de uso altamente concurrentes.– El control de concurrencia multi-versión de BlobSeer da buen soporte deescritura, pero el árbol de metadatos distribuidos de BlobSeer suponeuna latencia de lectura significativaSeminarios UCM, 11/04/2019DIAPOSITIVA 41

Týr ¿Se pueden lograr los beneficios de ambos sistemas? Además de combinar las ventajas de Rados y BlobSeer, hay unconjunto significativo de casos de uso que requieren semánticas deconsistencia más estrictas– Indexación y agregación de datos (Ejemplo: ALICE CERN LHCexperiment)– Distributed shared logs (Ejemplo: Computational steering in-situvisualization)Seminarios UCM, 11/04/2019DIAPOSITIVA 42

TýrPierre Matri; Alexandru Costan; Gabriel Antoniu; Jesús Montes; María S. Pérez. "Týr: Blob StorageSystems Meet BuiltIn Transactions". SC '16 Proceedings of the International Conference for High Performance Computing, Networking,Storage and Analysis. Article n. 49, Best student paper award finalistSeminarios UCM, 11/04/2019DIAPOSITIVA 43