AbstractsBiology & Animal Science

A medida que los supercomputadores aumentan su potencia, es posible ejecutar aplicaciones con mayor carga computacional y que procesan volúmenes de datos cada vez más grandes. Tradicionalmente, para proporcionar un rendimiento rápido y fiable, los sistemas de ficheros paralelos se centraban en la distribución escalable de los datos. Sin embargo, mayores cargas de trabajo presionan los servidores de metadatos todavía más, con un número de peticiones de metadatos cada vez mayor. Estas operaciones hacen un gran consumo de CPU, y, generalmente, un sólo servidor de metadatos ya no es suficiente. En esta tesis presentamos la arquitectura de un nuevo sistema de ficheros paralelo que proporciona un servicio de metadatos completamente distribuido. Creemos que esto es clave al enfrentarse a la era exabyte en los sistemas de ficheros paralelos. Nuestra primera propuesta es "Fusion Parallel File System" (FPFS). FPFS es un sistema de ficheros paralelo donde todos los dispositivos trabajan como servidores tanto de datos como de metadatos. Con esta arquitectura sencilla incrementamos la capacidad del clúster de metadatos, que pasa a ser tan grande como el clúster de datos. Asimismo, incrementamos el rendimiento y escalabilidad de todo el sistema. Nuestra segunda contribución es el dispositivo OSD+. Proponemos el uso de dispositivos OSD mejorados para construir la arquitectura de FPFS. Los OSD regulares sólo pueden manejar objetos de datos y sus operaciones; nuestra propuesta amplía los dispositivos OSD, de manera que también puedan manejar metadatos a través de lo que hemos llamado "objetos de directorio". Nuestra tercera aportación es el diseño e implementación de un clúster de metadatos basado en dispositivos OSD+ para FPFS. En el clúster distribuimos de forma uniforme los metadatos a través de los nodos del clúster por medio de los objetos de directorio. Nuestra distribución del espacio de nombres minimiza las migraciones en caso de renombramientos de directorios o de cambios dentro del clúster. Garantizamos la atomicidad por medio de un protocolo de compromiso en tres fases y de los sistemas de ficheros locales en cada OSD+. Nuestra cuarta contribución es el diseño e implementación del manejo de directorios gigantes en FPFS. Estos directorios almacenan desde miles a millones de entradas que son accedidas por miles de clientes concurrentemente. Utilizamos los objetos de directorio para permitir a FPFS distribuir de forma dinámica esos directorios a través de varios servidores. A su vez, este diseño mejora el manejo que hacemos de los renombramientos, evitando gran parte de las migraciones de datos. Nuestra última contribución es el diseño e implementación de las operaciones por lotes. Estas operaciones juntan cientos o miles de entradas del mismo tipo de operación en un sólo paquete. Con ellas conseguimos hacer un mejor uso de los recursos existentes, desplazando, en muchos casos, el cuello de botella de la red a los servidores. Para evaluar el rendimiento de nuestra propuesta, hemos implementado un prototipo del servicio de…