New job offer job_2c37e0afcdac7b8e5a86ddc12da83584
Title: Utilisation du stockage objet pour des données géospatiales
Date: 2021-11-25 10:13
Slug: job_2c37e0afcdac7b8e5a86ddc12da83584
Category: job
Authors: Annaïg Pedrono
Email: annaig.pedrono@cnes.fr
Job_Type: Stage
Tags: stage
Template: job_offer
Job_Location: Toulouse
Job_Duration: 4 à 6 mois
Job_Website: https://recrutement.cnes.fr/fr/annonce/1418993-utilisation-du-stockage-objet-pour-des-donnees-geospatiales-31400-toulouse
Job_Employer: CNES
Expiration_Date: 2022-01-17
Attachment:
Au sein de l’équipe du Centre de Calcul, la ou le stagiaire participera à la mise en œuvre du nouveau socle de stockage des données scientifiques (Datalake) du CNES basé sur une solution object (type cloud).
Ce projet Datalake est mené en interface forte avec les différents projets spatiaux mobilisant de gros volumes de données (tant internes que externes) afin de les accompagner dans l'appropriation des nouvelles fonctions de gestion de données (Accès temps Réel, Stockage Glacier asynchrone, pilotage de règles de transition, recherche par métadonnée)
Ce stage s'inscrit donc dans un environnement de travail collaboratif entre les équipes de calcul, les projets spatiaux et les laboratoires partenaires.
Objectifs du stage :
- Étude de la compatibilité des librairies de données utilisées dans un contexte "segment sol spatial" (NetCDF, GDAL, MapServer,...) avec l'API S3
- Portage d'un traitement simple de données "images satellite" utilisant actuellement le stockage POSIX vers du stockage S3
- Analyse des performances en fonction du format de données (exemple : JPEG2000 versus Cloud Optimized GeoTIFF)
- Test de performance lors du passage à l'échelle pour accéder à de gros volumes de données (Big Data)
- Rédaction d'une documentation et préconisations de bonnes pratiques
La finalité du stage est de livrer un ensemble de routines et d'informations facilitant l'intégration des segments sols avec le Datalake
Le stage peut débuter à partir de février 2022.
Pour postuler :
https://recrutement.cnes.fr/fr/annonce/1418993-utilisation-du-stockage-objet-pour-des-donnees-geospatiales-31400-toulouse