L'offre Développeur(euse) ETL de la plateforme Big Data de l’AP-HP a été sauvegardée.

Continuer

Offre sauvegardée

Entrez votre adresse e-mail pour enregistrer ce travail

Vous enregistrez ce travail sous:

FR
retour à la liste

Développeur(euse) ETL de la plateforme Big Data de l’AP-HP posté par FONDATION DE l'AP-HP POUR LA RECHERCHE

CDD/Intérim - temps plein
paris
50.000,00 € - 55.000,00 € / an

Description de l'offre

Direction des Systèmes d’Information de l’AP-HP

La Direction des Systèmes d’Information (DSI) a pour mission d'assister le Directeur Général de !'Assistance publique - hôpitaux de Paris dans la conception, le pilotage et la mise en œuvre de la politique système d’information de l'AP-HP.  Elle est rattachée au secrétariat général de l’AP-HP.

Sous réserve des attributions propres aux Directions assurant la maîtrise d’ouvrage métier, les missions et domaines de

Le budget d’investissement géré est de près de 70 M€ et le budget d’exploitation est de 125 M€.

Le nombre d’agents de la DSI centrale en équivalents temps pleins est de 370.


Le département Web Innovation Données au sein de la DSI a en charge :

À travers le domaine Web, en lien avec la direction de la communication (DIRCOM) et la direction du pilotage et de la transformation (DPT) : les portails internet de l’institution (Drupal, WordPress, etc.), les outils collaboratifs (SharePoint, Alfresco, etc.), les applications mobiles et les nouveaux téléservices de l’AP-HP (paiement en ligne, prise de rendez-vous en ligne, portail patient, etc.) permettant de dématérialiser les relations avec le patient ;

À travers le domaine Données, en lien avec la direction de l’organisation médicale et des relations avec les universités (DOMU) : (i) l’expertise données en soutien à la mise en place d’une gouvernance institutionnelle des données, (ii) le développement de l’entrepôt de données de santé et de la plateforme Big Data de l’AP-HP et l’organisation de la mise à disposition des données à des fins de recherche, de pilotage et d’innovation (iii) la maintenance de divers référentiels de données cliniques sur des standards internationaux, nationaux ou AP-HP ;

À travers la plateforme Bio-Informatique : la proposition d’une offre de services et d'expertise aux pôles de biologie de l’AP-HP face aux besoins dans leur gestion informatique du séquençage, qu’il s’agisse de l’infrastructure, des logiciels avec leurs ressources de calcul associées, ainsi que de l’expertise métier en bio-informatique.

A travers le domaine BNDMR (Banque Nationale de Données Maladies Rares) en lien avec la DOMU : le pilotage d’un projet national visant à développer, maintenir et déployer une application de collecte de données dans le cadre du soin (BaMaRa- Base Maladies Rares) et la mise en place d’un entrepôt de données national sur les maladies rares.


Le département a par ailleurs comme mission de favoriser l’Innovation, en lien avec la DPT: le développement progressif d’une offre permettant l’organisation d’évènements dans les hôpitaux (conférences, cafés, hackathons, etc.), le soutien aux projets les plus prometteurs, et plus généralement l’organisation de la veille et la prospective sur les transformations numériques et leur impact sur l’hôpital ;


Description du Domaine Données:

Le domaine Données de WIND est composé de trois équipes :

• L’équipe Expertise Données a pour mission d’assurer le cadrage de la gouvernance institutionnelle des données (cadre réglementaire, cadre d’interopérabilité, programme qualité des données)

• L’équipe Plateforme Big Data et Entrepôt de Données de Santé (EDS) est responsable de la mise en place de la plateforme Big Data de l’AP-HP qui doit permettre l’intégration des données de santé massives et complexes (séquences de gènes, images, signaux, textes, etc). L’objectif de cette plateforme est de faciliter l’utilisation de ces données à grande échelle, de manière performante et sécurisée dans le respect des principes et règles de gouvernance des données définis par l’AP-HP, pour diverses finalités (recherche, enseignement, pilotage médico-économique et opérationnel, innovation diagnostique et thérapeutique, maîtrise des vigilances et risques).

• L’équipe Référentiels Métiers et Offre de soins a pour mission de mettre en œuvre des solutions de gestion et de distribution des référentiels/terminologies métier et des bases de connaissances du Systèmes d’Information (SI) Patient dans divers domaines de la santé: spécialités médicales ou chirurgicales, biologie, imagerie, génétique, circuit du médicament etc. Ces référentiels métier permettent l’échange, le partage et l’exploitation des données de santé. L’équipe assure également la gestion de la base de données institutionnelle de l’offre de soins et la maintenance d’un moteur de recherche améliorant la lisibilité sur Internet de l’offre de soin et des activités de l’AP-HP.

La Plateforme Big Data héberge l’Entrepôt de Données de Santé (EDS) qui intègre les données médicales, administratives et sociales des patients pris en charge à l’AP-HP. Elle offre également des services d’hébergement et de traitement de données de santé dans le cadre de projet de recherche clinique ou épidémiologique nationaux et internationaux. Les environnements techniques sur lesquels le cluster Big Data, élément central de cette plateforme, est bâti sont : Hadoop (distribution Hortonworks avec les briques Hive, Spark2, Solr, Phoenix, Hbase, HDFS, Zookeper, Ambari…), base de données structurée PostGreSQL, Jupyter Lab, l’outil I2B2…

Cette plateforme compte actuellement 22 machines pour le cluster Hadoop (4928Go RAM, 840 cores CPU,1,4To d’espace disque HDFS), de 3 machines GPU (20 GPU Nvidia), de 10 machines CPU dédiées aux environnements Jupyter pour l’analyse de données, et 1 machine NFS de 78To.

Un effort important est porté à l’intégration rapide des données cliniques (structurées et non structurées) produites dans les différents systèmes d’information hospitaliers (dossier patient informatisé ORBIS, logiciels historiques et de spécialité, données des moniteurs haute fréquence, données d’imagerie, données de séquençage génétique…) afin de pouvoir les mettre à disposition de tiers au travers d’outils spécifiques (logiciel I2B2, outil BI Cognos, outils propres de visualisation et de création de cohortes...) ou d’interfaces FHIR (API).

L’entrepôt de données de santé contient aujourd’hui les données médicales de plus de 8 millions de patients (20 millions de dossiers médicaux, plus de 10 millions de diagnostics, 181 millions de résultats de laboratoires…). Un travail important de standardisation des données est en cours afin de s’aligner sur les standards internationaux et assurer une interopérabilité maximale des données (OMOP, FHIR et les terminologies médicales de référence LOINC, CIM…). Plus de 30 projets de recherche sont actuellement en cours.

Composition de l’équipe :

L’équipe Plateforme Big Data et Entrepôt de Données de Santé (EDS) est composée d’environ 7 professionnels aux profils techniques variés.  

Sur la base de 35h hebdomadaires. Repos le week-end et les jours fériés

Cadre

Quotité de travail : 100%

ACTIVITES

Mission générale :


Vous aurez pour mission générale d’analyser, concevoir, paramétrer et développer des solutions applicatives ou des développements concernant l’intégration des données au sein de la plateforme Big Data et l’EDS. Vous devrez en assurer la réalisation et les évolutions dans le respect des normes de sécurité, d’interopérabilité, de qualité des données et de graphisme.

Vous aurez ainsi pour missions :

•Participer à l’analyse des besoins et des problématiques métiers

•Rédiger les cahiers des charges et les spécifications fonctionnelles et techniques associées

•Participer à la conception et à la modélisation des solutions à mettre en place   

•Développer des solutions d’intégration (ETL, Web Services), d’analyse et de restitution des données (sélection, algorithmes, méthodes statistiques, reporting, dataviz, …)

•Rédiger la documentation technique et utilisateur

•Prendre en charge la préparation, l’exécution et le suivi de la recette

•Déployer des maintenances correctrices et évolutives

•Former et accompagner les utilisateurs sur l’utilisation des outils décisionnels

Missions principales :

Vous devrez ainsi assurer les développements permettant d’alimenter en données les diverses applications :

  • L’entrepôt de données de santé :

-Assurer l’intégration des données au sein de l’EDS de manière performante, notamment du domaine de la cancérologie

-Développer les traitements ETL (TALEND, etc…)

-Assurer la maintenance des flux existants

-Développer des méthodologies standardisées pour l’intégration de nouvelles données

  • L’application i2b2 permettant la création de cohortes de patients :

-Assurer la compatibilité d’i2b2 AP-HP avec les versions intrinsèques d’i2b2 à venir

-Assurer la compatibilité d’i2b2 AP-HP avec les Web Services (dont FHIR), le portail Jupyter, et l’outil Cohort360 développés en interne au sein de l’équipe

-Intégration de données, notamment du domaine de la cancérologie

-Développer des traitements ETL (TALEND, etc.)



Conditions requises

Savoir-faire requis

  • Connaissance exigée des bases de données (Oracle, PostgreSQL) et des langages SQL associées
  • Maîtrise des outils ETL (Talend ou autre)
  • Maîtrise d’au moins un de ces langages de programmation (Java, R, Javascript, Python) et connaissance en Java
  • Maîtrise des environnements Linux
  • Connaissances techniques des nouvelles technologies (NoSQL, Hadoop…)
  • Connaissance approfondie en sécurité informatique, normes et standards d’échange,
  • Rédiger/contrôler des documents techniques (Dossier d’architecture technique - DAT, Dossier d’exploitation - DEX, Dossier d’alarmes – DAL, matrice des flux réseau, etc.)
  • Bonne connaissance des méthodologies de gestion de projet (cycle en V, Scrum, méthodes agiles)

Apprécié :

  • Connaissance des standards d’interopérabilité du domaine de la santé (FHIR, OMOP, CDA, HL7, CIM, Snomed, LOINC…)

Travail en équipe :

  • Concevoir et évaluer un projet / un processus relevant de son domaine de compétence
  • Concevoir et rédiger une documentation spécifique à son domaine de compétence
  • S'exprimer en public
  • Utiliser les logiciels métier

Connaissances associées

Apprécié :

  • Environnement des systèmes d’information hospitaliers
  • Enjeux liés à la recherche, à l’analyse de données et aux technologies de machine learning/deep learning, notamment dans le domaine de la santé (santé publique, génétique, épidémiologie…)


Savoir-être requis

  • Esprit d’équipe
  • Autonomie, rigueur, méthode
  • Capacité de travail importante, associée à un fort dynamisme.
  • Curiosité et capacité d’adaptation et d’anticipation
  • Adhésion aux valeurs du service public et intérêt prononcé pour le domaine de la santé

PREREQUIS/FORMATION

  • Diplôme d’ingénieur ou équivalent (bac+5, master 2) en informatiques ou sciences (mathématiques, physique…) avec formation complémentaire en informatique

EXPERIENCE CONSEILLEE

  • Expérience souhaitée dans le domaine des entrepôts de données de santé  


Numéro de référence

n/a

Offres similaires

Ingénieur Etudes et Développement Talend H/F Ile-de-France Direct energie
DÉVELOPPEUR TALEND – IDF Ile de France Nova-technology
Consultant(e) BI junior H/F Paris Business & Decision
Expert ETL / Talend et BI (H/F) La Défense Saint-Gobain

Recevoir des offres similaires

Merci. Vous allez recevoir des offres à l'adresse email