{"id":4387562,"url":"https://alion.io/job/storm-group-data-engineer-spark-aws-hf","title":"Data Engineer Spark / AWS (H/F)","company":{"id":3908479,"name":"Storm Group","domain":"storm-group.fr","url":"https://alion.io/company/storm-5","size_band":"201-500","is_staffing_agency":false,"employer_type":"services","is_intermediary":false,"listed_via":null,"ats_vendor":"Welcome to the Jungle","truth_index":null},"role":"Data Science","role_family":"Data Science","seniority":null,"employment_type":"freelance","work_mode":"hybrid","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Paris, France"],"countries":["FR"],"hiring_countries":[],"hiring_countries_total":0,"salary":{"min":50000,"max":55000,"currency":"EUR","period":"year","gross":null,"usd_annual":60659},"salary_estimate":null,"experience_years_min":null,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"Airflow","optional":false},{"name":"Amazon S3","optional":false},{"name":"Apache Kafka","optional":false},{"name":"AWS","optional":false},{"name":"pySpark","optional":false},{"name":"Python","optional":false},{"name":"Scala","optional":false},{"name":"Spark","optional":false}],"status":"live","first_seen_at":"2026-11-16T16:02:49Z","employer_posted_date":null,"last_verified_at":"2026-11-16T16:02:49Z","board_verified":false,"closed_at":null,"days_open":0,"trust":{"level":"not_scored","repost_count":null,"flags":[],"days_open":0},"description":"Participe au développement et à l'optimisation de plateformes Data au cœur d'un environnement CloudDans le cadre d'un projet Data d'envergure chez l'un de nos grands comptes, nous recherchons un(e) Data Engineer Spark / AWS.\nTu interviendras sur des activités de développement et de maintenance de pipelines de données, ainsi que sur leur supervision en production. Tu contribueras à la fiabilisation et à l'optimisation des traitements Data, tout en travaillant en étroite collaboration avec les équipes techniques et les interlocuteurs métiers.\nTon futur environnementTu évolueras au sein d'un environnement Data Cloud reposant notamment sur les technologies Apache Spark et AWS.\nIntégré(e) à une équipe Data, tu interviendras sur l'ensemble du cycle de vie des pipelines, de leur conception jusqu'à leur exploitation en production. Tu participeras également à l'évolution des architectures existantes et à la mise en place de nouveaux traitements, en collaboration avec les Product Owners et les différentes équipes techniques.\nTes missions clésBUILD – Développement & Conception Data :\nDévelopper et maintenir des pipelines de données avec Spark, Scala et Python.\n\nAssurer l'ingestion, la transformation et le traitement des données.\n\nConcevoir et développer des workflows d'orchestration avec Airflow.\n\nOptimiser les performances des traitements Spark.\n\nParticiper aux tests, aux revues de code et aux déploiements des évolutions.\n\nContribuer à l'amélioration continue des architectures et des pipelines existants.\n\nRUN – Exploitation & Production :\nSuperviser les pipelines de données et assurer leur bon fonctionnement en production.\n\nAnalyser, diagnostiquer et résoudre les incidents liés aux traitements Data.\n\nGérer les erreurs d'exécution et assurer les reprises des traitements.\n\nFiabiliser les pipelines et maîtriser les dépendances entre les différents workflows.\n\nIdentifier les axes d'amélioration et optimiser les traitements existants.\n\nGarantir la continuité de service et la qualité des données produites.\n\nCollaboration fonctionnelle & Métier :\nComprendre les besoins métiers et les règles de gestion associées aux traitements de données.\n\nCollaborer avec les Product Owners dans la définition et le suivi des évolutions.\n\nAnalyser et clarifier les demandes et les tickets lorsque les besoins sont incomplets.\n\nÊtre force de proposition sur les évolutions techniques et fonctionnelles.\n\nChallenger les besoins exprimés afin de proposer des solutions adaptées aux enjeux métiers.\n\nTon profilFormation : Bac+5 en informatique, Data Engineering, systèmes d'information ou domaine équivalent.\nExpérience : Expérience confirmée en tant que Data Engineer, avec une solide expertise sur Spark et les environnements AWS. Une expérience significative dans l'exploitation de pipelines en production est attendue.\nExpertise métier :\nSolide maîtrise d'Apache Spark et PySpark, idéalement Scala.\n\nBonne maîtrise de l'écosystème AWS, notamment S3 et EMR.\n\nExpérience dans le développement et l'orchestration de workflows avec Airflow.\n\nCapacité à optimiser les performances des traitements Spark : shuffle, skew, partitionnement et broadcast.\n\nExpérience concrète du RUN et de la gestion des incidents en production.\n\nConnaissance de Kafka appréciée, notamment sur les problématiques de traitement de données distribuées.\n\nCompétences fonctionnelles et techniques :\nMaîtrise de Python et/ou Scala.\n\nExpertise dans le développement de pipelines Spark et PySpark.\n\nBonne connaissance des services AWS, notamment S3 et EMR.\n\nExpérience dans l'orchestration de traitements avec Airflow.\n\nCapacité à diagnostiquer les erreurs et à assurer la reprise des traitements.\n\nCompréhension des architectures Data distribuées et des problématiques de performance.\n\nConnaissance de Kafka : topics, partitions, consumers et mécanismes de traitement.\n\nTes atoutsAutonomie technique : Capacité à prendre en charge des développements complexes et à résoudre les problématiques techniques de manière autonome.\n\nRigueur & Fiabilité : Sens des responsabilités dans la gestion des traitements et des incidents de production.\n\nEsprit d'analyse : Capacité à identifier les causes des dysfonctionnements et à proposer des optimisations concrètes.\n\nCompréhension métier : Aptitude à comprendre les besoins fonctionnels et à challenger les demandes pour apporter des solutions pertinentes.\n\nProactivité : Force de proposition et capacité à anticiper les difficultés techniques et opérationnelles.\n\nNos avantagesRemboursement des titres de transport à hauteur de 75%.\n\nTickets restaurant pris en charge par STORM GROUP à hauteur de 50% (10,5 euros / jour).\n\nAccès Gymlib / Wellpass (sport et bien-être).\n\nContrat Santé / Prévoyance mis en place auprès de la compagnie Alan.\n\nFormation continue : Accès à Udemy Business et accompagnement aux certifications.\n\nPrime de cooptation, prime d'intéressement et de participation.\n\nDeux à trois jours de télétravail par semaine.\n\n5 raisons de nous rejoindreParcours sur mesure : Co-construis une trajectoire professionnelle unique, adaptée à tes ambitions.\n\nMissions Stratégiques : Interviens sur des projets d'envergure, en parfaite cohérence avec ton expertise.\n\nSuivi Dédié : Bénéficie d'un pilotage annuel structuré pour garantir ta progression continue.\n\nExcellence Continue : Développe tes compétences au quotidien au sein d'un écosystème exigeant.\n\nPerformance Durable : Évolue dans un cadre où l'exigence métier respecte ton équilibre de vie.\n\nNotre processus de sélectionÉchange introductif avec un chargé de recrutement.\n\nEntretien métier avec évaluation de ton expertise Spark, PySpark, AWS et Airflow, ainsi que de ton expérience en RUN et optimisation des traitements.\n\nRencontre finale pour validation du fit et projection sur la mission.\n\nPrêt(e) à rejoindre une équipe d'experts engagés ? N'hésite plus, rejoins la Storm Team !\nStorm Group encourage une culture inclusive et multiculturelle où la diversité des profils nourrit notre intelligence collective. En rejoignant la Storm Team, tu intègres un écosystème engagé qui place le développement de tes talents au cœur de sa stratégie, tout en agissant concrètement pour la solidarité et la réduction de l'empreinte environnementale, aussi bien au sein de nos bureaux que dans les projets d'envergure que nous menons chez nos clients.","description_format":"text","description_chars":6320,"description_truncated":false,"requirements":{"experience_years_min":null,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[]},"benefits":[],"hiring_locations":[],"hiring_excludes":[],"relocation_offered":false,"industries":["IT Consulting & Digital Transformation","Custom Software Development"],"lifecycle":[{"event":"open","at":"2026-11-16T17:56:30Z"}],"visa":[],"liveness":{"score":86,"band":"hot","label":"Hiring now","p_open":1,"p_active":0.86,"p_room":1,"age_days":0,"expected_fill_days":27,"reasons":["seen:0","win:early","comp:brand"],"computed_at":"2026-11-16T19:09:54Z"},"pay":{"stated_usd_annual":60659,"is_top_pay":false},"html_url":"https://alion.io/job/storm-group-data-engineer-spark-aws-hf","json_url":"https://alion.io/job/storm-group-data-engineer-spark-aws-hf.json","meta":{"generated_at":"2026-11-16T19:09:54Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":3450,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-11-17T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.1,"usd":0.01,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":3908479},"rest":"https://alion.io/mcp/rest/get_company?id=3908479"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2Fstorm-group-data-engineer-spark-aws-hf"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"free","price":{"credits":0,"usd":0},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2Fstorm-group-data-engineer-spark-aws-hf"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.1,"usd":0.01},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2Fstorm-group-data-engineer-spark-aws-hf"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/storm-group-data-engineer-spark-aws-hf\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2Fstorm-group-data-engineer-spark-aws-hf"}],"agent":{"mcp":"https://alion.io/mcp/jobs","mcp_open":"https://alion.io/mcp/open","next":[{"tool":"get_job","arguments":{"id":4387562}},{"tool":"search_jobs","arguments":{"company":"storm-group.fr","detail":"compact"}},{"tool":"match_people","arguments":{"job_id":4387562},"note":"people open to offers who fit this vacancy"}],"note":"The same data through MCP tools: https://alion.io/mcp/open needs no sign-in (compact searches, postings, people); https://alion.io/mcp with an Alion account has everything. Docs: https://alion.io/developers"}}