Data Engineer - Big Data M/F

General information

Publication date

03/02/2025

Position description

Category

OPERATIONS - ENGINEERING/PRODUCTION

Job title

Data Engineer - Big Data M/F

Contract

Permanent contract

Job description

En AKKODIS buscamos dos Data Engineers especializados en Big Data para unirse a nuestro equipo. Ambos perfiles trabajarán en un entorno de teletrabajo 100%y estarán involucrados en la migración y optimización de soluciones de procesamiento de datos.

La incorporación es inmediata y el periodo de cobertura del servicio será de alrededor de 6 meses, por lo que si eres autónomo/freelance y buscas un nuevo proyecto, esta es tu oportunidad!!

Requisitos Generales para Ambos Perfiles:

-Experiencia mínima de 2 años en ingeniería de datos.

-Capacidad para trabajar de manera efectiva en entornos ágiles, con un enfoque en entregas continuas y rápidas.

-Habilidades de comunicación efectiva para interactuar con stakeholders técnicos y no técnicos.

-Capacidad de resolución de problemas y optimización de procesos en entornos distribuidos.

-Dominio de herramientas y frameworks relacionados con el procesamiento de datos.

-Experiencia con herramientas de integración continua (CI/CD) y manejo de versiones (Git).

-Disponibilidad para trabajar de lunes a viernes, 8 horas diarias.

Perfil 1: Data Engineer - Big Data (Migración a Databricks)

Responsabilidades:

Migración de jobs y workflows de Cloudera a Databricks, asegurando su funcionalidad, rendimiento y eficiencia.

-Análisis y optimización de procesos de datos existentes.Colaboración con los responsables de las distintas iniciativas a migrar para comprender el estado actual (As Is) y las necesidades del futuro (To Be).

-Revisión, refactorización y reestructuración de scripts de procesamiento de datos, si fuera necesario.

Requisitos Específicos:

-Experiencia demostrable en Databricks, especialmente en optimización de procesos.

-Conocimiento avanzado de Apache Spark y Scala sobre Databricks.

-Experiencia previa en la migración de jobs de Cloudera a plataformas basadas en Spark, preferiblemente a Databricks.

Perfil 2: Data Engineer - Big Data (Procesamiento en Tiempo Real)

Responsabilidades:

-Construcción de arquitecturas escalables y robustas que gestionen grandes volúmenes de datos a través de flujos de eventos y plataformas de procesamiento en tiempo real.

Requisitos Específicos:

-Mínimo 2 años de experiencia en ingeniería de datos, con un fuerte enfoque en Java y soluciones de procesamiento de eventos.

-Profunda experiencia trabajando con Confluent Kafka, idealmente en entornos productivos a gran escala.

-Conocimiento profundo de arquitecturas de microservicios y patrones de integración con Kafka.

-Experiencia en el desarrollo de pipelines de datos (streaming y batch processing).

-Buen entendimiento de las mejores prácticas de diseño, pruebas y optimización de código en Java.

Ambos perfiles son fundamentales para el éxito de nuestras iniciativas de Big Data y se espera que contribuyan de manera significativa al desarrollo y optimización de nuestras soluciones de procesamiento de datos.

Business Industry

Digital

Profile

-

Position location

Job location

Europe, Spain

Location

Remoto

Telework

Full-time

Candidate criteria

Level of experience

All levels of experience