Data Engineer (Streaming)

합류하게 될 팀에 대해 알려드려요

• 토스플레이스의 Data Engineer는 Data Platform Team에 속해 있어요.
• Data Platform Team은 Data Engineer와 Data Analytics Engineer로 구성되어 있으며, 서비스와 분석에 필요한 데이터 플랫폼과 데이터 파이프라인을 구축하고 운영해요.
• 토스플레이스의 제품과 서비스가 확장되면서 서비스에서 데이터를 실시간으로 활용하기 위한 요구도 빠르게 증가하고 있어요.
• 새로운 데이터 요구가 생길 때마다 파이프라인을 별도로 개발하는 방식에서 나아가, 다양한 서비스가 일관된 방식으로 데이터를 활용할 수 있는 공통 스트리밍 플랫폼을 만들어가고 있어요.

합류하면 함께 할 업무에요

• Flink와 Kafka를 기반으로 서비스에 필요한 실시간 데이터 파이프라인을 설계하고 구축해요.

> - 기존 데이터 인프라를 기반으로 서비스에 필요한 스트리밍 파이프라인의 구조와 운영 기준을 직접 설계하고 만들어갈 수 있어요.

> - 서비스에서 발생한 데이터를 필요한 형태로 가공하고 다른 서비스에서 안정적으로 활용할 수 있도록 전달해요.

> - 데이터의 생성부터 적재·배포·모니터링·변경까지 전체 과정을 안정적으로 운영해요.

• 반복되는 데이터 파이프라인 구축 과정을 표준화하고 플랫폼으로 만들어요.

> - 새로운 요구가 생길 때마다 파이프라인을 별도로 개발하지 않아도 되도록 공통 구조를 설계해요.

> - 설정이나 SQL, 템플릿을 통해 데이터 파이프라인을 쉽게 생성하고 운영할 수 있는 환경을 만들어요.

• 서비스 개발자와 직접 협업하며 데이터를 실시간으로 활용할 기회를 먼저 발굴하고, 파이프라인의 설계부터 개발까지 주도해요.

이런 분과 함께하고 싶어요

• Kafka 기반 환경에서 Flink, Kafka Streams, Spark Streaming 등으로 실시간 데이터 처리 파이프라인을 구축하고 운영해 본 분과 함께하고 싶어요.
• 요구사항을 이해하는 것부터 설계·개발·배포·모니터링까지 데이터 파이프라인의 전체 과정을 주도적으로 경험한 분과 함께하고 싶어요.
• 반복되는 데이터 처리 요구를 발견하고 재사용할 수 있는 구조로 표준화해 본 경험이 있는 분을 찾고 있어요.

아래 경험이 있으시다면 더 좋아요

• Kubernetes 환경에서 Flink 또는 Kafka Streams와 Kafka Ecosystem(Kafka Connect, Schema Registry 등)을 활용해 실시간 데이터 파이프라인을 구축하고 운영해 본 경험이 있다면 더 좋아요.

> - 장애나 재시작 상황에서도 데이터가 유실되거나 중복되지 않도록 Exactly-once 또는 멱등성을 보장해 본 경험

> - 로직 변경이나 장애 발생 이후 과거 데이터를 재처리(Backfill, Replay)할 수 있는 구조를 설계해 본 경험

• CQRS, CDC 등을 기반으로 서비스 DB의 변경 데이터를 실시간으로 수집하고, 다른 서비스에서 조회할 수 있는 저장소로 전달·동기화하는 구조를 설계해 본 경험이 있다면 더 좋아요.
• 결제, 커머스 등 데이터 정합성이 중요한 서비스에서 실시간 데이터 파이프라인을 운영한 경험이 있다면 더 좋아요.
• Apache Iceberg, StarRocks 등 데이터 저장 및 분석 환경과 스트리밍 파이프라인을 연계해 본 경험이 있다면 더 좋아요.

이력서는 이렇게 작성하시는 걸 추천해요

• 실시간 데이터를 다루면서 해결한 문제를 구체적으로 작성해주세요. 어떤 규모와 환경에서 데이터 유실·중복·지연·장애 등의 문제가 발생했고, 원인을 어떻게 진단하고 해결했는지가 드러나면 좋아요.
• 파이프라인을 구축하고 운영하면서 마주했던 기술적 고민과 구조 개선 경험을 적어주세요. 개별 파이프라인을 구축한 경험보다는 반복되는 문제나 요구사항을 어떻게 재사용 가능한 구조로 표준화하고 개선했는지가 궁금해요.
• 개선 결과는 가능한 객관적인 근거와 함께 보여주세요. 처리 지연시간, 처리량, 장애 빈도, 데이터 정합성 등 전후의 변화를 수치나 구체적인 성과로 보여주시면 좋아요. 단, 외부 공개가 민감한 내용은 제외해 주세요.

토스플레이스로의 합류여정

• 서류 접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격

함께 할 동료를 위한 한마디

> “데이터와 사용자의 거리를 줄이는 경험을 할 수 있어요.”

• 데이터가 필요한 순간에 제품과 서비스에서 활용될 수 있도록 때로는 배치로 안정적이고 효율적으로, 때로는 스트리밍으로 실시간에 가깝게 데이터를 전달해요. 단순히 데이터를 잘 쌓는 것을 넘어서 데이터가 실제 사용자 경험과 제품의 가치로 이어지는 과정까지 고민해요.
• 토스플레이스에서는 개별 요구사항마다 파이프라인을 만드는 데 그치지 않고, 다양한 서비스가 데이터를 일관된 방식으로 활용할 수 있도록 스트리밍 파이프라인의 구조와 운영 기준을 직접 만들어가요.
• 데이터가 제품에 전달되는 방식을 고민하고, 반복되는 요구를 공통의 구조와 플랫폼으로 발전시키는 과정에서 재미를 느끼는 분이라면 즐겁게 일할 수 있을 거예요.