AI Platform Engineer (Serving)

![referral-1]

(https://static.toss.im/disposables/contents/26aiml-4.jpg)

#

#

#

>**직무 인터뷰만 봐도 100만원, 함께할 팀을 직접 만나보고 결정하세요!**

#

• 10월 8일(목)부터 25일(금)에 지원하시는 분들에게만 해당되는 특별 전형이에요. 합격 여부와 상관없이 직무 인터뷰에 참여하시면 100만원을 받아요. (제세공과금 본인 부담)
• 총 7개의 직군, 40여개의 포지션에서 채용을 진행하고 있어요. [**한눈에 보기**](https://toss.im/career/event/ai-ml-data-2026)
• 지원하신 포지션보다 더 잘 맞는 포지션이 있다면 저희가 먼저 제안드려요. 다른 직무로 변경하여 인터뷰를 진행하셔도 100만원은 동일하게 지급돼요.

합류하게 될 팀에 대해 알려드려요

• AI Platform 팀은 "AI 기술을 누구나 빠르고 안정적으로 사용할 수 있는 플랫폼으로 만든다"는 미션을 가지고, 토스 전반의 AI 활용을 기술적으로 지원하고 있어요.
• Retrieval-Augmented Generation, Agent, Assistant 등 새로운 방식의 AI 시스템이 빠르게 실험되고 안정적으로 운영될 수 있도록, 필요한 도구와 플랫폼을 만들고 있어요.
• 우리가 만드는 플랫폼은 단순한 툴셋이 아니라, AI 기술이 더 많은 팀에서 실제로 쓰일 수 있게 확장성을 갖춘 구조로 설계돼요.
• 아직 정답이 정해지지 않은 문제들을 다루는 만큼, 기술적인 방향을 함께 고민하고 구조화해나가는 역할이 중요해요.
• **토스 데이터 조직에 대해 더 알아보고 싶다면?** [→ *토스 Data Division 위키*](https://recruit-data-division.oopy.io/)

합류하면 함께 할 업무에요

• 다양한 서빙 프레임워크(vLLM, Dynamo, Triton 등)를 운영하고 성능을 개선해요.
• 대규모 LLM 및 embedding 모델의 안정적인 실시간 서빙 환경을 구축하고 모니터링해요.
• 리소스 효율성, 추론 속도, 확장성을 고려해 시스템 성능을 지속적으로 개선해요.
• 모델 서빙 장애 대응, 배포 안정성 확보를 위한 오케스트레이션 및 자동화 작업을 함께해요.

이런 분과 함께하고 싶어요

• vLLM, SGLang 등 서빙 프레임워크에 컴포넌트를 연동해 성능이나 운영 방식을 개선해 본 분과 함께하고 싶어요. LLM 서빙 경험이 아니더라도 Triton Inference Server, TensorRT 등으로 추천·비전 모델의 서빙 시스템을 깊이 있게 다뤄본 경험이 있다면 좋아요
• 커널 레벨의 개발 경험이 없더라도, GPU와 모델의 기본적인 동작 방식을 이해하고 이를 바탕으로 문제를 분석할 수 있는 분과 함께하고 싶어요
• 실험 및 운영 효율화를 위한 자동화, 모니터링, 오케스트레이션에 관심이 있는 분과 함께하고 싶어요
• 유지보수하기 좋은 코드를 작성하고, 적극적인 코드 리뷰로 코드 품질을 높여온 분과 함께하고 싶어요
• 구조화되지 않은 문제를 기술적으로 정의하고, 시스템적으로 해결해본 분이면 좋아요
• 새로운 기술 흐름을 빠르게 따라가고, 그 흐름을 팀 내에 자연스럽게 녹여낸 경험이 있다면 좋아요

이런 분이면 더 좋아요

• 대규모 LLM 또는 embedding 모델의 학습/서빙 환경을 최적화하고 운영해 본 경험이 있으신 분이면 더욱 잘 맞아요.
• LLM을 최적화하여 서비스에 활용할 수 있게 성능을 이끌어낸 분이면 환영해요.
• AI/ML 모델들에 대해 일반화하여 플랫폼을 구축해본 경험이 있으시면 더욱 좋아요.
• 고성능 서빙, 대규모 트래픽 환경에서 모델 운영 경험이 있는 분이면 AI Platform 팀의 방향과 잘 맞을 거예요.
• 꼭 서빙 분야가 아니더라도 오픈소스 기여 등을 통해 중요한 문제를 해결하고 개선해 본 경험이 있다면 좋아요.

이력서는 이렇게 작성하시는 걸 추천해요

• 진행했던 과제가 조직에 큰 영향력을 미쳤다면 그 내용을 자세히 작성해 주세요.
• 단순히 어떤 언어, 플랫폼, 프레임워크, 기술 등을 사용했는지보다는, 어떤 목적을 가진 과제였는지, 이를 해결하기 위해 무엇을 사용했는지, 어떻게 문제를 해결했는지에 대해 자세히 작성해 주세요.
• 플랫폼을 운영하면서 발생한 치명적인 장애를 해결해 보았거나, 성능/리소스 최적화를 해 본 경험이 있다면 작성해 주세요.
• 오픈소스 사용 중에 발생한 버그나 이슈를 해결해 보았거나, 부족한 기능을 개선하기 위해 오픈소스에 기여했던 경험이 있다면 작성해 주세요.

토스로의 합류여정

• 서류 접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격
• 직무 인터뷰에서는 심층 기술 면접과 ML 시스템 설계를 주제로 면접이 진행될 예정이에요.

함께할 동료를 위한 한마디

> "빠르게 발전하고 있는 AI 모델들을 서빙하는 것에 그치지 않고, 그 모델이 안정적으로 작동하고 끊임없이 개선될 수 있는 시스템을 직접 만들어갑니다."

• AI Platform 팀은 LLM 기반 서비스, RAG 시스템, 검색 인프라 등 다양한 AI 기술이 실제 프로덕션 환경에서 원활히 동작할 수 있도록 서빙/실험/운영 인프라를 책임지고 있어요.
• GPU 자원과 클러스터를 효율적으로 운영하고, vLLM, Triton, Model Registry 등을 활용해 실험과 배포를 자동화하고 있어요.
• AI 기술이 실질적인 서비스로 이어지기 위해 필요한 기술적 기반을 구축하고, 안정성과 확장성을 함께 고민하는 분을 기다리고 있어요.
• 실험부터 서빙까지의 흐름을 직접 만들고 고도화해 나가는 경험, 토스에서 할 수 있습니다.