{"id":35065,"url":"https://alion.io/job/42dot-llm-engineer-reinforcement-learning","title":"LLM Engineer (Optimization)","company":{"id":256,"name":"42dot","domain":"42dot.ai","url":"https://alion.io/company/42dot","size_band":"201-500","is_staffing_agency":false,"employer_type":"direct","is_intermediary":false,"listed_via":null,"ats_vendor":"Ashby","truth_index":{"grade":"A","score":86,"open_postings":14,"ghost_share":0,"stale_share":0.571,"repost_share":0,"time_to_fill_p50_days":43,"computed_at":"2026-10-16T05:45:00Z"}},"role":"AI/ML","role_family":"AI/ML","seniority":"middle","employment_type":"full_time","work_mode":"hybrid","remote_scope":null,"remote_scope_basis":null,"remote_working_hours":null,"hiring_geo_confidence":"structured","locations":["Seongnam, South Korea"],"countries":["KR"],"hiring_countries":[],"hiring_countries_total":0,"salary":null,"salary_estimate":null,"experience_years_min":3,"visa_sponsorship":false,"relocation_package":false,"has_equity":false,"technologies":[{"name":"Apache TVM","optional":false},{"name":"AWQ","optional":false},{"name":"C++","optional":false},{"name":"CUDA","optional":false},{"name":"CUDA Toolkit","optional":false},{"name":"Edge AI","optional":false},{"name":"GPTQ","optional":false},{"name":"Knowledge Distillation","optional":false},{"name":"llama.cpp","optional":false},{"name":"LLM","optional":false},{"name":"Machine Learning","optional":false},{"name":"MLIR","optional":false},{"name":"MLX ML","optional":false},{"name":"Model Distillation","optional":false},{"name":"ONNX","optional":false},{"name":"ONNX Runtime","optional":false},{"name":"Python","optional":false},{"name":"PyTorch","optional":false},{"name":"PyTorch C++","optional":false},{"name":"Quantization","optional":false},{"name":"SGLang","optional":false},{"name":"Speculative Decoding","optional":false},{"name":"TensorRT","optional":false},{"name":"TensorRT-LLM","optional":false},{"name":"Triton","optional":false},{"name":"vLLM","optional":false},{"name":"Fine-tuning","optional":true},{"name":"Kubernetes","optional":true},{"name":"KV Cache","optional":true},{"name":"Mixture of Experts","optional":true}],"status":"live","first_seen_at":"2026-07-22T07:09:56Z","employer_posted_date":"2026-09-22","last_verified_at":"2026-10-16T21:22:37Z","board_verified":true,"closed_at":null,"days_open":86,"trust":{"level":"ok","repost_count":1,"flags":[],"days_open":85},"description":"About the Team & Mission\nLLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다.\n서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다.\nResponsibilities\nLLM Inference Optimization\n대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.\n\n다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.\n\nLong Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.\n\nInference Engine 및 Runtime 개발\nGPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.\n\nvLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.\n\nSpeculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다.\n\nModel Compression 및 Compiler Optimization\nQuantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다.\n\nCUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다.\n\nGPU Memory 및 Kernel 효율을 분석하고 최적화합니다.\n\nEdge AI 및 On-device Optimization\nMobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다.\n\nCPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다.\n\n제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다.\n\nPerformance Analysis 및 Benchmark\n다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다.\n\nNVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다.\n\n주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.\n\nQualifications\nILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상\n\nLLM Inference Engine 또는 AI Runtime 개발 경험\n\nGPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해\n\nQuantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해\n\nPyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험\n\nPython 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분\n\n성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분\n\nPreferred Qualifications\nvLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험\n\nCUDA, Triton Kernel 또는 Custom Operator 개발 경험\n\nSpeculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험\n\nNVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험\n\nEdge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등)\n\nKubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험\n\nLLM Fine-tuning 및 Distributed Training에 대한 이해\n\nAI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험\n\nAI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험\n\nInterview Process\n서류 전형\n\n코딩·과제 테스트\n\n1차 면접 (화상, 1시간 내외)\n\n2차 면접 (대면 혹은 화상, 3시간 내외)\n\n처우 협의·입사\n\nAdditional Information\n전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다.\n\n지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.\n\n지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, 로 문의해 주시기 바랍니다.\n\n국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.\n\n장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.\n\n42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.\n\n지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다.\n\n인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.\n\n3개월의 수습기간이 적용될 수 있습니다.","description_format":"text","description_chars":3318,"description_truncated":false,"requirements":{"experience_years_min":3,"management_years_min":null,"team_size_min":null,"manages_managers":false,"education":null,"security_clearance":false,"languages":[]},"benefits":[],"hiring_locations":[{"name":"South Korea","iso":"KR","kind":"country"}],"hiring_excludes":[],"relocation_offered":false,"industries":["Autonomous Driving","Smart Mobility","Automotive Software"],"lifecycle":[{"event":"open","at":"2026-07-22T07:09:56Z"},{"event":"close","at":"2026-08-16T03:09:26Z"},{"event":"reopen","at":"2026-09-22T07:40:15Z"}],"visa":[],"liveness":{"score":16,"band":"cold","label":"Long shot","p_open":1,"p_active":0.437,"p_room":0.36,"age_days":85,"expected_fill_days":43,"reasons":["conf:2","stale_co","urgency","velocity","win:tail","crowd:"],"computed_at":"2026-10-16T05:45:00Z"},"pay":null,"html_url":"https://alion.io/job/42dot-llm-engineer-reinforcement-learning","json_url":"https://alion.io/job/42dot-llm-engineer-reinforcement-learning.json","meta":{"generated_at":"2026-10-16T23:43:30Z","cache_seconds":300,"methodology":"https://alion.io/methodology","terms":"https://alion.io/terms","contact":"https://alion.io/contact","api":"https://alion.io/developers","about":"Alion is a live layer of people, companies and AI agents: who they are, whether they are real and active right now, what they do and how to work with them, readable by people and by agents and paid per call.","catalog":"https://alion.io/catalog.json","usage":{"tier":"crawler_verified","counted_by":"address","units_charged":1,"used_today":5793,"day_limit":null,"remaining_today":null,"minute_limit":300,"resets_at":"2026-10-17T00:00:00Z"}},"offers":[{"id":"company.slices","title":"One company in depth, by slice","status":"live","price":{"credits":0.02,"usd":0.002,"plus_per_slice":{"credits":0.05,"usd":0.005}},"unit":"per company, plus each slice with data","note":"the employer in depth","call":{"mcp_tool":"get_company","arguments":{"id":256},"rest":"https://alion.io/mcp/rest/get_company?id=256"},"human":"https://alion.io/catalog?offer=company.slices&for=job%2F42dot-llm-engineer-reinforcement-learning"},{"id":"market.stats","title":"A market slice: pay, demand and time to fill","status":"live","price":{"credits":1,"usd":0.1},"unit":"per slice","note":"pay, demand and time to fill for this role and place","call":{"mcp_tool":"market_stats"},"human":"https://alion.io/catalog?offer=market.stats&for=job%2F42dot-llm-engineer-reinforcement-learning"},{"id":"job.search","title":"Open jobs by role, technology, place, pay and visa","status":"live","price":{"credits":0.02,"usd":0.002},"unit":"per posting in a list","note":"similar open postings","call":{"mcp_tool":"search_jobs"},"human":"https://alion.io/catalog?offer=job.search&for=job%2F42dot-llm-engineer-reinforcement-learning"},{"id":"company.verify","title":"Is this company real and active right now","status":"pilot","price":null,"unit":"per company","request":{"url":"https://alion.io/catalog/request","method":"POST","body":"{\"offer\": \"company.verify\", \"for\": \"job/42dot-llm-engineer-reinforcement-learning\", \"note\": \"what you need it for\"}"},"human":"https://alion.io/catalog?offer=company.verify&for=job%2F42dot-llm-engineer-reinforcement-learning"}]}