Staff Machine Learning Engineer, Pegasus

WHO WE ARE 영상 이해 AI의 글로벌 기준을 함께 만들어 갈 인재를 찾습니다! 트웰브랩스는 방대한 영상 데이터를 효과적으로 처리하여, 영상에 특화된 검색, 분석, 요약, 인사이트 생성 기능을 제공하는 세계 최고 수준의 영상 특화 AI 모델을 만들고 있습니다. 세계 최대 스포츠 리그에서는 트웰브랩스 모델을 활용해 방대한 경기 영상 속에서 빠르고 정확하게 하이라이트를 선별하여 초개인화된 시청 경험을 제공하고 있습니다. 국내 통합관제센터에서는 위기 상황에 신속히 대응하기 위해 트웰브랩스와 함께 CCTV 영상을 효율적으로 탐색하고 있으며, 전 세계 주요 방송사와 스튜디오들은 수십억 명의 시청자를 위한 콘텐츠 제작에 트웰브랩스 모델을 활용하고 있습니다. 트웰브랩스는 샌프란시스코와 서울에 오피스를 둔 Deep Tech 스타트업으로, 4년 연속 CB Insights 선정 세계 100대 AI 스타트업에 이름을 올렸습니다. NVIDIA, NEA, Index Ventures, Databricks, Snowflake 등 세계적인 VC와 기업으로부터 총 1억 1천만 달러 이상의 투자를 유치했으며, 한국에서 개발된 AI 모델 중 유일하게 Amazon Bedrock을 통해 서비스됩니다. 우리는 탁월한 동료들과 혁신적인 제품을 만들고 전 세계 고객들과 함께 성장하고 있습니다. 트웰브랩스는 다음과 같은 핵심 가치를 중심으로 일합니다. - 나와 팀에 대해 정직하고 성찰할 수 있는 태도 - 실패와 피드백을 두려워하지 않는 끈기와 겸손 - 끊임없는 학습을 통해 팀의 역량을 함께 높여 가는 자세 도전적인 문제를 함께 해결하며 성장하는 과정을 즐기는 분이라면, 그 기회가 여기 트웰브랩스에 있습니다. ABOUT PEGASUS Pegasus는 “영상은 많지만 실제로 활용 가능한 데이터는 부족하다“는 문제를 해결하기 위해 만들어진 Video Understanding 모델입니다. 기존의 Video AI는 주로 영상 전체를 요약하거나 질문에 답하는 수준에 머물러 있었습니다. 하지만 실제 비즈니스 환경에서는 단순 요약만으로는 충분하지 않습니다. 기업들은 특정 장면이 언제 등장했는지, 어떤 이벤트가 어느 시점에 발생했는지, 그리고 이를 어떻게 검색·분류·아카이빙·편집 시스템과 연결할 수 있는지를 필요로 합니다. Pegasus는 이 지점을 해결합니다. 영상의 비주얼, 음성, 오디오, 화면 내 텍스트를 종합적으로 이해하고, 이를 시간 기반(Time-aware)의 구조화된 데이터로 변환합니다. 대표 기능인 Segment는 고객이 원하는 구간 유형과 메타데이터 스키마를 직접 정의할 수 있게 해주며, Pegasus는 영상 속 관련 장면의 시작과 종료 시점을 찾아 제목, 요약, 인물, 주제, 비주얼 요소, 도메인 특화 라벨 등의 정보를 구조화된 형태로 반환합니다. 즉 Pegasus의 핵심은 단순히 “영상 내용을 이해하는 것“이 아닙니다. 영상을 실제 프로덕션 환경과 비즈니스 워크플로우에서 바로 활용 가능한 데이터 시스템으로 변환하는 것입니다. Pegasus는 단순한 Video LLM 을 넘어서, 검색(Search), 아카이빙(Archive), 컴플라이언스(Compliance), CMS, 콘텐츠 운영 자동화 등 다양한 영역의 기반 인프라 역할을 수행합니다. 페가수스, 알면 알수록 재밌다. 더 파헤쳐보기! - 비디오를 구조화된 자산으로: Time-Based Metadata(TBM) 파이프라인 구축기 https://www.twelvelabs.io/ko/blog/%EB%B9%84%EB%94%94%EC%98%A4%EB%A5%BC-%EA%B5%AC%EC%A1%B0%ED%99%94%EB%90%9C-%EC%9E%90%EC%82%B0%EC%9C%BC%EB%A1%9C-time-based-metadata(tbm)-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8-%EA%B5%AC%EC%B6%95%EA%B8%B0 - Quick Shorts demo: YouTube Shorts https://www.youtube.com/shorts/uaEcQ07AKGg ABOUT THE TEAM Pegasus 팀은 TwelveLabs의 비디오 이해(Video Understanding) 역량의 중심에 있는 조직으로, 자사의 핵심 Video Analysis 제품인 Pegasus를 개발하고 있습니다. 높은 instruction-following 성능과 복잡한 계층형 결과물을 생성할 수 있는 멀티모달 비디오 분석 시스템 구축에 집중하고 있으며, 단순한 리서치에 머무르기보다 실제 사용자에게 가치를 제공하는 제품을 빠르게 시장에 선보이는 것을 중요하게 생각합니다. 이를 위해 ML 리서처와 엔지니어가 함께 목표 중심(goal-oriented)의 크로스펑셔널 조직으로 긴밀하게 협업하고 있습니다. 팀의 업무는 매우 폭넓은 엔지니어링 과제를 아우릅니다. 멀티모달 LLM 개발을 위한 프리트레이닝부터 RL까지의 학습 인프라 구축, 실제 프로덕션 환경에서의 시간 기반 세그멘테이션 및 구조화된 메타데이터 생성 시스템 개발, 하나의 요청만으로 수 시간 분량의 비디오를 처리할 수 있는 대규모 추론 시스템 설계, 그리고 모델 품질 향상과 빠른 반복 개발을 위한 데이터 큐레이션 및 평가 파이프라인 구축 등을 담당하고 있습니다. 또한 NVIDIA B300을 포함한 세계 최고 수준의 AI 컴퓨팅 인프라를 활용해 비디오 분석 시스템의 한계를 확장하고 있으며, 연구에서 프로덕션까지 이어지는 사이클을 가능한 빠르게 가속하는 것을 지향하고 있습니다. IN THIS ROLE, YOU WILL - Pegasus 내 ML 엔지니어링의 기술 방향을 주도하면서, 핵심 시스템 설계 및 구현에 직접 깊이 참여합니다. - 확장성, 안정성, 성능, 빠른 반복 실험을 핵심 가치로 삼아 Pegasus의 핵심 프로덕션 ML 시스템 설계와 고도화를 총괄합니다. - Video Language Model(VLM)을 위한 모델 배포, 추론 아키텍처, 메타데이터 시스템, ML 인프라 전반의 기술적 의사결정을 주도합니다. - 리서치 성과가 제품 개선으로 신속하고 안정적으로 이어질 수 있도록 엔드투엔드 ML 라이프사이클을 개선하고 자동화합니다. - 탁월한 기술적 판단력을 바탕으로 설계 리뷰와 실무 협업을 통해 엔지니어를 멘토링하고 팀 전체의 실행력을 높입니다. - Claude, Gemini, GPT 등 AI 기반 개발 도구를 적극 탐색·도입하여 코딩, 실험, 디버깅, 문서화 전반의 생산성을 향상시킵니다. YOU MAY BE A GOOD FIT IF YOU HAVE - Highly hands-on Senior individual contributor 로서 ML 시스템을 직접 구축하고 프로덕션화한 풍부한 경험을 보유하신 분 - ML 프로젝트에서 기술 방향을 이끌고, 복잡한 프로덕션 환경에서 아키텍처 의사결정을 주도해 본 경험이 있으신 분 - 머신러닝에 대한 탄탄한 지식과 함께, 비전·언어·영상 기반 모델 등 멀티모달 시스템에 대한 깊은 실무 경험을 보유하신 분 - 분산 ML 또는 데이터 워크플로우를 구축하고 발전시킨 경험이 있으신 분 (Kubernetes 기반 환경 경험 우대) - 시스템 설계, 성능, 안정성, 장기적 유지보수성을 아우르는 균형 잡힌 기술적 판단력을 갖추신 분 - 엔지니어 멘토링을 통해 개인 기여를 넘어 팀 전체의 기술적 레버리지를 만들어낸 실적이 있으신 분 PREFERRED QUALIFICATIONS - 추론 최적화, 처리량·지연시간 튜닝, 배칭, 캐싱, 양자화 등 프로덕션 환경에서 LLM/VLM 시스템을 서빙하거나 최적화한 경험 - 미션 크리티컬한 AI/ML 애플리케이션을 0에서 1로 설계·운영하고 프로덕션 규모로 확장한 경험 - 고성능 GPU 환경을 포함한 대규모 ML 시스템의 학습 또는 서빙 인프라 경험 - 머신러닝, 컴퓨터공학 또는 관련 기술 분야 석사 또는 박사 학위 HIRING PROCESS Application Review → Recruiter Interview (비대면/30분) → Coding test → Hiring Manager Interview(비대면/30분) → Live Coding Test Interview (대면/75분