영상 AI의 혁명, 트웰브랩스에 대해 알아보자!

저는 영어 공부를 하면서 챗GPT를 처음 접하게 되었습니다. 처음 사용했을 때 기존의 네이버 파파고와 비교할 수 없을 정도로 높은 번역 성능을 보여주었고, 정말 신세계를 경험하는 듯한 느낌을 받았습니다.

이후 단순한 번역 뿐만 아니라 궁금한 게 생길 때마다 챗GPT에게 물어보는데요. 하지만 챗GPT는 기본적으로 언어 AI이기 때문에 확장성에 한계가 있었습니다.

이 틈을 비집고 들어와 영상 AI 시장을 선도하는 기업이 등장했는데, 바로 '트웰브랩스(Twelve Labs)'입니다.

1. 트웰브랩스란?

트웰브랩스는 2021년에 설립된 AI 스타트업으로, 영상 AI 분석 기술을 개발하는 기업입니다. 특히 엔비디아로부터 투자를 받을 만큼 글로벌 시장에서도 주목받고 있습니다.

트웰브랩스의 창업 과정이 흥미로운데데요. 이재성 대표, 김성준 개발총괄이사, 이승준 기술총괄이사는 국방부 사이버작전사령부에서 만나 AI 관련 논의를 나누었고, 이 과정에서 영상 AI의 부족함을 공감하게 되었습니다.

이들은 텍스트 기반 AI가 아닌 진짜로 영상을 이해하는 AI를 만들어야 한다는 비전을 품고 창업을 결심했습니다. 그 결과, 초거대 영상 이해 모델을 개발하는 트웰브랩스가 탄생하게 된 것입니다.

트웰브랩스가 엔비디아, 삼성, KIP 등의 투자를 받으며 세계적으로 인정받는 이유는 무엇일까요?

가장 큰 경쟁력은 바로 영상을 학습하는 방식입니다.

기존의 구글 제미나이 등 AI서비스는 영상을 프레임 단위로 쪼개 일일이 학습하는 방식을 사용하는데요. 각 프레임을 수천~수만 개 이미지로 나누어 라벨링 후 학습하기에 데이터 처리 비용과 시간이 큽니다.

반면 트웰브랩스는 영상 속 다양한 정보를 벡터화하는 '임베딩'이라는 기술을 활용합니다. 영상에 있는 이미지, 소리, 행동, 맥락 등 무수히 많은 정보들을 함께 분석하는데요. 이를 3D 축에 위치시켜 영상 전체를 통째로 이해하는 방식이죠.

마치 인간의 뇌가 장면을 기억하는 방식과 유사합니다.

이러한 기술적 차이 덕분에 트웰브랩스는 훨씬 적은 연산량으로 더 정교한 영상 이해가 가능하며, AI 모델의 성능도 뛰어난 것으로 평가됩니다.

트웰브랩스의 AI서비스는 크게 영상 검색인 '마렝고'와 영상 이해인 '페가수스'입니다.

'마렝고'는 영상 내 특정 장면을 빠르게 찾아주는 AI 검색 엔진입니다. 예를 들어, '축구 경기에서 메시가 골을 넣는 장면을 찾아줘'라고 검색하면 수많은 영상 중 해당 장면을 찾아줍니다.

단순히 키워드가 아니라 맥락 기반으로 검색이 가능한 것이 큰 장점입니다.

또한 스포츠나 미디어 산업뿐만 아니라 보안에도 활용할 수 있는데요. 방대한 분량의 CCTV 영상에서 특정 현상(사람이 넘어지는 장면 등)을 찾아주는데도 사용됩니다.

또 다른 AI 서비스인 '페가수스'는 영상을 종합적으로 분석하고 요약해주는 AI입니다. 예를 들어, 제가 최근 정말 재밌게 본 넷플릭스 드라마 '기묘한 이야기'의 영상을 업로드한 후 내용을 요약해달라거나 영상 촬영 기법 등에 대해 물어보면 알려줍니다.

즉, 영상을 온전히 이해하기 때문에 영상 정보를 분석하고 요약할 수 있습니다. 영상 기반 챗GPT로 봐도 무방하죠.

AI 기술은 이제 언어 AI를 넘어 영상 AI로 확장되고 있습니다.

특히 트웰브랩스는 영상 검색과 이해를 동시에 수행할 수 있는 독보적인 기술력을 보유하고 있어, AI 산업 내 핵심 기업으로 자리 잡고 있는데요.

대부분의 AI 혁신 기업이 미국에 집중된 상황에서, 한국에서도 글로벌 시장에서 경쟁할 수 있는 AI 스타트업이 등장했다는 점은 주목할 만합니다.

트웰브랩스가 앞으로도 영상 AI 산업의 새로운 표준을 만들 수 있을지 기대해볼만한 것 같습니다.