챗GPT, 딥시크 대란에 다들 놀라셨나요? 이처럼 세상을 떠들썩하게 만드는 기술 외에도 우리가 모르는 사이 주변에는 수많은 인공지능(AI) 기술이 침투해 있습니다. 음식도 AI가 만들고 몸 건강도 AI가 측정하는 시대입니다. ‘AI침투보고서’는 예상치 못한 곳에 들어와 있는 AI 스타트업 기술들을 소개합니다.<편집자주>

딥브레인AI가 재현한 인공지능 기술로 재현한 ‘AI 윤봉길’.(사진=딥브레인AI)

[이데일리 김세연 기자] “나도 꼭 한번 이야기하고 싶었소. 내가 거사에 사용했던 폭탄은 물병 폭탄이었소.”

누렇게 빛바랜 태극기 앞으로 멀끔한 갈색 양복을 입은 윤봉길 의사가 등장한다. 실제 거사에 도시락 폭탄을 사용했느냐는 한 여성의 질문에 도시락 폭탄을 챙기긴 했으나 거사 실패 시 자결용으로 챙겼다고 설명하는 그. 인공지능(AI) 영상 합성 전문 기업 딥브레인AI가 재현한 ‘AI 윤봉길’이다.

사진 1장으로 재현…“사람마다 비슷한 공통 입 모양 학습한 덕”

AI 윤봉길의 특징의 2가지 특징은 첫째 입 모양이 자연스럽다는 것, 두번째로는 사진 단 1장으로 재현했다는 것이다. 이 두 개를 모두 가능케 한 것은 실제 영상과 AI 합성 영상을 꾸준히 누적 학습해 사람들이 말할 때 드러나는 ‘공통 입 모양’을 발견했다는 것이다.

AI로 가상 영상을 만들어 마치 진짜 사람이 말하는 것처럼 보이게 하는 AI 휴먼 기술은 얼마나 자연스럽게 얼굴 근육 움직임을 재현하느냐가 핵심이다. 특히 입 모양이 부자연스러우면 어설프게 인간을 닮을수록 괜한 불쾌감을 주는 ‘불쾌한 골짜기’가 발생하기 일쑤다.

딥브레인AI는 2016년 설립 당시부터 영상 합성 기술을 축적해 사람들이 각 모음과 자음을 발음할 때 입 모양과 얼굴 근육이 어떻게 달라지는지 분석했다. ‘ㅏ’를 발음할 때 입이 벌어진다는 등 공통으로 보이는 패턴을 찾아냈고, 이 패턴을 적용하면 고작 사진 1장만으로도 AI 영상을 생성할 수 있게 됐다. 공통 원리를 적용해 매우 적은 학습데이터로도 영상을 생성하는 일명 ‘제로샷’ 기술이다.

공통된 입 모양 외에 개인마다 달라지는 입 모양은 10초가량의 음성 파일로 해결했다. 딥브레인AI는 음성 파일을 분석해 사람마다 미세하게 다른 발음 특성을 분석한다. 이 개인별 특징을 공통 입 모양 알고리즘에 추가 적용해 입 모양과 얼굴 근육을 생성하는 알고리즘을 최종적으로 완성한다. 윤봉길 의사의 음성 파일은 확보하지 못해 이미지에 맞는 성우를 섭외한 후 성우의 음성 파일을 기반으로 AI 윤봉길을 만들었다.

실시간 대화까지 가능한 AI 휴먼…탐지 기술까지 동시 개발

딥브레인AI가 생성하는 AI 영상은 윤봉길 의사뿐만이 아니다. 사진 1장과 10초가량의 음성파일로 고인을 추억할 수 있는 영상을 만들어주는 ‘리메모리’, 주문자와 실시간 대화가 가능한 ‘AI 키오스크’ 등 범위는 다양하다.

다양한 모델의 공통적인 장점은 특정 질문을 던지면 실시간으로 답변할 수 있다는 것. AI 휴먼이 사람과 실시간 대화를 하려면 대화를 이해하는 건 물론이고 그에 따른 답변을 영상 데이터로 반환하는 과정까지 거쳐야 한다. 2016년 설립 이후 꾸준히 데이터를 축적한 덕에 이제는 실시간으로 데이터 변환이 가능한 수준이라는 게 회사 측 설명이다.

딥브레인AI는 영상 합성 기술 뿐만 아니라 악용 가능성을 차단하는 딥페이크 자동탐지 설루션 기술도 보유하고 있다. 기술이 발전하면 기술 윤리를 지키는 기술도 함께 발전해야 한다는 것이 장세영 대표의 신념이다.

딥페이크 탐지 설루션은 딥브레인AI가 가지고 있는 AI 합성 영상과 진짜 영상을 누적 학습시킨 후 딥페이크 영상의 루틴을 찾아낸다. 딥페이크 여부를 확인하고 싶은 영상이 이 루틴과 얼마나 일치하는지 비교하고 딥페이크일 가능성을 반환하는 게 딥페이크 자동탐지 설루션 원리다. 확인하고 싶은 영상을 입력하면 “딥페이크 영상일 가능성이 85% 수준이다”고 답변하는 식이다.

장 대표는 “영상을 합성하는 원천 기술을 자체적으로 보유한 덕에 빠르고 디테일한 영상을 극소량의 데이터로도 합성할 수 있다”며 “AI 영상 합성 기술을 발전시키는 만큼 이를 탐지하는 기술도 맞춰서 계속 발전시키고 있다”고 설명했다.

딥브레인AI의 고인 추모 AI 영상 생성 기술 ‘리메모리’.(사진=딥브레인AI)