안녕하세요. 오늘은 AI 아바타의 핵심 기술인 토킹 포토 생성에 대해서 얘기해보려고 합니다. 토킹 포토 생성(Talking Photo Generation) 혹은 토킹 헤드 제너레이션(Talking Head Generation)은 주어진 인물의 얼굴 사진과 음성을 이용해서 그 인물이 말하는 영상을 생성하는 AI 기술의 한 분야입니다.
이때, 사용하는 음성은 반드시 그 해당 인물의 음성일 필요는 없고, 사용자가 임의로 선택할 수 있습니다. 예를 들면, 제가 만든 아바타의 얼굴에 제 목소리를 입혀 저만의 AI 아바타를 만들 수 있는 거죠. 어때요, 정말 멋진 기술 아닌가요?
토킹포토(Talking Photo) 기술 개요도. 얼굴 사진(Source Image)과 음성(Audio)으로 말하는 영상 생성
2. 토킹 포토의 맹점과 그 역사
멋진 기술인 만큼, 토킹 포토 기술은 AI 분야에서도 상당히 복잡하고 복합적인 기술 분야에 속하는 편입니다. 그렇다 보니 학계에서도 본격적인 연구가 시작된 게 약 6년 전으로, 다른 주류 AI 기술들에 비해 그리 오래되지 않았습니다.
토킹 포토 예시. Wav2Lip (Prajwal, K. R., et al.)
2020년, Wav2Lip(Prajwal, K. R., et al.)이라는 토킹포토 기술이 등장하였습니다. Wav2Lip 기술의 핵심은 주어진 사진 혹은 영상의 입(mouth or lip)을 까맣게 가린 뒤(masking) 그 가려진 입모양을 오디오에서부터 예측하는 것이었습니다. 처음 설명드린 것과 마찬가지로, 이때 사용되는 오디오는 그 인물의 실제 목소리와 상관 없는 오디오도 가능했었고, 이것을 처음 본 사람들은 본인과 직접 대화하는 AI 아바타에 대한 가능성을 처음으로 떠올리게 되었죠.
토킹 포토 예시. Wav2Lip (Prajwal, K. R., et al.)
Wav2Lip은 AI 연구자들에게 새로운 연구분야를 제시해 줌과 동시에 해결해야 할 질문을 남겨주었습니다. 바로 “어떻게 하면 실제 사람과 구분하기 어려울 수준의, 실제 사람과 극도로 닮은 영상을 만들 수 있을까?”에 대한 것이었죠. 최근까지 연구된 모든 토킹 포토 연구 논문 결과들은 그 형태는 달라도 모두 이 맹점 하나를 가지고 발전되어 왔습니다. 그렇다면 어떤 요소들이 “실제와 구분하기 어려울 정도의 사실성”을 결정 짓는 걸까요?
첫 번째는 오디오에 맞는 정확한 입모양(Lip Syncing)입니다.
흔히 립싱킹(lip syncing)이라고 불리는 이 요소는 Wav2Lip이 공개된 시점부터 토킹포토 기술의 퀄리티를 결정하는 핵심 요소였습니다. 쉽게 말하자면, 영상이 말을 할 때 현재 음성과 어긋난 입모양을 하고 있으면 영상을 보는 사람이 이 영상이 실제 같지 않다고 생각하겠죠? 이것을 결정하는 요소가 립싱킹입니다.
최근에는 관련 연구분야에서 널리 쓰이는 LSE-D, LSE-C와 같은 수치적/정량적 지표(quantitative metric)로 잘 드러나지 않는 립싱킹 정확도를 판단하기 위해, ‘노래’와 같은 입력 오디오를 사용해 생성한 영상을 정성적 지표(qualitative results)로 많이 활용하고 있습니다. 아무래도 노래는 일반 발화 음성과 다르게 음률, 배경음 등이 포함되어 있으니 더 challenging하니까요. 이 덕분에 노래 부르는 AI라는 이름으로 사람들의 주목을 받기도 했었죠.
‘노래’ 오디오로 립싱킹 정확도를 검증한 예시
두 번째는 자연스러운 머리의 움직임(natural head motion)입니다.
Wav2Lip의 가장 핵심적인 문제점은 입을 제외한 영역은 생성하지 못한다는 점입니다. 그 이유는 Wav2Lip이라는 모델 자체가 애초에 입을 까맣게 가리고 그 빈 영역을 예측하는 방식으로 학습되기 때문입니다. 그렇기 때문에 Wav2Lip에서는 입력이 사진 한 장일 경우 입을 제외한 다른 얼굴 영역과 머리 움직임은 고정된 상태로 입만 뻐끔뻐끔거리는, 다소 어색한 토킹 포토를 생성하게 되는 거죠. 입력으로 사진 ‘한 장’이 아닌 ‘영상’을 줄 수도 있지만, 이 경우 입을 제외한 영역을 원본 영상을 따라가면서 말하게 되다 보니, 실제 음성과 맞지 않는 머리 움직임으로 말을 하게 될 수 있는 거죠.
그런데 사실, 잘 생각해보면 음성에 맞는 머리 움직임을 생성한다는 건 생각보다 쉽지 않은 문제입니다. 입 움직임과는 다르게, 머리의 움직임은 주어진 오디오와의 대응관계가 상대적으로 약하기 때문이죠. 예를 들어, “오늘 하루도 고생하셨습니다.”라는 음성의 입 움직임은 사람마다 크게 차이가 없겠지만, 그에 따른 머리 움직임은 사람마다 크게 다를 수 있잖아요? 어떤 사람은 고개를 살짝 끄덕이면서 말할 수도 있고, 어떤 사람은 무덤덤히 거의 움직이지 않을 수도 있고요. 두 움직임 모두 음성에 크게 이질적이게 느껴지지 않을 수 있는 거죠.
이러한 문제를 해결하기 위해, AI 연구자들은 음성에 맞는 정확한 하나의 머리 움직임을 예측하는 것이 아닌, 확률적 모델링(probabilistic modeling)을 통해 그럴듯한(plausible) 머리 움직임으로 확률적으로 매칭하는 방식으로 문제를 바꿔서 접근했습니다. 확률적 모델링에 대해서는 기회가 되면 추후에 좀 더 자세히 다루도록 하겠습니다. 어찌 되든, 이 접근 방식의 핵심은 확률형 생성 모델(probabilistic generative model)을 이용해서 현재 주어진 오디오에 맞는 ‘그럴듯한’ 머리 움직임을 생성할 뿐, 정해진 하나의 머리 움직임 생성을 강요하지 않는 방식이라는 겁니다. 이러한 접근 방식은 토킹 포토 모델이 더 자유롭게 머리 움직임을 생성하도록 만드는 셈인 거죠.
확률적 생성 모델을 이용한 머리 움직임 생성 예시
이러한 접근의 초기 연구들은 대표적인 생성 모델인 Variational inference(Kingma, D. P. et al., Auto-encoding variational bayes.)나 Normalizing flow(Rezende, D., et al., Variational inference with normalizing flows.)를 통해서 머리 움직임을 생성하도록 시도하였습니다만, 그렇게까지 자연스러운 머리 움직임을 생성하지는 못했습니다. 이 생성 모델들 자체의 생성 능력(capacity)이 강력하지 못했거든요.
그러나 최근에는 diffusion model이나 flow matching과 같은 기존 대비 생성 능력이 더 뛰어난 확률 모델링이 등장함에 따라, 이들을 이용해 더 자연스러운 머리 움직임을 생성할 수 있는 경지에 이르렀습니다.
Diffusion model을 이용한 머리 움직임 생성. VASA-1Flow matching을 이용한 머리 움직임 생성. FLOAT
세 번째는 자연스러운 감정 표현입니다.
사람은 말을 할 때 자연스럽게 그 감정을 표현합니다. 음성에는 듣기만 해도 행복한 기분이 담겨 있는데, 토킹 포토는 무표정하게 말을 한다면 어떨까요? 아마 말과 표정이 일치하지 않는 어색함 때문에, 실제보단 만들어진 영상이라고 생각하지 않을까요? 감정을 표현하고, 그 감정의 단계까지 조절 가능한 토킹 포토는 어쩌면 실제 사람 영상과의 구분을 어렵게 만드는, 미묘하면서도 가장 중요한 요소가 아닐까 싶습니다. 하지만 앞선 두 문제를 풀어내는 데에도 꽤 오랜 시간이 걸렸기에, 자연스러운 감정까지 표현하는 토킹 포토는 본격적인 연구가 시작된 지 불과 2년 정도밖에 되지 않았습니다.
연구자들은 자연스러운 감정을 담은 토킹 포토를 해결하기 위해, 다양한 감정을 담은 사람 발화 영상 데이터를 고안하는 단계부터 시작하였습니다. 최근에는 이러한 데이터들을 기반으로 diffusion model과 flow matching에 input으로 사용할 음성과 함께 일곱 가지 기본 감정(Happy, Sad, Disgust, Angry, Neutral, Surprised, Fear)의 확률 값을 주입하는 방식으로, 어느 정도 감정 조절이 가능한 토킹포토를 개발하는 데 성공했습니다.
Diffusion model을 이용한 감정 조절. VASA-1
하지만, 더 다양한 감정 조절을 하는 것은 여전히 어려운 문제로 남아 있습니다. 예를 들어, ‘부끄러움’이나 ‘당혹감’ 같은 복합적인 감정들은 앞서 언급한 일곱 가지 감정의 조합만으로 표현하기에 어려우니까요.
3. 그렇다면 현재 학계에서는 어떤 것을 더 연구하고 있을까
위의 세 가지 요소 모두 AI 기술의 발전과 함께 현재 높은 수준까지 도달했습니다. 그렇다면 이 세 가지 요소만 더 극대화하면 완벽한 토킹포토 기술이라고 할 수 있을까요? 혹시 다른 요소가 더 있지는 않을까요?
토킹 포토 기술의 맹점은 ‘실제 사람과 구분되지 않을 정도의 자연스러움’이었습니다. 그러한 맹점과 관련된 것이라면 어떠한 것이든 새로운 연구 주제가 될 수 있습니다.
얼굴을 넘어선 상반신 또는 전신의 움직임
최근 학계의 가장 큰 흐름 중 하나는 얼굴 영역을 넘어 상반신과 전신으로 생성하는 움직임의 범위를 확장하는 것입니다. 생각해보면 얼굴뿐 아니라 손 동작이나 몸 동작까지 자유롭게 생성할 수 있다면, 보다 더 실감 나는 AI 아바타를 만나볼 수 있겠죠.
가장 대표적인 최신 연구인 EchoMimicV2(CVPR 2025)는 실제 사람의 손짓을 생성하기 위해 diffusion model을 이용해, 인물 사진 한 장, 오디오, 그리고 손 이미지들로부터 상반신이 움직이는 비디오를 생성합니다. 하지만 이 연구 방향은 학습용으로 공개된 좋은 데이터도 부족하고, 방법론이 실험적 단계에 머물러 있기 때문에 여전히 부족한 점이 많이 있습니다. 마치 초기 토킹 헤드 연구에서 정확한 입 움직임을 만드는 데 집중한 것처럼, 지금 이 분야에서는 정확한 움직임을 만드는 것에 어려움을 겪고 있습니다. 그렇다 보니 이러한 데이터를 자체적으로 수급할 수 있는 TikTok 같은 영상 콘텐츠를 다루는 대기업들이 주로 연구를 주도하고 있는 상황입니다. 몇 초짜리 영상을 생성하는 데에 수십 분의 시간이 필요하기도 하고요.
4. 반응형(responsive) 토킹 포토
기존 토킹 포토는 AI가 말하게 하는 것, 즉 정보를 전달(deliver)하는 데에 크게 초점이 맞춰져 있었습니다. 하지만 실제로 사용자가 AI 아바타와 대화하는 시나리오를 생각해보면, 사용자의 말을 인식하고 적절한 반응(respond)을 할 수 있을 때 비로소 소통한다는 느낌이 들지 않을까요?
반응형 토킹 포토 예시. INFP반응형 토킹 포토 예시. INFP
반응형 토킹 포토는 사용자의 말에 반응하는 AI 기술을 지칭합니다. 이러한 기술을 이용했을 때, 실제 사용자가 AI 아바타와의 대화에서 더 높은 사용자 경험을 얻지 않을까요? 지금까지의 토킹 포토 기술을 “speaking” photo라고 한다면, 이 반응형 토킹 포토는 “listening” photo 기술까지 접목된 기술이라고 볼 수 있습니다. 가장 대표적인 최신 연구인 INFP(CVPR 2025)는 “본인이 말하는 음성”과 “본인이 아닌 다른 사람이 말하는 음성”을 처리하는 각각의 memory network를 두어, 립싱킹 같은 화자의 움직임(speaking motion)과 고개 끄덕임, 맞장구 같은 청자의 움직임(listening motion)을 모두 인식하며 움직이는 토킹포토 기술을 제안했습니다.
이러한 반응형 토킹포토 기법은 아무래도 실시간으로 사용자의 음성이나 반응을 읽어야 하기 때문에, 굉장히 효율적인 알고리즘으로 구성해야 한다는 어려움이 있습니다.
앞서 소개한 두 방향이 현재 학계에서 주목할 만한 토킹 포토 기술의 발전 방향입니다.
5. 마치며
브이몬스터는 기존의 토킹 포토 기술을 넘어, AI 아바타의 사실성과 몰입감을 극대화하기 위한 차세대 기술 개발에 주력하고 있습니다. 특히 실시간 립싱킹, 토킹 포토 기술에서 더 나아가 상반신의 손 동작 및 몸 동작 생성과 반응형 대화 기능을 중심으로 연구를 진행하고 있습니다. 이러한 기술들을 통합하여, 단순히 말하는 아바타를 넘어 감정을 표현하고, 제스처를 통해 소통하며, 실시간으로 반응하는 진정한 AI 아바타를 구현하고자 합니다. 이를 통해 사용자에게 더욱 몰입감 있는 대화 경험을 제공할 수 있을 것으로 기대합니다.
1. A Core Technology of AI Avatars: Talking Photo
Hello. Today I’d like to talk about talking-photo generation, a core technology of AI avatars. Talking Photo Generation—also called Talking Head Generation—is a field of AI technology that uses a given person’s face photo and audio to generate a video of that person speaking.
Here, the audio used doesn’t have to be that person’s actual voice; the user can choose it freely. For example, I can put my own voice on the face of an avatar I made and create my own AI avatar. Isn’t that a really cool technology?
Overview of Talking Photo technology: generating a speaking video from a face photo (Source Image) and audio (Audio)
2. The Blind Spot of Talking Photo, and Its History
As cool as it is, talking-photo technology is a fairly complex and composite field even within AI. As a result, serious academic research on it began only about six years ago—not that long compared to other mainstream AI technologies.
Talking-photo example. Wav2Lip (Prajwal, K. R., et al.)
In 2020, a talking-photo technology called Wav2Lip (Prajwal, K. R., et al.) appeared. The core of Wav2Lip was to black out (mask) the mouth (or lips) of a given photo or video and predict that masked mouth shape from the audio. As explained at the start, the audio used here could be unrelated to the person’s actual voice, and people who saw this for the first time began to imagine, for the first time, the possibility of an AI avatar they could talk with directly.
Talking-photo example. Wav2Lip (Prajwal, K. R., et al.)
Wav2Lip presented AI researchers with a new field of study while also leaving behind a question to solve—namely, “How can we create a video so realistic that it’s hard to tell apart from a real person?” All talking-photo research papers up to recently have advanced with this one blind spot, however different their forms. So what factors determine “realism to the point of being hard to distinguish from reality”?
The first is an accurate mouth shape matched to the audio (Lip Syncing).
Commonly called lip syncing, this element has been the key factor determining talking-photo quality ever since Wav2Lip was released. Simply put, when a video speaks with a mouth shape that doesn’t match the current audio, the viewer thinks the video doesn’t look real, right? The factor that determines this is lip syncing.
Recently, to judge lip-sync accuracy—which doesn’t show up well in numerical/quantitative metrics widely used in the field, such as LSE-D and LSE-C—researchers often use videos generated with input audio like “songs” as qualitative results. Songs, unlike ordinary speech, include melody and background sound, so they’re more challenging. Thanks to this, it also drew attention under the name “singing AI.”
An example of verifying lip-sync accuracy with “song” audio
The second is natural head motion.
Wav2Lip’s most fundamental problem is that it cannot generate regions other than the mouth. That’s because the Wav2Lip model itself is trained by blacking out the mouth and predicting that empty region. So when the input is a single photo, Wav2Lip generates a somewhat awkward talking photo where the facial regions other than the mouth and the head motion stay fixed and only the mouth flaps. You could give a “video” rather than a single “photo” as input, but in that case the regions other than the mouth follow the original video while speaking, so it can end up speaking with head motion that doesn’t match the actual audio.
But if you think about it, generating head motion that matches the audio is a trickier problem than it seems. Unlike mouth movement, head motion has a relatively weak correspondence to the given audio. For example, the mouth movement for the phrase “Thank you for your hard work today” wouldn’t differ much from person to person, but the accompanying head motion can differ greatly, right? One person might nod slightly while speaking, another might stay nearly still and impassive. Both motions could feel not particularly out of place for the audio.
To solve this problem, AI researchers reframed it: rather than predicting one exact head motion matched to the audio, they used probabilistic modeling to probabilistically match it to a plausible head motion. I’ll cover probabilistic modeling in more detail later if I get the chance. In any case, the crux of this approach is that it uses a probabilistic generative model to generate merely a “plausible” head motion matched to the given audio, without forcing the generation of one fixed head motion. This approach effectively lets the talking-photo model generate head motion more freely.
An example of head-motion generation using a probabilistic generative model
Early studies of this approach tried to generate head motion through representative generative models such as Variational inference (Kingma, D. P. et al., Auto-encoding variational bayes.) or Normalizing flow (Rezende, D., et al., Variational inference with normalizing flows.), but they couldn’t generate head motion that natural. The generative capacity of these models themselves wasn’t powerful.
Recently, however, as probabilistic modeling with stronger generative capacity than before—such as diffusion models and flow matching—has emerged, we’ve reached the point of being able to generate more natural head motion using them.
Head-motion generation using a diffusion model. VASA-1Head-motion generation using flow matching. FLOAT
The third is natural emotional expression.
People naturally express emotion when they speak. If the voice sounds happy just to hear it, but the talking photo speaks with a blank expression, what then? Because of the awkward mismatch between speech and expression, wouldn’t we think it’s a fabricated video rather than a real one? A talking photo that can express emotion—and even control the degree of that emotion—may be the subtle yet most important factor that makes it hard to distinguish from real footage of a person. But since solving the first two problems already took quite a long time, serious research into talking photos that also express natural emotion began only about two years ago.
To tackle talking photos with natural emotion, researchers started from the stage of designing video data of people speaking with various emotions. Recently, based on such data, they succeeded in developing talking photos with some degree of emotional control by injecting, along with the input audio for diffusion models and flow matching, the probability values of seven basic emotions (Happy, Sad, Disgust, Angry, Neutral, Surprised, Fear).
Emotional control using a diffusion model. VASA-1
However, controlling a wider variety of emotions remains a difficult problem. For instance, complex emotions like “shyness” or “embarrassment” are hard to express with just a combination of the seven emotions mentioned above.
3. So What Is Academia Researching Further Right Now?
All three factors above have reached a high level today alongside the advance of AI technology. So if we just maximize these three factors, can we call it perfect talking-photo technology? Might there be yet other factors?
The blind spot of talking-photo technology was “naturalness to the point of being indistinguishable from a real person.” Anything related to that blind spot can become a new research topic.
Motion of the Upper Body or Whole Body, Beyond the Face
One of the biggest recent trends in academia is expanding the range of generated motion beyond the face region to the upper body and whole body. If you think about it, being able to freely generate not just the face but hand and body movements too would let us meet a more lifelike AI avatar.
A talking photo that generates hand gestures from audio. EchoMimicV2A talking photo that generates hand gestures from audio. EchoMimicV2
The most representative recent study, EchoMimicV2 (CVPR 2025), uses a diffusion model to generate real human hand gestures, producing a video of the upper body moving from a single portrait photo, audio, and hand images. However, this research direction still has many shortcomings, because there’s a lack of good publicly available training data and the methodology remains at an experimental stage. Just as early talking-head research focused on producing accurate mouth movement, this field is now struggling to produce accurate motion. As a result, large companies that handle video content and can source such data on their own—like TikTok—are mainly leading the research. Generating a video just a few seconds long can even require tens of minutes of time.
4. Responsive Talking Photo
Conventional talking photos were largely focused on making the AI speak—that is, on delivering information. But if you think about a real scenario where a user converses with an AI avatar, wouldn’t you only feel like you’re truly communicating when it can recognize what the user says and respond appropriately?
A responsive talking-photo example. INFPA responsive talking-photo example. INFP
A responsive talking photo refers to AI technology that reacts to what the user says. When this technology is used, wouldn’t real users get a higher user experience in their conversation with the AI avatar? If we call talking-photo technology so far a “speaking” photo, this responsive talking photo can be seen as a technology that also incorporates a “listening” photo. The most representative recent study, INFP (CVPR 2025), proposed a talking-photo technology that places separate memory networks to process “the audio of oneself speaking” and “the audio of someone other than oneself speaking,” recognizing and moving with both the speaker’s motion (speaking motion, like lip syncing) and the listener’s motion (listening motion, like nodding and backchanneling).
Since these responsive talking-photo techniques inevitably have to read the user’s voice or reactions in real time, they come with the difficulty of having to be composed of extremely efficient algorithms.
The two directions introduced above are the noteworthy directions of development in talking-photo technology in academia right now.
5. In Closing
VMONSTER is focusing on developing next-generation technology to maximize the realism and immersion of AI avatars, going beyond conventional talking-photo technology. In particular, moving beyond real-time lip syncing and talking-photo technology, we are conducting research centered on generating upper-body hand and body movements and on responsive conversation features. By integrating these technologies, we aim to realize a true AI avatar that goes beyond simply speaking—one that expresses emotion, communicates through gestures, and responds in real time. Through this, we expect to be able to offer users an even more immersive conversational experience.
1. AIアバターの核心技術、トーキングフォト（Talking Photo）
こんにちは。今日はAIアバターの核心技術であるトーキングフォト生成についてお話ししたいと思います。トーキングフォト生成（Talking Photo Generation）、あるいはトーキングヘッド生成（Talking Head Generation）は、与えられた人物の顔写真と音声を用いて、その人物が話す映像を生成するAI技術の一分野です。
2020年、Wav2Lip（Prajwal, K. R., et al.）というトーキングフォト技術が登場しました。Wav2Lip技術の核心は、与えられた写真や映像の口（mouth or lip）を黒く覆い（masking）、その覆われた口の形を音声から予測することでした。最初に説明したとおり、このとき使われる音声はその人物の実際の声と無関係な音声でも可能であり、これを初めて見た人々は、自分と直接対話するAIアバターの可能性を初めて思い描くようになりました。
このアプローチの初期研究は、代表的な生成モデルであるVariational inference（Kingma, D. P. et al., Auto-encoding variational bayes.）やNormalizing flow（Rezende, D., et al., Variational inference with normalizing flows.）を通じて頭の動きを生成しようと試みましたが、そこまで自然な頭の動きは生成できませんでした。これらの生成モデル自体の生成能力（capacity）が強力ではなかったからです。
