아티클
테크

몸까지 움직이는 Agent: Human Animation 기술의 진화

VMONSTER TEAM 2025년 9월 1일

안녕하세요. VMONSTER의 AI Engineer 강윤수입니다. 지난 블로그 글에서는 토킹 포토 생성 연구의 전반적인 흐름을 소개해드렸는데요. 오늘은 그 연장선상에서, 얼굴을 넘어 손짓, 상반신, 전신 움직임까지 생성하는 ‘Human Animation’ 기술에 대해 이야기해보려 합니다.

서비스 속 AI 아바타가 사용자의 말에 반응하며 손을 흔들거나 고개를 끄덕이고, 더 나아가 가상 공간에서 진짜 사람처럼 걸어다니며 함께 반응하는 나만의 친구가 생긴다면 어떨까요? 단순히 정보를 전달하는 도구를 넘어서, 정서적 교감까지 가능한 인터페이스가 될 수 있을지도 모릅니다.

오늘은 이러한 Human Animation 기술이 어디까지 왔고, 어떤 방향으로 진화하고 있는지를 중심으로 함께 살펴보겠습니다.

1. 영상 생성 기반 Human Animation

1.1 비디오를 따라 움직이는 영상 생성: GAN 기반 방식의 시작

초기의 Human Animation 연구는 사람이 움직이는 비디오가 주어졌을 때, 인물 사진을 움직이게 하는 방식으로 시작됐습니다. 이때는 GAN(Generative Adversarial Network)이라는 모델이 사용되었는데요, GAN은 두 개의 신경망이 경쟁하듯 학습하며 더욱 사실적인 이미지를 생성하는 방식으로, 이미지 합성 분야에서 널리 활용되어 왔습니다.

First Order Motion Model
GAN 기반 방식: First Order Motion Model

대표적인 예는 First Order Motion Model (NeurIPS 2019)입니다. 이 모델은 ‘레퍼런스 이미지(정지된 얼굴 사진)’와 ‘타겟 비디오(움직이는 참조 영상)’를 입력으로 받아, 레퍼런스 이미지가 타겟 비디오의 움직임을 따라하도록 영상 전체를 생성합니다.

이 모델은 중요한 키포인트를 추출하고, 타겟 비디오에서는 이 위치들이 어떻게 움직였는지를 계산합니다. 그리고 이 움직임을 레퍼런스 이미지에 적용해, 정지된 사진이 점점 움직이는 것처럼 보이도록 만드는 방식입니다. 이 방식은 비교적 간단하고 직관적이며 빠르게 결과를 만들 수 있다는 장점이 있습니다.

하지만 움직임이 너무 크거나, 팔이나 몸이 다른 물체에 가려진 경우, 혹은 옷이나 배경이 복잡할 때는 어색하게 일그러지거나 이상한 결과가 나올 수 있습니다. 게다가 GAN이라는 기술 특성상, 학습이 불안정해 결과 품질이 들쭉날쭉할 수 있다는 점도 한계로 지적됩니다.

1.2 Diffusion 기반으로의 전환: Pose-driven Human Animation

이러한 GAN 방식의 한계들을 극복하기 위해 최근에는 Diffusion 기반으로 연구 방향이 전환되었습니다. 특히 Stable Diffusion처럼 이미지 생성 분야에서 큰 성과를 낸 기술들이 영상 생성 쪽으로 확장되면서, 움직이는 사람의 영상을 생성하는 연구도 활발히 진행되고 있죠.

특히 이미지를 latent 공간으로 임베딩화하고, 특정 조건(ex. 원하는 타겟 움직임)에 맞춰 조작한 뒤 이미지로 복원하는 방식은, 고해상도 이미지를 효율적으로 다루면서도 표현력을 확보할 수 있다는 점에서 주목받고 있습니다.

이러한 방식은 pose-driven Human Animation 분야에서도 적극 활용되고 있습니다. 예를 들어, 한 장의 인물 사진(레퍼런스 이미지)과 함께 사람이 어떤 식으로 움직일지를 정의한 포즈 시퀀스를 입력으로 받아, 노이즈에서 점차 사람이 움직이는 모습을 생성해나가는 방식입니다.

이러한 흐름 속에서 초기에 등장했던 대표적인 예는 Animate Anyone (CVPR 2024)입니다. 이 모델은 인물 사진 한 장과 원하는 움직임이 담긴 포즈 시퀀스를 2D 스켈레톤 형식으로 받아 사진 속 인물이 움직이는 비디오를 생성합니다. Stable Diffusion에서 사용된 사전 학습된 모델을 바탕으로 Denoising UNet을 구성하고, 여기에 ReferenceNet이라는 별도의 네트워크를 결합해, 원본 이미지 속 인물의 생김새나 스타일이 결과 영상에 잘 녹아들 수 있도록 설계된 것이 특징입니다.

다만, 이 방식 역시 한 장의 이미지에서 출발하다 보니 보이지 않는 영역(예: 옆모습, 등)에 대한 정보가 부족하고, 손가락처럼 섬세한 움직임에서는 artifact가 발생하는 등 한계점도 존재했습니다.

Animate AnyoneAnimate Anyone 데모
포즈 시퀀스 기반 diffusion 모델 예시: Animate Anyone

이후 등장한 MimicMotion(ICML 2025) 또한 기본적인 구조는 Animate Anyone과 유사하게, 인물 사진 한 장과 포즈 시퀀스를 입력으로 받아 사람이 움직이는 영상을 생성합니다. 하지만 MimicMotion은 특히 손과 같이 디테일한 부위에서의 표현력 향상에 집중했습니다.

이를 위해 포즈 정보의 신뢰도(confidence score)를 활용하여, 신뢰도가 높은 포즈 정보에 집중해 영상을 생성하도록 설계했고. 특히 신뢰도 점수가 높은 손 영역에 대하여 학습 시 가중치를 높여 손의 디테일 품질을 끌어올렸습니다. 또 하나 눈에 띄는 점은, 긴 영상도 부드럽게 생성할 수 있도록 제안된 Progressive Latent Fusion 기법입니다. 긴 포즈 시퀀스를 여러 구간으로 나누되, 일부 프레임을 서로 겹치게 설정해 각 구간을 따로 생성한 뒤 자연스럽게 이어 붙이는 방식으로, 끊김 없는 매끄러운 영상 생성을 가능하게 했습니다.

MimicMotionMimicMotion 데모
Pose-driven Diffusion 방식 예시: MimicMotion

Human4DiT (SIGGRAPH ASIA 2024)는 기존 Human Animation 기법들이 주로 정면 시점에서의 움직임 생성에 초점을 맞췄던 것과 달리, 사람이 움직이는 모습이 다른 방향에서 어떻게 보일지를 함께 생성하는 4차원(4D) Human Animation을 목표로 합니다.

이 모델은 기존처럼 인물 사진(레퍼런스 이미지)과 포즈 시퀀스를 입력으로 받는 데 더해, 영상이 어떤 카메라 시점에서 보일지를 결정하는 카메라 정보까지 함께 입력으로 사용합니다. 또한 2D 스켈레톤 포즈 대신, 사람의 몸을 3D로 표현할 수 있는 SMPL 포맷의 포즈 정보를 사용하여, 다양한 시점에서 사람의 형태와 움직임을 보다 정확히 반영할 수 있도록 설계되었습니다.

Human4DiTHuman4DiT 데모
다양한 시점에서의 휴먼 애니메이션 영상을 만들 수 있는 Human4DiT

아키텍처 측면에서는 단순한 이미지 공간만을 다루던 기존 CNN 방식에서 벗어나, 시간 + 시점 + 공간 정보를 동시에 처리할 수 있는 4D Diffusion Transformer를 제안해, 시간 흐름 속에서도 시점이 바뀌는 장면을 자연스럽고 일관되게 생성할 수 있도록 구성되어 있습니다.

1.3 음성 기반 Human Animation

지금까지 위에서 살펴본 연구들은 모두 따라할 움직임이 담긴 비디오나 포즈 정보를 입력으로 활용했습니다. 하지만 비디오가 아닌, 사람의 목소리만으로 손짓이나 몸짓이 자연스럽게 생성된다면 어떨까요? 영상 없이도 더욱 간편하게, 그리고 몰입감 있는 아바타를 만들 수 있게 됩니다.

음성 기반 Human Animation은 말하는 음성의 리듬, 억양, 감정 등을 고려해 얼굴 표정이나 몸짓을 자연스럽게 생성하여 영상을 생성하는 기술입니다. 이전에도 관련 연구들은 있었으나, 최근에는 diffusion 모델의 등장과 성능 향상 덕분에 이 영역에서도 획기적인 발전이 일어나고 있습니다.

예를 들어, VLOGGER (CVPR 2025)는 레퍼런스 이미지와 오디오 입력만으로, 상반신이 자연스럽게 움직이며 말하는 사람의 영상을 생성하는 모델입니다. 두 단계로 구성된 구조로, 1단계에서는 Diffusion 기반 모션 생성기가 오디오의 억양, 감정 등을 반영해 얼굴 표정과 상반신 동작을 생성하고, 2단계에서는 이를 바탕으로 고해상도 영상을 생성합니다. 특히, 손의 움직임이나 얼굴 이외의 부분에서 흔히 발생하던 artifact 문제를 줄이기 위해 MENTOR라는 대규모 데이터셋(800,000명, 2,200시간 분량)을 활용해 학습한 점이 눈에 띕니다.

비슷한 접근을 한 CyberHost (ICLR 2025)은 한층 더 발전된 방식을 제안합니다. VLOGGER처럼 두 단계를 거치지 않고, 하나의 모델에서 음성과 이미지를 바탕으로 한번에 영상을 생성한다는 점이 큰 특징입니다. 포즈 시퀀스라는 중간 표현 단계를 사용하지 않음으로써 부정확한 포즈 시퀀스으로부터 오는 에러를 줄일 수 있고, 제한된 표현력 문제를 해결할 수 있습니다. 여기서도 200시간 분량과 약 10,000명의 사람에 대한 데이터를 자체적으로 구축했다고 합니다.

VLOGGER, CyberHost
음성으로 사람을 움직이는 diffusion 모델 예시: (좌) VLOGGER, (우) CyberHost
VLOGGER 데모CyberHost 데모
음성으로 human animation을 하는 diffusion 모델 데모: VLOGGER, CyberHost

여기서 더 나아가서, OmniHuman (arXiv 2025)은 레퍼런스 이미지 한 장과 함께 음성, 포즈, 텍스트의 3가지 조건을 복합적으로 입력받아 사람의 움직임을 생성할 수 있도록 설계되었습니다.

OmniHumanOmniHuman 데모
음성·포즈·텍스트 3가지 방식으로 사람을 움직이는 OmniHuman

이 모델은 총 3단계 학습 전략을 따릅니다. 1단계에서는 텍스트+이미지만으로 기본 동작을 학습하고, 2단계에 오디오 조건을 추가, 마지막 3단계에서 포즈까지 포함해 모든 조건을 함께 학습합니다.

이 때, 오디오처럼 얼굴 표정 등 좁은 영역에만 영향을 주는 ‘약한 조건’은 더 많이 학습하고, 포즈처럼 넓은 영역에 영향을 주는 ‘강한 조건’은 비교적 적은 빈도로 학습시켜, 모델이 전신 동작과 표정 표현을 균형 있게 학습할 수 있습니다. 추가적으로, 오디오 싱크가 맞지 않거나 포즈 정보가 부족한 데이터더라도 텍스트 기반 학습에서 재활용함으로써 전체 학습 데이터의 손실을 줄일 수 있었습니다.

이처럼 기존 오디오 기반 모델들이 얼굴 표현에만 집중했다면, OmniHuman은 손짓과 몸 전체의 리듬까지 담아내며 진짜 사람과 대화하는 듯한 몰입감을 제공하여 업계의 관심을 받고있습니다.

2. 3D Modeling 기반 Human Animation

위에서 설명한 영상 생성 기반 모델들은 연속된 2D 이미지 프레임을 생성해서 영상을 만든다면, 최근에는 3D 모델링 기반의 아바타 생성 기술도 빠르게 발전하고 있습니다. 특히 NeRF(Neural Radiance Fields)나 Gaussian Splatting과 같은 최신 표현 기법은 사실적인 아바타 렌더링과 실시간 추론을 동시에 달성하기 위한 핵심 기술로 주목받고 있습니다.

그중 대표적으로 TaoAvatar (CVPR 2025)는 실시간으로 작동 가능한 고화질 전신 3D 아바타를 생성하기 위해 개발된 최신 3D Gaussian Splatting 기반 기술입니다. 기존의 고정밀 스캔 모델들이 갖는 느린 렌더링 속도와 높은 계산 비용의 한계를 극복하기 위해, TaoAvatar는 옷까지 표현 가능하도록 SMPLX라는 3D 아바타 템플릿 모델과 3DGS를 결합한 구조를 제안했습니다. 특히, 경량화를 통해 AR 디바이스에서도 2K 해상도, 90FPS의 빠른 속도로 동작할 수 있게 최적화했습니다. 다양한 표정과 제스처, 음성이 동기화된 전신 아바타 데이터셋인 TalkBody4D를 함께 제안하며, 몰입감 높은 인터랙티브 아바타 서비스의 실현 가능성을 크게 높였습니다.

3. 마치며

지금까지 다양한 Human Animation 기술들을 살펴봤습니다. GAN 기반의 초기 방식부터, 포즈와 음성 정보를 활용한 diffusion 모델, 나아가 3D 기반의 전신 아바타 기술까지, 사람처럼 보이고, 사람처럼 소통할 수 있는 AI 아바타를 구현하기 위한 방향으로 빠르게 진화하고 있습니다.

다만, 아직 해결해야 할 현실적인 과제도 남아 있습니다.

먼저 데이터 측면에서의 제약이 있습니다. 얼굴 이외의 부위, 손이나 몸 전체의 자연스러운 움직임을 학습하기 위해서는 동작 정보가 담긴 고품질의 대규모 멀티모달 데이터셋이 필요한데, 비교적 최신 분야이다 보니 공개된 데이터셋이 많이 없고, 시간과 비용 모두 큰 부담이 듭니다.

생성 시간과 연산 리소스 최적화도 중요한 과제입니다. 예를 들어, Diffusion 기반 방식은 고품질 이미지를 생성할 수 있지만, 여러 단계에 걸쳐 노이즈를 제거해나가는 연산 과정에서 GPU 자원을 많이 요구하고 속도가 느립니다.

실제 서비스 환경에서 실시간으로 반응하는 아바타를 만들기 위해서는 경량화된 모델 아키텍처나 streaming 기반의 응답 구조가 필요합니다. 물론 지금도 고성능 GPU를 사용하면 실시간 처리가 가능하지만, 상용화가 되려면 더욱 값싼 GPU에서도 실시간 추론이 가능할 정도로 최적화에 대한 고민이 필요합니다.

이처럼 Human Animation 기술은 단순히 ‘움직이는 얼굴’을 넘어서, 음성에 적합한 손짓, 몸짓까지 생성하며 더 사람다운 움직임을 만들어내는 방향으로 진화하고 있습니다. 브이몬스터도 이러한 기술 흐름에 맞춰, 상반신 동작 생성 기술을 실시간 상용화 수준으로 구현하기 위해 연구를 진행 중입니다. 궁극적으로는 단순히 말만 하는 아바타를 넘어 실시간으로 사용자의 말에 반응하고, 해당 시점에 적합한 몸 제스쳐와 감정 표현까지 가능한 AI 아바타를 구현하여, 사용자들이 더욱 대화에 몰입할 수 있게 하는 것이 목표입니다.

다음에 기회가 된다면 휴먼 아바타의 다른 기술들에 대해 소개하는 블로그로 찾아 뵙겠습니다.

Hello. I’m Yunsu Kang, an AI Engineer at VMONSTER. In my previous post, I introduced the overall landscape of talking-photo generation research. Today, as a continuation of that, I’d like to talk about “Human Animation” technology—which goes beyond the face to generate hand gestures, upper-body, and even full-body movements.

Imagine if the AI avatar in a service could respond to what you say by waving its hand or nodding, and—going even further—if you had a personal friend who walks around a virtual space just like a real person and reacts alongside you. Beyond being a mere tool that delivers information, it might become an interface capable of genuine emotional connection.

Today, let’s take a look together at how far this Human Animation technology has come and in what direction it is evolving.

1. Video-Generation-Based Human Animation

1.1 Generating Video That Follows a Video: The Start of GAN-Based Approaches

Early Human Animation research began with the approach of animating a portrait photo when given a video of a person moving. At the time, a model called the GAN (Generative Adversarial Network) was used. A GAN learns through two neural networks competing against each other to generate more realistic images, and it has been widely used in the field of image synthesis.

First Order Motion Model
A GAN-based approach: First Order Motion Model

A representative example is the First Order Motion Model (NeurIPS 2019). This model takes a “reference image (a still face photo)” and a “target video (a moving reference clip)” as inputs, and generates the entire video so that the reference image follows the motion of the target video.

This model extracts important keypoints and computes how these positions moved in the target video. It then applies this motion to the reference image, making the still photo appear to gradually move. This approach has the advantages of being relatively simple, intuitive, and able to produce results quickly.

However, when the movement is too large, when an arm or the body is occluded by another object, or when the clothing or background is complex, the result can be awkwardly distorted or produce strange artifacts. Moreover, due to the inherent nature of GAN technology, training can be unstable, which can lead to inconsistent output quality—a limitation that is often pointed out.

1.2 The Shift to Diffusion-Based Approaches: Pose-Driven Human Animation

To overcome these limitations of the GAN approach, research has recently shifted toward diffusion-based methods. In particular, as technologies that achieved great results in image generation—such as Stable Diffusion—have expanded into video generation, research on generating videos of moving people is also being actively pursued.

In particular, the approach of embedding an image into a latent space, manipulating it according to a specific condition (e.g., a desired target motion), and then restoring it back into an image is drawing attention for its ability to handle high-resolution images efficiently while still securing expressive power.

This approach is also being actively applied in the field of pose-driven Human Animation. For example, given a single portrait photo (a reference image) along with a pose sequence that defines how the person should move, the method gradually generates a person in motion starting from noise.

A representative example that appeared early within this trend is Animate Anyone (CVPR 2024). This model takes a single portrait photo and a pose sequence containing the desired movements—in the form of a 2D skeleton—and generates a video of the person in the photo moving. Its defining feature is that it builds a Denoising UNet based on the pretrained model used in Stable Diffusion, and combines it with a separate network called ReferenceNet so that the appearance and style of the person in the original image are well preserved in the resulting video.

That said, because this approach also starts from a single image, it lacks information about unseen regions (e.g., the side profile or the back), and limitations remained—such as artifacts occurring in delicate movements like those of the fingers.

Animate AnyoneAnimate Anyone demo
An example of a pose-sequence-based diffusion model: Animate Anyone

MimicMotion (ICML 2025), which appeared later, has a basic structure similar to Animate Anyone, taking a single portrait photo and a pose sequence as input to generate a video of a person moving. However, MimicMotion focused in particular on improving expressiveness in detailed regions such as the hands.

To this end, it leverages the confidence score of the pose information, designing the model to focus on high-confidence pose information when generating video. In particular, for hand regions with high confidence scores, it increased the training weight to elevate the detail quality of the hands. Another notable point is the proposed Progressive Latent Fusion technique, which enables smooth generation of long videos as well. By dividing a long pose sequence into several segments—while setting some frames to overlap with one another—each segment is generated separately and then naturally stitched together, enabling seamless, smooth video generation.

MimicMotionMimicMotion demo
An example of a pose-driven diffusion approach: MimicMotion

Unlike existing Human Animation techniques that mainly focused on generating movement from a frontal viewpoint, Human4DiT (SIGGRAPH ASIA 2024) aims for four-dimensional (4D) Human Animation, jointly generating how a moving person would look from other directions.

In addition to taking a portrait photo (a reference image) and a pose sequence as input like before, this model also uses camera information—which determines from which camera viewpoint the video will be seen—as input. Moreover, instead of a 2D skeleton pose, it uses pose information in the SMPL format, which can represent the human body in 3D, so that it can more accurately reflect a person’s shape and movement from various viewpoints.

Human4DiTHuman4DiT demo
Human4DiT, which can create human animation video from various viewpoints

On the architectural side, it moves away from the conventional CNN approach that handled only the image space, and proposes a 4D Diffusion Transformer that can simultaneously process temporal + viewpoint + spatial information, so that scenes where the viewpoint changes over time can be generated naturally and consistently.

1.3 Audio-Based Human Animation

All of the studies we’ve looked at above used a video or pose information containing the movement to be followed as input. But what if hand gestures or body movements could be generated naturally from a person’s voice alone, rather than from a video? It would become possible to create more convenient and immersive avatars even without any video.

Audio-based Human Animation is a technology that generates video by naturally producing facial expressions and body gestures while considering the rhythm, intonation, and emotion of the spoken voice. There had been related research before, but recently—thanks to the advent of diffusion models and their performance improvements—groundbreaking progress is being made in this area as well.

For example, VLOGGER (CVPR 2025) is a model that generates a video of a person talking, with the upper body moving naturally, from a reference image and audio input alone. It has a two-stage structure: in the first stage, a diffusion-based motion generator produces facial expressions and upper-body movements reflecting the audio’s intonation and emotion, and in the second stage, a high-resolution video is generated based on this. Notably, to reduce the artifact problems that commonly occurred in hand movements and regions other than the face, it was trained using a large-scale dataset called MENTOR (800,000 people, 2,200 hours of footage).

CyberHost (ICLR 2025), which took a similar approach, proposes an even more advanced method. A key feature is that, unlike VLOGGER, it does not go through two stages but generates the video in one shot from audio and image within a single model. By not using an intermediate representation stage such as a pose sequence, it can reduce errors arising from inaccurate pose sequences and resolve the problem of limited expressiveness. Here too, they reportedly built their own dataset of about 200 hours of footage and roughly 10,000 people.

VLOGGER, CyberHost
Examples of diffusion models that animate people from audio: (left) VLOGGER, (right) CyberHost
VLOGGER demoCyberHost demo
Demos of diffusion models that perform human animation from audio: VLOGGER, CyberHost

Going further, OmniHuman (arXiv 2025) is designed to generate human movement by taking, together with a single reference image, three conditions—audio, pose, and text—in combination.

OmniHumanOmniHuman demo
OmniHuman, which animates people in three ways—audio, pose, and text

This model follows a three-stage training strategy in total. In the first stage, it learns basic movements from text + image only; in the second stage, it adds the audio condition; and in the final third stage, it includes pose as well, training all conditions together.

Here, “weak conditions” that affect only a narrow region—like audio affecting facial expressions—are trained more, while “strong conditions” that affect a wide region—like pose—are trained relatively less frequently, so that the model can learn full-body movement and facial expression in a balanced way. Additionally, even data with mismatched audio sync or insufficient pose information could be reused in text-based training, thereby reducing the loss of overall training data.

In this way, whereas existing audio-based models focused only on facial expression, OmniHuman captures hand gestures and the rhythm of the whole body, delivering an immersion that feels like conversing with a real person—and it has been drawing the industry’s attention.

2. 3D-Modeling-Based Human Animation

While the video-generation-based models described above create video by generating consecutive 2D image frames, 3D-modeling-based avatar generation technology has also been advancing rapidly of late. In particular, state-of-the-art representation techniques such as NeRF (Neural Radiance Fields) and Gaussian Splatting are drawing attention as core technologies for simultaneously achieving realistic avatar rendering and real-time inference.

Among them, a representative example is TaoAvatar (CVPR 2025), a state-of-the-art 3D Gaussian Splatting-based technology developed to generate high-quality full-body 3D avatars that can operate in real time. To overcome the limitations of slow rendering speed and high computational cost inherent to existing high-precision scan models, TaoAvatar proposed a structure that combines a 3D avatar template model called SMPLX—capable of representing clothing as well—with 3DGS. In particular, through lightweighting, it was optimized to run at high speed even on AR devices, at 2K resolution and 90 FPS. It also proposed TalkBody4D, a full-body avatar dataset with synchronized facial expressions, gestures, and audio, greatly raising the feasibility of highly immersive interactive avatar services.

3. Closing

So far, we’ve looked at a variety of Human Animation technologies. From early GAN-based approaches, to diffusion models leveraging pose and audio information, and further to 3D-based full-body avatar technology, the field is rapidly evolving toward implementing AI avatars that look like people and can communicate like people.

That said, there are still practical challenges that need to be addressed.

First, there are constraints on the data side. To learn the natural movement of regions other than the face—the hands and the whole body—we need high-quality, large-scale multimodal datasets containing motion information. But since this is a relatively new field, there aren’t many publicly available datasets, and both time and cost impose a significant burden.

Optimizing generation time and computational resources is also an important challenge. For example, diffusion-based methods can generate high-quality images, but the multi-step process of removing noise demands a lot of GPU resources and is slow.

To build avatars that respond in real time in actual service environments, we need lightweight model architectures or streaming-based response structures. Of course, real-time processing is already possible with high-performance GPUs, but for commercialization, we need to think hard about optimization to the point where real-time inference is possible even on cheaper GPUs.

In this way, Human Animation technology is evolving beyond a mere “moving face” toward generating hand gestures and body movements appropriate to the voice, creating more human-like motion. In line with this technological trend, VMONSTER is also conducting research to implement upper-body motion generation technology at a real-time, commercial-grade level. Ultimately, our goal is to go beyond an avatar that merely talks and implement an AI avatar that reacts to the user’s words in real time and can even produce body gestures and emotional expressions appropriate to that moment, so that users can become even more immersed in the conversation.

If the opportunity arises, I’ll come back with a blog post introducing other human-avatar technologies. See you next time.

こんにちは。VMONSTERのAI Engineer、Yunsu Kangです。前回のブログでは、Talking Photo生成研究の全体的な流れをご紹介しました。今回はその延長として、顔だけでなく手のジェスチャー、上半身、さらには全身の動きまで生成する「Human Animation」技術についてお話しします。

サービス内のAIアバターが、ユーザーの発話に反応して手を振ったりうなずいたりし、さらに仮想空間で本物の人のように歩き回りながら一緒に反応してくれる自分だけの友人ができたらどうでしょうか。単に情報を伝えるツールを超えて、感情的なつながりまで可能にするインターフェースになり得るかもしれません。

今日は、このHuman Animation技術がどこまで進み、どのような方向へ進化しているのかを一緒に見ていきます。

1. 動画生成ベースのHuman Animation

1.1 動画に追従する映像生成: GANベース手法の始まり

初期のHuman Animation研究は、人が動く動画が与えられたときに、人物写真を動かすというアプローチから始まりました。当時はGAN (Generative Adversarial Network)と呼ばれるモデルが使われていました。GANは2つのニューラルネットワークが競い合うように学習し、よりリアルな画像を生成する仕組みで、画像合成の分野で広く活用されてきました。

First Order Motion Model
GANベースの手法: First Order Motion Model

代表的な例がFirst Order Motion Model (NeurIPS 2019)です。このモデルは「リファレンス画像(静止した顔写真)」と「ターゲット動画(動きの参照クリップ)」を入力として受け取り、リファレンス画像がターゲット動画の動きに追従するように動画全体を生成します。

このモデルは重要なキーポイントを抽出し、ターゲット動画内でそれらの位置がどのように動いたかを計算します。そしてその動きをリファレンス画像に適用し、静止写真が徐々に動いているように見せます。この手法には、比較的シンプルで直感的であり、結果を素早く生成できるという利点があります。

しかし、動きが大きすぎる場合、腕や体が別の物体に隠れている場合、あるいは衣服や背景が複雑な場合には、不自然に歪んだり奇妙なartifactが生じたりすることがあります。また、GANという技術の性質上、学習が不安定になりやすく、出力品質がばらつく可能性がある点も限界として指摘されています。

1.2 Diffusionベースへの転換: Pose-driven Human Animation

こうしたGAN手法の限界を克服するため、近年はdiffusionベースの手法へと研究の方向が移っています。特にStable Diffusionのように画像生成で大きな成果を上げた技術が動画生成へ拡張されるにつれ、動く人物の動画を生成する研究も活発に進められています。

特に、画像をlatent空間に埋め込み、特定の条件(例: 望ましいターゲットの動き)に合わせて操作したうえで画像へ復元するアプローチは、高解像度画像を効率よく扱いながら表現力も確保できる点で注目されています。

このアプローチは、pose-driven Human Animationの分野でも積極的に応用されています。例えば、1枚の人物写真(リファレンス画像)と、その人物がどのように動くべきかを定義したポーズシーケンスを入力として受け取り、ノイズから徐々に動く人物を生成していく方法です。

この流れの初期に登場した代表例がAnimate Anyone (CVPR 2024)です。このモデルは1枚の人物写真と、望ましい動きを含むポーズシーケンスを2Dスケルトン形式で受け取り、写真内の人物が動く動画を生成します。Stable Diffusionで使われた事前学習済みモデルをもとにDenoising UNetを構成し、そこにReferenceNetという別のネットワークを組み合わせることで、元画像の人物の見た目やスタイルが生成動画にうまく反映されるよう設計されている点が特徴です。

ただし、この手法も1枚の画像から出発するため、見えていない領域(例: 横顔や背中)に関する情報が不足し、指のような繊細な動きではartifactが発生するなどの限界も残っていました。

Animate AnyoneAnimate Anyoneデモ
ポーズシーケンスベースのdiffusionモデル例: Animate Anyone

その後に登場したMimicMotion (ICML 2025)も、基本構造はAnimate Anyoneと同様に、1枚の人物写真とポーズシーケンスを入力として人物が動く動画を生成します。ただしMimicMotionは、特に手のような細部領域の表現力向上に注力しました。

そのためにポーズ情報のconfidence scoreを活用し、信頼度の高いポーズ情報に集中して動画を生成するよう設計されています。特に信頼度スコアが高い手の領域については、学習時の重みを高めることで手のディテール品質を引き上げました。もう一つ注目すべき点は、長い動画も滑らかに生成できるよう提案されたProgressive Latent Fusion技法です。長いポーズシーケンスを複数の区間に分けつつ、一部フレームを互いに重ねて各区間を個別に生成し、それらを自然につなぎ合わせることで、途切れのない滑らかな動画生成を可能にしました。

MimicMotionMimicMotionデモ
Pose-driven Diffusion手法の例: MimicMotion

Human4DiT (SIGGRAPH ASIA 2024)は、既存のHuman Animation技術が主に正面視点での動き生成に焦点を当てていたのに対し、動く人物が他の方向からどのように見えるかも同時に生成する4次元(4D)Human Animationを目指しています。

このモデルは従来と同じく人物写真(リファレンス画像)とポーズシーケンスを入力として受け取ることに加え、映像がどのカメラ視点から見えるかを決めるカメラ情報も入力として使用します。また、2Dスケルトンポーズの代わりに、人の体を3Dで表現できるSMPL形式のポーズ情報を使うことで、さまざまな視点から人物の形状と動きをより正確に反映できるよう設計されています。

Human4DiTHuman4DiTデモ
さまざまな視点からHuman Animation動画を生成できるHuman4DiT

アーキテクチャの面では、画像空間だけを扱っていた従来のCNN手法から離れ、時間 + 視点 + 空間情報を同時に処理できる4D Diffusion Transformerを提案し、時間の流れの中で視点が変わる場面も自然かつ一貫して生成できるよう構成されています。

1.3 音声ベースのHuman Animation

ここまで見てきた研究は、いずれも追従すべき動きを含む動画やポーズ情報を入力として利用していました。しかし動画ではなく、人の声だけから手振りや身振りが自然に生成されるとしたらどうでしょうか。動画がなくても、より手軽で没入感のあるアバターを作れるようになります。

音声ベースのHuman Animationは、発話音声のリズム、抑揚、感情などを考慮しながら、顔の表情や体のジェスチャーを自然に生成して映像を作る技術です。以前から関連研究はありましたが、近年はdiffusionモデルの登場と性能向上により、この領域でも画期的な進展が起きています。

例えばVLOGGER (CVPR 2025)は、リファレンス画像と音声入力だけから、上半身が自然に動きながら話す人物の動画を生成するモデルです。2段階構成になっており、第1段階ではdiffusionベースのモーション生成器が音声の抑揚や感情などを反映して顔の表情と上半身の動きを生成し、第2段階ではそれをもとに高解像度の映像を生成します。特に、手の動きや顔以外の領域でよく発生していたartifact問題を減らすため、MENTORという大規模データセット(800,000人、2,200時間分)を用いて学習している点が目を引きます。

同様のアプローチを取ったCyberHost (ICLR 2025)は、さらに発展した手法を提案しています。VLOGGERのように2段階を経るのではなく、1つのモデル内で音声と画像をもとに一度で映像を生成する点が大きな特徴です。ポーズシーケンスのような中間表現段階を使わないことで、不正確なポーズシーケンスに起因するエラーを減らし、表現力の制約という問題も解決できます。ここでも約200時間分、約10,000人のデータを独自に構築したとされています。

VLOGGER, CyberHost
音声から人物を動かすdiffusionモデルの例: (左)VLOGGER、(右)CyberHost
VLOGGERデモCyberHostデモ
音声からhuman animationを行うdiffusionモデルのデモ: VLOGGER, CyberHost

さらにOmniHuman (arXiv 2025)は、1枚のリファレンス画像に加え、音声、ポーズ、テキストという3つの条件を複合的に入力して人の動きを生成できるよう設計されています。

OmniHumanOmniHumanデモ
音声・ポーズ・テキストの3つの方法で人物を動かすOmniHuman

このモデルは合計3段階の学習戦略に従います。第1段階ではテキスト + 画像のみで基本動作を学習し、第2段階で音声条件を追加、最後の第3段階でポーズも含めてすべての条件を一緒に学習します。

このとき、音声のように顔の表情など狭い領域にだけ影響する「弱い条件」はより多く学習し、ポーズのように広い領域に影響する「強い条件」は比較的少ない頻度で学習させることで、モデルが全身動作と表情表現をバランスよく学習できるようにしています。さらに、音声同期が合わないデータやポーズ情報が不足しているデータでも、テキストベースの学習で再利用することで、学習データ全体の損失を減らすことができました。

このように、既存の音声ベースモデルが顔の表現に集中していたのに対し、OmniHumanは手振りや体全体のリズムまで捉え、本物の人と会話しているような没入感を提供することから、業界の注目を集めています。

2. 3D ModelingベースのHuman Animation

上で説明した動画生成ベースのモデルが連続した2D画像フレームを生成して映像を作る一方で、近年は3D Modelingベースのアバター生成技術も急速に発展しています。特にNeRF (Neural Radiance Fields)やGaussian Splattingのような最新の表現手法は、リアルなアバターレンダリングとリアルタイム推論を同時に実現するための中核技術として注目されています。

その代表例であるTaoAvatar (CVPR 2025)は、リアルタイムで動作可能な高品質の全身3Dアバターを生成するために開発された、最新の3D Gaussian Splattingベース技術です。既存の高精度スキャンモデルが持つ遅いレンダリング速度と高い計算コストという限界を克服するため、TaoAvatarは衣服まで表現できるSMPLXという3Dアバターテンプレートモデルと3DGSを組み合わせた構造を提案しました。特に軽量化により、ARデバイス上でも2K解像度、90FPSの高速動作が可能になるよう最適化されています。また、表情、ジェスチャー、音声が同期された全身アバターデータセットであるTalkBody4Dも提案し、没入感の高いインタラクティブアバターサービスの実現可能性を大きく高めました。

3. おわりに

ここまで、さまざまなHuman Animation技術を見てきました。初期のGANベース手法から、ポーズや音声情報を活用したdiffusionモデル、さらに3Dベースの全身アバター技術まで、人のように見え、人のようにコミュニケーションできるAIアバターを実現する方向へ、この分野は急速に進化しています。

とはいえ、まだ解決すべき現実的な課題も残っています。

まずデータ面の制約があります。顔以外の部位、手や全身の自然な動きを学習するには、動作情報を含む高品質で大規模なマルチモーダルデータセットが必要です。しかし比較的新しい分野であるため、公開データセットは多くなく、時間とコストの両面で大きな負担があります。

生成時間と計算リソースの最適化も重要な課題です。例えばdiffusionベースの手法は高品質な画像を生成できますが、複数段階でノイズを除去していく計算プロセスに多くのGPUリソースを必要とし、速度も遅くなります。

実際のサービス環境でリアルタイムに反応するアバターを作るには、軽量化されたモデルアーキテクチャやstreamingベースの応答構造が必要です。もちろん現在でも高性能GPUを使えばリアルタイム処理は可能ですが、商用化のためには、より安価なGPUでもリアルタイム推論が可能になるほどの最適化を検討する必要があります。

このようにHuman Animation技術は、単なる「動く顔」を超えて、音声に適した手振りや身振りまで生成し、より人間らしい動きを作り出す方向へ進化しています。VMONSTERもこうした技術トレンドに合わせ、上半身動作生成技術をリアルタイムの商用レベルで実装するための研究を進めています。最終的には、単に話すだけのアバターを超え、ユーザーの言葉にリアルタイムで反応し、その瞬間に適した身体ジェスチャーや感情表現まで可能なAIアバターを実現することで、ユーザーが会話により深く没入できるようにすることを目指しています。

また機会があれば、Human Avatarに関する他の技術を紹介するブログでお会いします。

도입 문의

우리 회사에도 적용될까요?

당신의 비즈니스에 최적화된 AI 컨시어지를 도입해보세요. 현 상황에 맞는 최적의 상담을 도와드립니다.

도입 문의하기