OmniHuman-1 — 사진 한 장이 노래하고 말하는 풀 비디오로

바이트댄스 OmniHuman-1 프레임워크가 정지 이미지 1장 + 오디오로 자연스러운 lip-sync + 손동작의 풀 비디오를 생성. 아인슈타인 사진을 강연 영상으로 만든 데모가 X에서 viral. 아직 lab 단계.

개발사 ByteDance (TikTok 모회사)

모달리티 Single image + audio → lip-synced video with gesture

상태 Research-stage (공개 제품 없음)

프로젝트 페이지 omnihuman-lab.github.io

핫 데모

정지 사진 1장(아인슈타인) + 음성 트랙 → 자연스러운 입모양 동기화 + 손동작 + 표정 변화의 풀 영상. 영화 lip-sync 수준의 정합도 + 데이터 한 장에서 동작 추정.

기술 특이점

- 멀티모달 입력 — text/audio/video reference 어느 조합이든 driver로 사용

- 단일 이미지 source — 동영상이 아닌 사진 1장에서 동적 캐릭터 합성

- lip-sync 정합도 — 표정·턱 움직임·음운 일치가 영화 더빙 수준

위험

- 정치인 fake speech / 사망자 부활 영상 / 동의 없는 데모. ByteDance가 의도적으로 공개 API 미배포한 이유.

시놉시스

1'은 바이트댄스(ByteDance)에서 개발한 AI 비디오 생성 모델로, 단일 이미지를 사실적인 인간 비디오로 변환하는 기술에 대한 내용을 담고 있습니다. 이는 기술(AI/소프트웨어) 소개, 데모, 설명 등을 포함하는 정보성, 업계 동향 혹은 기술 메타 컨텐츠에 해당합니다. 영화, 드라마, 애니메이션 등 서사가 있는 작품의 줄거리(주인공, 갈등, 세계관)를 설명하는 영상이 아닙니다. 따라서, 출력은 정확히 'NONE'이어야 합니다.

Maru