Bytedance, yeah the tik tok guys, komen met een nieuw human centric generatief model
1 foto + audio kan video genereren die praktisch niet van de realiteit te onderscheiden valt.
Op zich niet meer zo opmerkelijk want er zijn nog modellen die dit klaar spelen maar wat deze nog dat tikkeltje indrukwekkender maakt is de hoge graad waarin je de gegenereerde video kan choreograferen. Je kan bepaalde bewegingen specifieren of je kan de output video dirigeren met een andere video. Waar generatieve video normaal "ongeveer" geeft wat je prompt kan je met zulke video driving technieken heel gedetailleerd exact bekomen wat je wilt.
Due to OmniHuman's mixed condition training characteristics, it can support not only audio driving but also video driving to mimic specific video actions, as well as combined audio and video driving to control specific body parts. Below, we demonstrate these capabilities.
bsky.app
1 foto + audio kan video genereren die praktisch niet van de realiteit te onderscheiden valt.
Op zich niet meer zo opmerkelijk want er zijn nog modellen die dit klaar spelen maar wat deze nog dat tikkeltje indrukwekkender maakt is de hoge graad waarin je de gegenereerde video kan choreograferen. Je kan bepaalde bewegingen specifieren of je kan de output video dirigeren met een andere video. Waar generatieve video normaal "ongeveer" geeft wat je prompt kan je met zulke video driving technieken heel gedetailleerd exact bekomen wat je wilt.
Due to OmniHuman's mixed condition training characteristics, it can support not only audio driving but also video driving to mimic specific video actions, as well as combined audio and video driving to control specific body parts. Below, we demonstrate these capabilities.
luokai (@luok.ai)
- High Realism in Video Generation: It excels in aspects such as motion, lighting, and texture details, producing highly realistic videos. Project: omnihuman-lab.github.io
bsky.app