即梦OmniHuman-1：目前AI对口型最好的模型，没有之一！-课多多

🤔 有没有想过，让图片里的人开口说话，甚至做出相应自然的肢体动作？以往的 AI 技术可能效果平平，但现在，即梦 AI 带来了对口型全新的“大师模式”🚀，快来一起看看它有多神奇吧！

上个月，字节跳动旗下的即梦 AI 就开始小范围内测 AI 数字人“大师模式”🌟，就是传说中坊间爆火的 OmniHuman-1^[1] 模型。🎉

OmniHuman-1

此外，汗青大佬（视频号 AI.TALK）就为此出了一部很好看的作品🎬，全流程 AI 打造。

经汗青大佬的启发，以及对 The First Take 这档音乐节目的喜爱🎧，豆福致敬并复刻了一部 AI 作品，

回顾AI数字人的过去

在对口型“大师模式”之前，即梦 AI 已经提供了两种口型模式，但都各有不足：

• 标准模式： 优点是能保持照片的原始比例，但缺点也很明显——只动嘴，身体其他部分就像木头一样僵硬。😐
• 生动模式： 这种模式下人物的表情会更自然一些，看起来更生动。然而，它会自动裁切除头部以外的部分。👶

为了解决这种问题💡，当然有其他方法，比如先生成人物的动态视频，比如：人物开口说话，伴随轻微肢体动作等，再进行对口型。这个方案虽然稍显麻烦，但在当时，已经是相对更好的对口型方案。

大师模式——对口型效果远超以往✨

而现在，有了 即梦 AI 的“OmniHuman-1”模型加持的“大师模式”，效果简直是质的飞跃💥，超越以往所有方案！它不仅解决了以上痛点问题，结果让人惊喜：全身自然律动💃、表情丰富细腻😊。

拿上面那部视频作品来说🎥：大师模式对口型不仅更自然协调，手部还能根据音乐旋律配合乐器的弹奏🎸。

👇下面豆福手把手教大家如何制作这类视频。

制作流程三步走👣

1️. (AI) 音乐： 首先，需要准备一段音乐，这里可以是现成的音乐，也可自行 AI 创作音乐。

2️. AI 出人物： 其次，需要有 AI 人物形象。

3. AI 对口型： 将音乐和人物，实现动态效果。

（AI）音乐🎶

如果是现成的音乐作品，直接下载好.mp3格式拿来用就好了；如果是 AI 创作音乐，此处略，豆福此前写过不少 AI 音乐的教程📚，请到文章最下方👇推荐阅读查阅。

💡Tips：
准备好的音乐文件，需要用剪映分割成15秒内的片段导出⏳，需要根据歌词调整分割的时长，以备第三步使用。

AI 出人物🎨

AI 出图出人物，首选 Midjourney^[2] 或者悠船^[3]（Midjourney国内代理商）🖼️，其次，也可以选择即梦 AI 生图^[4]。

这里注意一点🔍，除主角的图外，一定要另外出几张不同人（事）物、机位角度和景别的图，比如空镜、其他配角，以便视频切换镜头使用。

在这部作品中，我选择了主角的三个机位角度：左特写、右特写和测面近景📷，此外还给出了配角皮卡丘和可达鸭的镜头画面。

Midjourney Prompt:

An ultra-realistic close-up shot of a beautiful Chinese girl's hands strumming the strings of an acoustic guitar. Her delicate fingers move gracefully, with short pink hair slightly visible in the frame. She wears a yellow T-shirt, and the guitar's black strap is subtly seen over her shoulder. The background is a soft light grey, illuminated by professional studio lighting. The focus is on the intricate details of her hands, the guitar strings, and the subtle textures of her skin. Ultra-realistic photo style, shot with a macro lens to capture every fine detail.

Midjourney 出图1

Midjourney 出图2

英文不好的，可以用翻译🌐，或者用 即梦 AI 输入中文提示词即可。