2.5D数字人全流程方案,一个视频即可生成实时交互交互数字人,涵盖角色声音训练、接入大模型、实时交互、直播等

AI作画软件中文版 2025-08-05 11:35:23
今天来给大家讲讲我们这个实时互动制作的全过程。首先我们点声音克隆,点右边这个加号,弹出一个使用承诺书,看完后点我已知晓同意,然后点上传声音,上传一段录制好的5到10秒干净人生没有杂音的音频就可以了。等待克隆完成后,在我的音色列表里面就会出来自己音色。第二步是形象克隆,步骤和声音克隆一样的,也是先点右边加号,点我已知晓同意,点上传视频,等待克隆完成后,在我的形象列表里面就会有自己形象。这里要注意一下,我们设置了视频不超过50米,然后视频拍摄要求是一分钟以内的视频,不用张嘴说话,做简单手势头微微摆动即可,脸部轮廓清晰,手不要有遮挡,脸部动作可以参考我们这段视频。
 
最后一步,在客户端点实时互动,选中自己形象,再选择右下角的音色,点开始实时交互。第一次要加载模型,慢一点,等待播放器加载出来人物画面后,就可以实时交互了。我们交互支持两种模式,一种是打字互动,我们在对话框输入问题数字人就可以回答了。我们先演示下打字互动。
 
您好,臣妾杨玉环在此,愿君安好。有何吩咐?
 
杨贵妃,唐玄宗爱妃享有荣华富贵,然而她也可能有烦恼,如宫廷斗争、宠爱、易事等。在古代封建社会,女性地位受限,忧虑未来和子女也是可能的烦恼。总之,即使是杨贵妃,也难以完全摆脱烦恼的困扰。这个打字互动的话,响应速度很快了,我们再来试下语音互动。杨贵妃,你有没有烦恼?
 
杨贵妃身处宫廷,虽想进荣华,但也有烦恼,如宫中争斗、地心难测等。作为历史人物,他的生活充满了不确定性。语音互动响应速度也还可以了,因为管理后台部署在云端,受带宽限制,然后还要文字转语音。
 
如果全部本地跑速度更快的,这个就是我们整个实时互动的全过程,人物形象也可以用AI生成任意形象。比如您现在看到的我其实就是AI生成的杨贵妃,这样可以穿越时空和任意历史人物对话了。这样实时互动场景有无限想象空间发挥,大家可以互动发表自己想法。今天的介绍就到这里,感谢大家观看。