Sonic 数字人技术!口型完美同步!一键生成超逼真说话视频!最容易安装的数字人,奶奶都能会
今天给大家分享一个数字的技术叫做sonic。好,这里我们先看一下测试效果。好,这个是正面人像的唇形匹配效果。路遥知马力,日久见人心。时间是最好的试金石,能证明价值,也能看清人心。妖怪哪里逃?这点伎俩也敢放肆?
半侧面人像唇形匹配效果,我减肥的决心只维持到饭前。我减肥的决心只维持到饭前。以及其他介质的效果,比如说素描的风格。塞翁失马焉知非福,世事变幻无常,眼前的得失未必是最终定论。大家可以看到它的这个口型匹配还是非常到位的。好,这里我们可以看一下官方的一些案例演示。
How to reset your life when you are feeling lost? 因为他能输出的视频时长比较长,所以他不仅能讲话,他还能唱歌。我想,我可以用双脚去丈量每一片土地。我想,我可以好好去。
我都一年没吃苹果了,到超市偷了一袋苹果,大家觉得这叫不盗窃?你一年没吃苹果就能偷苹果。如果我们要在ComfyUI里面使用它的话,我们需要安装这样的一个插件,叫conf US onic。大家可以来到我的网盘里面,然后找到数字人工作流,把它拖拽到匡飞UI里面。看到爆红的话,点击manager,然后选择安装缺失节点,找到这个节点,把它安装完之后重启你的ComfyUI。重启的过程当中,ComfyUI会帮我们自动安装这个插件所需要的依赖。这样的话我们前两步实际上就已经做完了。
我们可以看一下第三步,第三步的话就是我们需要下载一些模型。这个模型我们可以从官方的渠道下载,比如说我们从google或者是从这个链接里面可以下载到所有模型。接着把下载到的模型按照下方这里的结构复制粘贴到你的这个模型根目录就可以了。为了方便大家使用,我在这个网盘里面也帮大家安排好了。大家可以把这个sonic文件夹直接复制到你的ComfyUI models这个文件目录里面就可以了。接着我们还需要SVD的这个大模型,两个模型,大家选择其中一个就可以把它放到你的config UI models checkpoints这个文件夹里面。为了方便大家使用,我也把这个模型放在网盘里了,大家可以直接获取。
当模型安排好之后,我们就可以使用工作流来生成视频了。把图片放到这里,把音频拖拽到这里。上面这个check points里面,我们就选择到刚刚SVD的这个模型。Sonic load里面,我们选择unit这个模型,这个数值代表的就是模型输出的最短端的,也就是它最短的一条边的这个像素。我这里选择到的是768,这个duration指的就是生成的最终视频时长。比如说我这里的音频是3秒的,那么一般我这里比较推荐大家可以加个1秒到2秒,保证他的话能讲全,否则他有可能讲不完整一整段话。这里的帧速率我给的是24帧每秒。好,现在我们可以运行,看一下效果。