混元Avatar数字人效果真的很不错
今天和大家分享的话题是混元数字人的会员阿巴塔。混元avatar可以实现通过图片和声音就可以生成能说、能唱、能跳的视频,并且是对小口型的视频一次搞完,所有流程非常强大。但是混元艾沃塔最大的问题就是占用显存过高,好的效果要96G显存,所以能本地跑起来的人很少。今天我们介绍一个低显存能跑起混元a vita的项目,one two DP就不需要96G了,这个项目只需要不到10GB显存就能跑起来,并且高速生成。它使用了try n sage attention,flash attention take us等技术来实现,同时还能保证画质的几乎无损。
接下来我们先一起看一下官方的效果视频,见证奇迹。的时刻。像是海浪,what I mean by that is.
接天莲叶无穷碧,今天买到了超好看的草莓发夹。我最喜欢踢足球了。嘿,瞧瞧我瞧我这身打扮,我look一会儿,我就按照这个顺序,就按照这个水进火木桶。多模态能够一步到位实现这个效果还是很惊艳的。整体能力上,它支持将任意输入的图像和音频一起转化为高动态可控情绪的视频。支持任意比例、任意分辨率多风格包括写实、卡通、3D等照片作为输入,支持多人场景,支持情绪控制。
接下来我们介绍一下本地怎么安装部署10G显存就可以使用,540P的话7G就能跑。首先打开这个地址,只需要部署这个项目就可以了,这个项目还有其他很多开源视频模型可以使用。大家可以自己看一下项目说明,然后跳转到安装指引,依次执行1234这四个步骤。
安装完环境之后,先不要着急启动,我们先人工下载模型文件,模型文件我打包上传网盘了,直接下载就可以。下载好的模型文件要解压放到这个目录下。模型文件大小一共有39G量化后的混元arta有12月4日G大小。放好模型后就可以启动服务了。执行这个命令进行启动,启动后的效果是这样的。
启动后,我们在浏览器上输入这个地址,打开这个页面,然后下拉列表,选择这个ava选项,上传图片,上传音频文件,输入提示词,最后点击generate按钮开始执行。要生成5秒视频,在4090显卡上需要等待15到20分钟,成功后就可以在这里看到生成的视频了。本期视频我们基本到这里了,喜欢我做的视频可以加个关注,也可以从主页加我的微信,我拉到群里,碰到问题大家可以互相交流。模型我上传了百度网盘,地址在这里,也可以在评论区拷贝获取。