今天来给大家分享一款高品质的AI创意工具drema记梦。不同于runway pixels等国外工具,记梦是由字节跳动出品的一站式AI创作平台,不仅支持视频生成,还可以进行图片创作。更重要的一点,记梦对中文的原声提示词的支持也比较友好,所以我们看这是它的logo和名字。
来到记梦的主页,首页上方有两个很明显的入口,分别是AI作图和AI视频。在开始制作之前,我们先来看看记梦出品的效果。在探索页面我们可以发现很多优秀的作品。首先来看看图片,不仅各种各样的艺术风格都可以拿捏,而且记梦也为我们在展示的这个页面上面做了一个画风的分类。我们看一下国风,所以可以说写实或者说这种偏二次元都能很好的把握。那么我们点开在这里,我们能看到它的提示词,完全是由中文来撰写的。再来看看其他的作品,这个也很不错。
3d art,这个是进行的类似三维渲染图的这样的一个图片的生成效果。这个对文字的还原也非常的准确,因为用到了参考轮廓的边缘,是用了图生图的模式。后面我们会聊到,你再看看其他的,比如说这个插画。所以种类也是非常的丰富。那么从商用的角度来看,这些作品其实都具有很好的一个实用的价值。
然后我们再来看看视频,在视频的这个页面里面,它有视频片段和AI短片两个分类。我们先从视频片段开始看啊,我们随便点开其中一个OK,从这儿我们来看它的提示词,也是使用了参考图加文字描述的方式。这个是直接只使用参考图来去生成这样的一个场景,所以我们看这个水体的这种运动还是非常自然的。
再看看其他的作品,那么记梦有一个非常强大的点,就是它对于角色包括动物或者说人物的这种肢体的运动,还原的非常到位。我们看这个,所以其实那只使用了一个非常简单的提示词,就能达到这样的一个效果,还是挺震撼的。我们看看这个。北极熊向下跑是吧?所以我们看这整个的运动的这种质感确实是非常不错,再找一找,看看有没有关于人物面部细节的这种刻画。比如说这个其实也非常震撼,对吧?所以这种对人物面孔,这种表情的这种还原,记梦也能做到这样的一个程度。
这里我们注意一下视频下面的提示词或者参考图,那么这两者实际上是可以二选一,也可以同时具备。提示词全部都是中文。根据提示词与画面的匹配情况来看,记梦对于中文语义的理解还是比较准确的这也给我们的创作带来了很大的方便。比如runway号称可以支持中文,也确实可以用中文生成视频,但是准确度相比英文差了很远。所以记梦的优势相比之下就很明显了。大部分的视频都采用了参考图加提示词的创作方式。可见即使我们可以直接用AI生成视频,也就是文声视频。但是如果通过图片的辅助,生成的效果会更加的稳妥,比如说这个也是直接提供参考图而没有提示语,那么一样可以有这样非常优秀的一个画面的效果。
OK那么视频的片段或者我们说AI生成的镜头,我们就先了解到这里,我们再来看看这个AI短片首先我们找一找这条在一个阅读被遗忘的未来。书籍悄然消失,变成了尘土。这是一条关于世界读书日的TVC广告,一座等待重生的图书馆静静开启。我们说从景别、从角色、从叙事到场景各个角度呈现的都非常专业,一束光束穿越时空。
来唤醒我们心中的勇气。这个世界读书日,让我们一起跨过门槛,探索未知的故事。人物的动势动作也比较自然,藏着无限的世界等待被发现。让我们一起翻开新的篇章,拥抱每一次新的冒险。
OK再来看看其他的类型,比如说这个属于类似情绪片、vlog旅拍短片这样的一个属性。只是这一天比我预想的要久了很多。我记得那时候你还挺年轻,爱慕你的人挺多的。我不止一次的想过当生命终结时,有哪些瞬间值得我再去想念。我们认识的那个下午。那说来奇怪,跟那时的你相比,现在你先把故事。水准确实非常之高了。
OK我们再找一找类似这样的风格化的这种动画短片,又回到了这个熟悉的科技革命的爆发,导致了地球资源枯竭。在那个末世余晖中,我们就是在这片土地上发现了他的存在。其实通过这些作品,我们已经可以深刻的感受到,AI视频已经初步具备了进入标准的影视工作流程的能力。当然和我们熟知的PRAEC4D达芬奇blender这些工具相比,画面的准确度、细腻程度上还需要提升那么多。我们需要无穷的算力完成出,但没人注意新世界这家伙也让机械设备。向后再看一下。这些结尾的这几个镜头。
OK. 那么我们简单的总结一下,相比刚才的这些视频片段,这些短片可以说已经具备了影视作品的全部要素,除了画面是由AI生成的以外,也用到了影视工作流程中策划、编导和剪辑包装等等环节。由此可见,如果想完成这种水准的AI短片,仅仅会使用AI工具是不够的,依然需要对视听语言乃至导演思维进行一定的把握。换言之,今天的AI已经如此强大,但是要做出真正有灵魂有价值的作品,人的思维才是决胜要素。
OK对记梦有了初步的了解之后,我们充分利用其提供的功能来尝试完成几个综合性的案例。所以这里我强调一下,记梦在免费的情况下也可以直接使用,那么它每天会自动完成60个使用点数的一个复位。一般来说,进行一次图片创作会消耗一个点,生成一条视频消耗12个点,所以说如果是轻量级的使用,基本上也是够用的。那么来到首页,我们回到这两个主要的入口。在AI作图里面我们先从图片生成开始。也刚才我们提到图形视频是一种更加可控的视频生成方式,所以在生成视频之前,我们先从最基本的文生图开始了解。我们点击进入,在图片生成的界面,我们能看到冀梦的这个工作区,集合了stable diffusion和mj的特点。页面的左边是提示词和图片生成的一个参数设置,右边则是类似对话框的一个形式,呈现我们生成的结果。
首先我们来到图片生成的这个输入提示词的这个部分,我们输入一段描述,一只橘猫在打篮球。黄昏的球场。重复细节,最基本的一些提示语OK我们看在这里,模型和比例,这里我们看点开模型,这里我们可以选择生成图片用到的模型。那么记梦给我们提供了这样的几个选项,这里我们先保持默认最新的这个,然后在比例这里,那是我们很熟悉的画面画幅的一个调整。我们还是按默认的这个一比一生成一个1024乘1024的画面。所以这里我们耗费一个点数直接生成。
所以我们看画面的右半部分对吧?已经有在生成的这个画面的提示了。所以记梦在默认的情况,下一次生成会给我们四张图片,也就是一个批次里面会给我们四张图片供我们选择。
OK, 这个结果还是挺让人满意的,对于提示词的这个把握也是比较准确的OK可能会有小伙伴说,如果说我连提示词都想不出来那怎么办?其实也很简单,那让AI给你一点启发就好了。所以这里我也提前准备好了一些AI帮我写出来的提示词,所以这里我们用到了也是字节旗下的豆包大模型,所以这里我告诉他,你帮我来写几段适合记梦的提示词对吧?都是自家产品,所以他也没有啰嗦,很快就理解了我的意思。OK在这些图片提示词里面,我们找一段这个感觉很梦幻对吧?我们直接把它复制过来,粘贴,我们其实可以在这里选一个其他的模型,我们看看这个记梦风格化,那可能它的这种图片的艺术表现力会更强,我们再来画一次。那么AI虽然好,但是还是建议大家自己开动脑筋来写提示语,因为毕竟这个创作的灵魂是要由我们自己来把控的。这个完成生成了,果然是非常的梦幻,非常的梦幻OK。
完成了这几幅图片基本的生成的流程之后,我们下面再更进一步,比如说悬停在某一张图片上面的时候,我们在这儿注意能看到出现了一个简单的工具栏。我们下载,扩图这些其实都很好理解。所以这里面我们使用这个局部重绘功能,给画面的特定的部分我们做一个二次的创作。OK,那还是我们的橘猫打篮球对吧?那我们把这个篮球给它换成足球。所以在这个重绘的面板里面,我们使用这个手绘的这个工具涂抹出我们想要重绘的区域,只输入我们想要重绘部分的提示词就可以了。比如说我们打一个足球,这样我们在前面再加一些定语,金色的足球,让它生成一下。OK非常准确的理解了我们的这个提示词的含义,金灿灿的足球OK。那么在前面画出来的这只路也可以做一些调整,那我们试试看,这只鹿我们换成一个别的东西。比如说换成一只狮子,我们这里就输入一只狮子。
OK我们看看,这个姿势可能有点奇怪,但是意思是这个意思没问题OK那么局部重绘我们就先了解到这里,下面我们再换一种玩法提示词,这里除了直接输入文字以外,还可以上传参考图。上传图片之后,记梦会对上传的图片做一个信息的提取。下面我们演示一下,我们导入一张这样的图片,我们注意看在弹出的这个窗口里面为我们提供了这样几个选项,比如边缘景深等等。看到这里,相信有SD基础的小伙伴已经发现了,这个部分和control net的操作逻辑非常相似。几乎可以判断,记梦在这个部分也利用了目前最成熟的技术。
下面我们选择人物姿势OK,花一点时间去提取人物的姿势信息OK那么提取完成了,我们看到画面的右侧这样的骨架就是一个示意图。然后我们点击保存,在输入提示词的这个位置,我们看到这里多了这样的一个信息的显示,所以也就是把我们提取出来的人物的姿势,像提示词一样也提供给我们了。好,然后在这个基础上我们稍微加一点简单的描述。比如说把它变成一个中国武士,然后这里的这个生图模型我们还是用目前最新的这一个,所以这里面我们还是选择9比16的1个比例,因为我们上传的原图是这个比例,所以这里面我们尽可能把它匹配起来。OK我们生成一下。OK所以从结果来看,对人物姿势的提取还是比较准确的。
OK下面我们再来看一看另外的一个画图的功能,就是这个智能画布。智能画布它的流程其实跟我们刚才分享的差不多,但是可以自由的选择画布的尺寸。另外这个功能还可以实现抠图,下面我们上传一张带有背景的人物的图片。OK然后我们选择这里的抠图。主体识别中,所以这个基本上不需要我们什么额外的操作,它自动就识别出了这个画面当中我们需要抠取的部分。如果说你对这个自动识别出来的范围不满意,那么跟我们刚才用局部重绘的那个方法一样,你可以用这个笔刷自己再做一些涂抹。这里面我目测还是不错的,所以我们直接点击生成。
OK, 所以这个就是抠图之后的效果,看起来还是效果不错的那我们这个时候直接选择画面右上角的这个导出,所以在这儿我们注意,因为我们是已经完成了抠图,所以我们保存的这个导出设置,我们选择PNG格式,这样确保我们能够有一个透明的通道。OK下载之后我们打开看一眼,所以这个效果还是不错的。OK, 所以完成了这几个步骤之后,我们回到首页,然后我们看这在这个创作的这一栏里面有一个资产。我们点进去之后,实际上就是给我们提供了一个统一的我们生成的作品的一个管理页面,也可以进行批量的操作,你是要下载,要保存,还是说选择某一些你不喜欢的内容直接删除都是没有问题的,所以非常的方便OK有了生成图片的这样的操作基础,那么生成视频就是水到渠成了。
这里我们注意,在首页这里生成视频的这个选项,这个部分有一个灰色的按钮,暂时我们不能点击。叫做故事创作,所以这是什么意思呢?也就是说AI在帮我们完成了画面构建的同时,如果还能向前一步帮我们写剧本,那么创作的门槛将进一步的降低。当然这也意味着好作品的水准会水涨船高,而我们唯一能做的就是持续精进,提升创意审美与导演思维。
好了,我们继续回到工具的讲解,就是来到这个视频生成的入口,依然是左侧进行参数调节,右侧结果预览。我们首先看看这个图生视频,刚才生成的图片就派上用场了。我们选择一下上传刚才生成的这个路的图片OK然后我们在运镜控制这里再来看看它提供了哪些选项。给我们默认的是随机运镜。如果你要人为的做选择,其实暂时选择也不多。推进拉远和顺时针逆时针的旋转,所以这里我们就保持默认给它一个随机。
然后在视频设置这里,我们注意视频的比例是不能调节的,因为目前我们用的是图形视频,所以这个视频的比例就是图片的比例,所以这是一个一比一的图片,所以生成出来的视频也是一个正方形。运动速度这里很好理解,那我们保持默认使用适中就可以了。下面我们点击生成。
OK下面我们检查一下结果,其实可以看到这个生成的效果还是挺惊艳的。我们放大看一下这个路对吧?抖动一下耳朵,然后摆了摆头。然后我们看到这个森林当中植被的这个叶子,还有这个水体表面的这种变化,效果还是非常不错的。OK那么目前我们看到视频生成的这个默认的时长是3秒钟,其实作为素材或者一个镜头来说是可以满足需要的,那么总体耗费的生成时间也不算长。如果对结果不满意,那么可以在这里选择吐槽,或者也可以再次生成,继续去迭代OK。
下面我们再尝试一下用人物的图片来生成视频。首先我们删除上一张图片,导入一张新的。然后这里我们把运镜类型由随机我们改为拉远,我们看看记梦会为我们填充一幅什么样的新的画面出来,我们点击生成。
好,我们查看一下结果。这个效果很戏剧化,而且人物的这个眼睛好像可以再生成的更完美一些。不过不管怎么样,记梦对于场景和人物的视频生成上面的把控,还是处于目前行业第一梯队的。
因为目前AI去进行视频创作很大程度上还是存在开盲盒的情况。所以这个我们刚才已经提到过了。那么有必要的话,我们只需要多次生成就好了。OK我们下面再来看看文本生成视频的方式。所以在这儿我们还是去提取刚才豆包帮我们去生成的一个视频提示词,我们直接把它粘贴进来看看效果OK。因为这一次我们是用文本来生成视频,所以我们可以设置视频的比例为标准的16比9运镜的类型这次我们选择顺时针旋转,生成一下试试看。再来看一下生成的效果,那么对于基本来讲,生成这样的场景应该是小菜一碟了。
OK下面我们继续挑战一下人物的生成,所以我们还是从豆包给我们的提示语里面找到这一条。我们尝试一下。运镜方式我们选择推进。点击生成。
好,我们来看看结果。这一次还是。非常震撼的。因为我们刚才挑战了人物的生成,我们发现还是有一些比较明显的瑕疵。这一次我们不仅是进行了人物的生成,而且是比较大幅度的人物动作,而且是一群人,所以还能有这样的表现力,我觉得真的是要为记梦点个赞。OK这个效果是非常不错。好了,本次的分享就先到这里。
不知道大家会不会有这样的一个感受,就是每一轮科技革新所带来的变革往往包含两个方面。其一是提升了行业的下限。举例来说,AI目前已经开始大面积取代较为初级和要求不高的内容产出岗位,也就是之前相对成本比较低的制作已经被AI压得更低。其二是为行业的上限提供了更广阔的发展空间。在追求更亮眼创意、更高端品质的同时,也由于新工具的使用而对生产效率提出了更高的要求。简而言之,AI时代是一个更容易诞生超级个体的时代,繁琐枯燥的工作被AI接管之后,人的价值会更加突出。因此如何让自己的思维能力和学习能力在更深更广的维度上实现突破,这才是我们需要聚焦的问题。更多AI工具包教程,DPCK组合机教程和不同软件搭配的落地关键词都已打包好了,需要的评论区留言。