颠覆传统!2 张图像生成流畅卡通动画的AI神器 ToonCrafter

大家好,这里是和你们一起探索 AI 的花生~ 动画制作对很多人来说应该都是一项非常专业且复杂的工作,需要学习专门的知识,掌握特定的工具,并且投入大量的时间精力才能得到成果,不过最近出现的一款 AI 动画制作工具 ToonCrafter 则有希望改变这一现状。它只需 2 张图像就生成连贯流畅的动画片段,还能自动为动画片段上色,这不仅能帮助专业动画人员提升工作效率,也能让小白轻松制作出稳定的动画效果。下面就为大家详细介绍 ToonCrafter 的特点和用法~ 相关推荐:一、ToonCrafter 简介 ToonCra

颠覆传统!2 张图像生成流畅卡通动画的AI神器 ToonCrafter

大家好,这里是和你们一起探索 AI 的花生~

动画制作对很多人来说应该都是一项非常专业且复杂的工作,需要学习专门的知识,掌握特定的工具,并且投入大量的时间精力才能得到成果,不过最近出现的一款 AI 动画制作工具 ToonCrafter 则有希望改变这一现状。它只需 2 张图像就生成连贯流畅的动画片段,还能自动为动画片段上色,这不仅能帮助专业动画人员提升工作效率,也能让小白轻松制作出稳定的动画效果。下面就为大家详细介绍 ToonCrafter 的特点和用法~

相关推荐:

一、ToonCrafter 简介

ToonCrafter 是一款开源的动画插帧工具, 它通过预训练的图像到视频扩散模型,来实现两个卡通图像之间的平滑过渡,也就是说我们只需提供起始和结束的卡通画面,ToonCrafter 就能自动生成中间一系列流畅的动画帧。

下面是官方展示的 ToonCrafter 应用效果,它可以根据 2 张图像就生成头发飘动、物体移动、大小变化、光影变化、人物行走奔跑等动画帧,效果非常流畅,即使场景很复杂或者物体有部分遮挡也能完美处理。相比之前提到过的一些 AI 视频生成工具,ToonCrafter 的首尾帧控制方式可以让动态效果始终保持稳定,不会轻易扭曲变形。

除了通过纯卡通图像生成动画,ToonCrafter 还支持对草图添加动画。比如生成纯草图的物体膨胀或者移动效果,整体动态非常连贯,比纯手工一帧帧绘制要高效很多。

ToonCrafter 还能根据彩色的参考图像,对线稿动画进行自动上色。上色后的动画在色彩风格以及色彩分布上与参考图像保持了高度一致,这一步也可以节省很多的人工。

此外 ToonCrafter 还支持仅通过稀疏草图来引导动画的生成。 如下图,虽然给出的参考草图只有断断续续的几帧,但最终生成动画中,画面整体依旧是连贯流畅的,可见 ToonCrafter 的插帧技术确定十分强大,可以有效简化动画的制作流程。

二、在线体验

Huggingface Demo: https://huggingface.co/spaces/Doubiiu/tooncrafter

Replicate Demo: https://replicate.com/fofr/tooncrafter

因为 ToonCrafter 是开源工具,因此在其代码和模型权重公开之后,很快就有人在 Huggingface 和 Replicate 上对其进行了线上部署,因此我们也可以免费体验这款 AI 动画神器的效果。

Huggingface 上的 ToonCrafter 目前支持通过首尾帧生成动画,上传你的图像(最好是横幅),然后在 prompt 中描述画面内容以及你需要的动态,再点击「generate」生成即可。我用 midjourney 生成了一张小王子的卡通图像,并用 vary region 功能对他的披风进行处理,最终得到了一段非常不错的小动画。如果没有 ToonCrafter,普通人很难这么轻松就制作出稳定的动画效果。

颠覆传统!2 张图像生成流畅卡通动画的AI神器 ToonCrafter

动画效果:

Replicate 上的生成功能则更强大一些,它支持上传最多 10 张插帧图像,让用户可以对动画过程进行更准确的控制。比如你可以生成一个人物不同角度、不同神态的多张图像,然后让 ToonCrafter 进行动画处理,最终就能得到一段流畅的人物动画了,非常推荐专业的动画制作人员尝试一下这个功能。

颠覆传统!2 张图像生成流畅卡通动画的AI神器 ToonCrafter

上传的 3 张图像:

颠覆传统!2 张图像生成流畅卡通动画的AI神器 ToonCrafter

生成的动画:

相关资讯

Google、Meta又放大招!用嘴做视频的时代也要来了

大家好,这里是和你们聊设计的花生~ 近段时间 AI 工具发展势头越发迅猛,在为大家介绍过的 AI 模型中,DALLE·2 和 Midjourney 在文本生成图像的质量和精准度上有了大幅度优化提升,后起之秀 Stable Diffusion 则将 AI 模型的操作门槛降低到普通人都能轻松入门的高度。除了这些着力发展文本-图像(text-image)模型的科技公司,我在 8 月份也向大家概括地介绍过 Google、微软、Facebook 这些我们熟悉的互联网科技巨头在文本-图像 AI 模型上的研发成果,也同样有不凡的

Runway!AI技术+视频制作的新一代视频内容生成工具

大家好,这里是和你们聊设计的花生~ 之前和大家聊过不少 AI 图像生成工具,有的可以根据文本生成图像,有的则是将 AI 技术运用到图像处理中,让扣除背景、消除画面元素成为非常轻松快速的事情,大大提升了设计师的工作效率。既然 AI 技术在图片处理的应用上如此成熟,那如果用到视频的剪辑制作上会有什么效果呢? Runway 官网: AI 技术的快速消除图像内容 比如在视频里实现一键抠图,将人物从背景中分离出来,进行背景更换或者插入文字图层:或者在视频里实现快速修图,用画笔一抹,就能去除视频中不需要的部分:甚至在视频里也

AI短视频神器Gen-2开放测试!靠打字做短视频的时代来了?

大家好,这里是和你们一起探索 AI 的花生。 前几天知名 AI 视频处理平台 Runway 宣布开放测试旗下的 GEN-2,一款可以直接根据文本生成视频的工具,我们先看看官方放出的 2 个演示:视频来源:推特@runwayml :Gen-2 Now Available | Runway - YouTube 了解 Runway:看到视频时真的被小小的震撼了一下,因为画面的稳定度和流畅度都超乎想象。虽然目前用 AI 生成视频的方法并不少,比如之前为大家介绍的 D-ID,是通过图像来生成数字人视频;还有利用 Stable