自 24 年 H2 开始,AI 视频行业以周为单位高速发展,GenLumio 是我从 24 年开始 0-1 规划 - 设计 - 开发的 AI 视频项目,旨在为大家带来每周最新鲜的 AI 视频优秀作品、产品动向。
我计划通过这个系列的文章选取新鲜产品动向、优质作品案例为大家介绍。
网站1期功能介绍
- 多维度分类:目前网站已整理出 20 种类别,包括 动漫、叙事短篇、增加元素、风格参考、主体物替换、首尾帧、对口型等,涵盖 AI 视频技术的主要应用场景。
- 涵盖多达 24 种主流 AI 视频生成产品及模型:从闭源的 Runway、Kling、Hailuo、Luma、Pika、Pixverse...到开源模型 Wan 2.1、CogVideoX、Live portrait、Animatediff 均有涵盖
- 动态更新:每周持续收录高质量作品,保持内容的前沿性。
品牌命名 & 设计理念
Gen 代表 Generative(生成式),是当前 AI 领域的核心概念之一。
Lumio 源自 Luminary(发光体)
整体寓意“生成灵感之光”,希望这一平台能够为 AI 视频创作者提供展示的平台,也方便大家了解最新的 AI 视频产品进展。
一、AI 视频模型 & 产品主要更新
1. Pika
近几个月 Pika 动作颇多,在发布了主体物参考、主体物替换、给视频中添加元素、情人节模板等多个火爆功能后,Pika 模型也进入 2.2 时代。
当前生成分辨率升级至 1080p,支持生成 10s 长视频,并成为行业内第一个支持 10s 首尾帧功能的模型。
消失近半年后, Pika 带着它的新模型和病毒式营销回来了
大家好,我是花生~ 国庆长假已经结束了,大家过得开心吗?
阅读文章 > 当视频在手机上无法加载,可前往PC查看。来自 Matt Menendez 的测评案例
目前支持 1080p 分辨率的有 Luma Ray2 和 Pika 2.2 模型;
目前支持首尾帧的产品有 Pika 2.2、Runway、Luma、Kling、Vidu。
2. Wan 2.1 最强开源模型
阿里 Wan 2.1 开源模型,支持 720p、480p 视频生成。但 Wan 模型对硬件要求极高,自行部署运行时间非常久。经过我的测试,可以说是当下最好的开源模型没有之一。非常感人的是,Wan 对于动漫平面风格的支持也很好,开源视频整体迭代较慢,期待今后有又好又快的模型出现。
这里我用 Wan 2.1 和 Luma 最新模型 Ray2 测试了几个案例做对比,可以看到 Wan 2.1 有着完全不输闭源模型的能力:视频中展示的片段几乎没有抽卡:
第二段油画花朵绽放的效果对语义理解到位,Luma 呈现的效果不佳;但第三段 Luma 准确理解慢动作镜头的指令而 Wan 没有。
阿里深夜开源万相2.1,这是AI视频领域的DeepSeek!
最近的 AI 新闻有点太密集了,肝快废了。
阅读文章 > 当视频在手机上无法加载,可前往PC查看。大家如果想体验 Wan 的话可以考虑选择一些云端 All in one 平台,可以避免自己本地部署开源模型的麻烦,生成速度也更快。这里给大家推荐一款华人团队的产品 Pollo,集成了最新的 AI 视频、图像生成工具。套餐支持梯度定价,可选择性非常高。
访问地址: https://pollo.ai?ref=yti3mjk
一个账号可以同时使用市面上 11 款热门视频模型,还是挺香的
3. Luma
Luma 在发布了惊艳的 Ray2 模型后,更新了视频匹配声音、首尾帧、循环动画、延长时间等功能。
同时推出了新型号 Ray2 Flash,比 Ray2 速度快 3 倍、价格便宜 3 倍。
Luma AI推出神器Genie!通过文本生成高精度3D模型,免费使用!
大家好,这里是和你们一起探索 AI 的花生~ 之前为大家推荐过一个 AI 神器 Meshy,可以通过文本生成一个完整的 3D 模型,今天要说的 Genie 也是一个 3D 模型生成工具,但生成的模型更精致逼真,还可以修改表面材质。
阅读文章 > 当视频在手机上无法加载,可前往PC查看。4. Pixverse
Pixverse 上线 4.0,其中一个 3D 效果的视频模板很有意思。自毒液特效、肌肉特效等爆火后,Pixverse 和 Pika 尝到了甜头,都在视频特效道路上不断尝试。
同时上周 Pixverse 宣布月活突破 1500 万,注册用户达 4000 万。
PixVerse V4正式上线!5秒出一个AI视频还自带AI音效
就在刚刚,PixVerse 的 v4 版本上线了。
阅读文章 > 当视频在手机上无法加载,可前往PC查看。5. Runway
从去年下半年开始 Runway 模型层面沉寂了比较久的时间,最近比较大的更新是增加了首帧风格化能力,通过给模型输入一张风格化图片,可以实现视频整体风格转换。
这个案例出自@Ror_Fly,初始视频通过 VEO2 I2V 生成,然后通过 Premiere 进行像素化 + FPS 降低,通过 Magnific 的结构参考图像进行了首帧风格化,最终用 Runway 实现视频风格化。
Runway Gen-3的视频转绘功能太牛了!大片制作0门槛!
大家好我是花生~ Runway 在推出 Gen-3 Alpha 视频生成模型后,还一直有一些小的更新,比如推出了新的 Turbo 模型,生成速度比原来快了 7 倍;支持尾帧控制;支持将视频延长至 40s 等,都是非常符合用户需求的优化提升。
阅读文章 > 当视频在手机上无法加载,可前往PC查看。二、最新优秀案例
1. T2V 短片 - 汗青
Veo2 是 Google 发布的 T2V 视频模型,目前在 T2V 方向上拥有独一档的效果,近期能看到越来越多使用 Veo2 T2V 完成的作品。以下作品来自国内知名博主汗青工作室
当视频在手机上无法加载,可前往PC查看。2. 数字人歌手 MV - 汗青
同样来自汗青工作室的作品,他们内测了本月将在即梦上线的 对口型模型 OmniHuman-1。该模型主要有以下特点:角度包容性高,此前的工具无法支持 90 度纯侧面;
精细还原口型细节 ,放大后连嘴周围皮肤和牙齿都清晰可见;
能够直接识别歌词并精准对口,同时情绪饱满;
支持多人同唱;
即便人物嘴部较小或存在遮挡,也能自然呈现。
当视频在手机上无法加载,可前往PC查看。3. Animate 短篇 - yachimat
最近身边很多朋友问我 Kling 是不是当前最好的视频模型,其实在动画领域 Kling 并不惊艳,即 Hailuo 发布针对动漫场景训练过的 I2V 模型后,当前 Vidu2、Luma Ray2 是很多创作者的首选。
这个视频出自我非常欣赏的 Animate 类 AI 视频博主 yachimat - AI Short Anime,以花样滑冰为背景,讲述了天才选手 suketo 与一位聋哑少女克服偏见与嫉妒、通过音乐实现心灵共鸣的故事。视频采用 Luma 最新的 Ray2 模型,在复杂运动、影子处理和头发动态表现等高难度场景上取得了突破,展示了 AI 视频模型在平面风格运动表现上的全新可能。发布后迅速吸引了 7 万浏览量。
当视频在手机上无法加载,可前往PC查看。GenLumio 还另外收录了几个使用 Ray2 模型制作的优秀 Animate 作品,感兴趣的朋友可访问网站观看: https://genlumio.framer.website/
补充了解
这期播客访谈了 Luma AI 唯一的产品经理,可以了解到在这样技术驱动的团队,产品经理的职能角色和传统互联网行业的差异: https://www.xiaoyuzhoufm.com/episode/67bbc5b105a90dfd0d62ff9f
更多案例欢迎访问我的网站: https://genlumio.framer.website/