最新超长AI视频模型!一句话即可生成120秒视频,免费开源!

图片[1]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

近日,由Picsart AI Research团队联合发布的StreamingT2V模型可生成长达2分钟(1200帧)的高质量视频,超越了之前的Sora模型。这一开源模型不仅可以生成更长时长的视频,还能与SVD、animatediff等其他模型无缝兼容,为开源视频生成领域带来新的突破。

亮点总结:

  1. 生成时长达2分钟(1200帧),超越以往模型
  2. 视频质量优秀
  3. 与业内其他主流模型实现无缝衔接
  4. 开源免费,便于开发者使用和二次开发

图片[2]-最新超长AI视频模型!一句话即可生成120秒视频,免费开源!-零度博客

 

免费在线试玩:【点击进入】 目测在线人太多需要排队

自己本地搭建教程:

1.安装并安装 Python 3.10 and CUDA >= 11.6 环境 【Python 3.10 】、【Cuda 下载

2.克隆开源项目至本地:

git clone https://github.com/Picsart-AI-Research/StreamingT2V.git
cd StreamingT2V/

StreamingT2V 最新版打包下载:网盘下载

3.安装必备的环境:

conda create -n st2v python=3.10
conda activate st2v
pip install -r requirements.txt

4.(可选)如果您的系统上缺少 FFmpeg,请安装 FFmpeg

 

conda install conda-forge::ffmpeg

5. 从HF 下载模型权重并将它放在 t2v_enhanced/checkpoints目录下

 

6.文本转视频

cd t2v_enhanced
python inference.py --prompt="A cat running on the street"

如要使用其他基本模型,请添加--base_model=AnimateDiff参数。用于python inference.py --help更多选项

7.图片转视频

cd t2v_enhanced
python inference.py --image=../__assets__/demo/fish.jpg --base_model=SVD

推理时间

 

ModelscopeT2V作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 40秒 165秒
56帧 75秒 360秒
80帧 110秒 525秒
240帧 340秒 1610 秒(约 27 分钟)
600帧 860秒 5128 秒(约 85 分钟)
1200帧 1710 秒(约 28 分钟) 10225 秒(约 170 分钟)
AnimateDiff作为基础模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 50秒 180秒
56帧 85秒 370秒
80帧 120秒 535秒
240帧 350秒 1620 秒(约 27 分钟)
600帧 870秒 5138 秒(~85 分钟)
1200帧 1720 秒(约 28 分钟) 10235 秒(约 170 分钟)
SVD作为基本模型

 

帧数 更快预览的推理时间 (256×256) 最终结果的推理时间 (720×720)
24帧 80秒 210秒
56帧 115秒 400秒
80帧 150秒 565秒
240帧 380秒 1650 秒(约 27 分钟)
600帧 900秒 5168 秒(~86 分钟)
1200帧 1750 秒(约 29 分钟) 10265 秒(~171 分钟)

所有测量均使用 NVIDIA A100 (80 GB) GPU 进行。当帧数超过 80 时,采用随机混合。对于随机混合,chunk_size和 的值overlap_size分别设置为 112 和 32。

更多的文生视频在线使用:【点击前往】 支持多模型自由切换!

THE END
喜欢就支持一下吧
点赞2176 分享
零度解说教程电脑桌面背景图-零度博客
Windows 10 最新重大升级版!都有那些功能变化?附免费升级教程(21H1) | 零度解说-零度博客
人类史上最大最惨烈的空难,是意外还是另有隐情?-零度博客
Windows 11 开始默认不读取A:\软驱-零度博客

Windows 11 开始默认不读取A:\软驱

Windows的设备管理器,仍然是非常重要的管理PC上的硬件和驱动或排除故障的默认程序,而现在它在Windows 11上有一些小的改进。如果你的驱动程序有问题,或者计算机制造商希望你从他们的网站上安...
admin的头像-零度博客admin
1.6W+2250
帮助学生学习、做笔记和集中注意力的技巧和工具-零度博客

帮助学生学习、做笔记和集中注意力的技巧和工具

无论您是在小学还是大学,这些应用程序和服务都可以提供学习指南、正念练习等。 带着一个新的随着学年的临近,各个年龄段的学生都将在工作中寻求帮助和指导——移动应用商店和网络上有很多选择...
admin的头像-零度博客admin
1.6W+2250
Gen-2【燃爆】AI 视频革命! 一句话秒出4K高清大片! 彻底改变该领域的游戏规则 | 零度解说-零度博客

Gen-2【燃爆】AI 视频革命! 一句话秒出4K高清大片! 彻底改变该领域的游戏规则 | 零度解说

https://youtu.be/kuWCMrKk9m4?si=v_-TMGahe-ApFG3a ====================== GEN2 (Runway)官方链接:https://www.freedidi.com/10882.html https://www.freedidi.com/10882.html
admin的头像-零度博客admin
1.6W+1682
世界排名前10的BT种子资源下载站,有福利!2020 | 零度解说-零度博客

世界排名前10的BT种子资源下载站,有福利!2020 | 零度解说

[v_notice] 【更多资源】▶https://www.youtube.com/channel/UCvijahEyGtvMpmMHBu4FS2w?sub_confirmation=1[/v_notice] ------------------------------------------------ [v_error]10个BT资源...
Windows 12 这么漂亮!我第一时间升级,从XP、Vista 到 Win7/8、Win10/11 ,你最喜欢哪个版本的系统?| 零度解说-零度博客

Windows 12 这么漂亮!我第一时间升级,从XP、Vista 到 Win7/8、Win10/11 ,你最喜欢哪个版本的系统?| 零度解说

https://www.youtube.com/watch?v=PumWbGwcDIU ------------------------------------- 🔔 Windows 11 最新正版下载:https://www.freedidi.com/11106.html Windows 11 安装教程:https://www.f...
sublime text3设置文语言为中文,解决sublime text没有中文的选项-零度博客

sublime text3设置文语言为中文,解决sublime text没有中文的选项

最新有朋友反应 Sublime Text3在设置中文语言的时候,没有中文选择,这里我补充一下 如果设置Sublime Text3的显示语言为中文:   一、打开package control,输入“install package”,然后...