微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!

图片[1]-微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!-零度博客

Florence-2:微软全新开源视觉模型!

能够执行超过10种不同的视觉任务 包括图像字幕生成、对象检测、图像区域关联和分割等。

它不仅能描述图片的内容,还能识别图片中的物体,并指出这些物体的位置。

比如,如果你给它一张公园里的图片,它可以告诉你图片里有一个穿蓝衣服的女孩在玩耍,旁边还有一只狗。

Florence-2 系列包括 Florence-2-base 和 Florence-2-large,参数分别为 0.23 亿和 0.77 亿。尽管模型较小,但性能并不逊色。

可以运行在各种资源受限的移动端设备上。 Florence-2 采用统一的、基于提示的表示方式来处理各种视觉任务。 通过简单的文本提示,模型可以生成所需的文本形式结果,无论是图片描述、目标检测、视觉定位还是图像分割。这种方法简化了多任务处理的复杂性,提高了模型的通用性和适应性

图片[2]-微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!-零度博客

 

Florence-2是Microsoft 在MIT 许可下开源的轻量级视觉语言模式。该模型在字幕、物件侦测、接地和分割等任务中展示了强大的零样本和微调功能。

尽管尺寸很小,但它所取得的结果与大许多倍的模型(如Kosmos-2)相当。该模型的优势不在于复杂的架构,而在于大规模的FLD-5B 资料集,其中包含1.26 亿张影像和54 亿个综合视觉注释。

微软推出最新视觉基础模型Florence-2 ,可在支援WebGPU的浏览器独立运行

该模型支持多种功能,可用于生成图像、识别字元、分割图像、检测物体等等。

Florence-2 比其前身更小、更精确。 Florence-2系列由两个模型组成:Florence-2-base和Florence-2-large,分别有2.3亿和7.7亿参数。此尺寸甚至允许部署在行动装置上。

尽管规模较小,但Florence-2 在所有基准测试中都取得了比Kosmos-2 更好的零样本结果,尽管Kosmos-2 拥有16 亿个参数。

Florence-2的本地化运行得益于Transformers.js和ONNX Runtime Web技术的支持。这一突破不仅提高了使用者隐私保护水平,还大大降低了使用成本,为AI视觉技术的普及应用铺平了道路。

THE END
喜欢就支持一下吧
点赞2176 分享
相关推荐
谷歌浏览器的十大安全设置,提高Chrome隐私和安全性!-零度博客
太惨了!电脑中毒,运行 10 个超级病毒后竟变这样!| 零度解说-零度博客

太惨了!电脑中毒,运行 10 个超级病毒后竟变这样!| 零度解说

https://www.youtube.com/watch?v=puGCc87jfn4 1、熊猫烧香样本分析:https://www.freedidi.com/17852.html 2、彩虹猫样本分析:https://www.freedidi.com/17856.html 3、其它演示的样本来源:h...
Windows 11 禁止虚拟机使用?强制要求TPM2.0模块, 附最新解决办法!| 零度解说-零度博客
10款超级好用的谷歌浏览器插件!-零度博客

10款超级好用的谷歌浏览器插件!

https://youtu.be/2sr8SkecQmY   IE Tab: https://chrome.google.com/webstore/detail/ie-tab/hehijbfgiekmjfkfjpbkbammjbdenadd?utm_source=chrome-ntp-icon The Great Suspender: https:...
推荐7个非常实用又超有趣的网站!学习、娱乐、办公必备-零度博客

推荐7个非常实用又超有趣的网站!学习、娱乐、办公必备

  1.Ninite.com 当你设置新 Windows 电脑的时候,必须了解的站点,在它的主页上,你会发现几十个流行的应用程序! 检查您要安装的所有文件并点击底部的下载按钮,然后 Ninite 将下载一个文...
Windows 11(24H2) 引入ReFS 文件系统!相较NTFS速度快80%-零度博客

Windows 11(24H2) 引入ReFS 文件系统!相较NTFS速度快80%

ReFS 来了!在最新的 Windows 11 2024 里,微软新增了一个重要功能,加入了ReFS(Resilient File System,弹性档案系统)来提升档案复制的速度,支援全新Block Cloning 技术,令档案复制性能大...
admin的头像-零度博客admin
21130
如何鉴别:你新买的电脑是翻新机还是二手电脑 ?PC避坑指南-零度博客
LANDrop 目前用过最最好用的跨平台传输工具!完全免费开源-零度博客

LANDrop 目前用过最最好用的跨平台传输工具!完全免费开源

LANDrop 是我目前用过最最好用的跨平台传输工具!它会自动检测同一 Wi-Fi 网络上的其他 LANDrop 设备,因此您无需手动输入 IP 地址。LANDrop 会在后台处理一切——就像一个跨平台的 AirDrop 一...
admin的头像-零度博客admin
2.9W+4488
Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!-零度博客

Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!

Langchain-Chatchat 是一个可以实现:完全本地化推理的知识库增强方案, 重点解决数据安全保护,私域化部署的企业痛点。 开源方案采用Apache License,可以免费商用,无需付费。 支持市面上主流...
admin的头像-零度博客admin
2.1W+2177