微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!

图片[1]-微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!-零度博客

Florence-2:微软全新开源视觉模型!

能够执行超过10种不同的视觉任务 包括图像字幕生成、对象检测、图像区域关联和分割等。

它不仅能描述图片的内容,还能识别图片中的物体,并指出这些物体的位置。

比如,如果你给它一张公园里的图片,它可以告诉你图片里有一个穿蓝衣服的女孩在玩耍,旁边还有一只狗。

Florence-2 系列包括 Florence-2-base 和 Florence-2-large,参数分别为 0.23 亿和 0.77 亿。尽管模型较小,但性能并不逊色。

可以运行在各种资源受限的移动端设备上。 Florence-2 采用统一的、基于提示的表示方式来处理各种视觉任务。 通过简单的文本提示,模型可以生成所需的文本形式结果,无论是图片描述、目标检测、视觉定位还是图像分割。这种方法简化了多任务处理的复杂性,提高了模型的通用性和适应性

图片[2]-微软推出最新视觉基础模型Florence-2 ,可在WebGPU的浏览器独立运行!-零度博客

 

Florence-2是Microsoft 在MIT 许可下开源的轻量级视觉语言模式。该模型在字幕、物件侦测、接地和分割等任务中展示了强大的零样本和微调功能。

尽管尺寸很小,但它所取得的结果与大许多倍的模型(如Kosmos-2)相当。该模型的优势不在于复杂的架构,而在于大规模的FLD-5B 资料集,其中包含1.26 亿张影像和54 亿个综合视觉注释。

微软推出最新视觉基础模型Florence-2 ,可在支援WebGPU的浏览器独立运行

该模型支持多种功能,可用于生成图像、识别字元、分割图像、检测物体等等。

Florence-2 比其前身更小、更精确。 Florence-2系列由两个模型组成:Florence-2-base和Florence-2-large,分别有2.3亿和7.7亿参数。此尺寸甚至允许部署在行动装置上。

尽管规模较小,但Florence-2 在所有基准测试中都取得了比Kosmos-2 更好的零样本结果,尽管Kosmos-2 拥有16 亿个参数。

Florence-2的本地化运行得益于Transformers.js和ONNX Runtime Web技术的支持。这一突破不仅提高了使用者隐私保护水平,还大大降低了使用成本,为AI视觉技术的普及应用铺平了道路。

THE END
喜欢就支持一下吧
点赞2176 分享
相关推荐
注意!一个新的恶意Chrome扩展会远程控制你的浏览器-零度博客

注意!一个新的恶意Chrome扩展会远程控制你的浏览器

最近Zimperium 的研究人员发现了一个新的名为“Cloud9”的 Chrome 浏览器僵尸网络,它使用恶意扩展来窃取在线帐户、记录击键、注入广告和恶意 JS 代码,并让受害者的浏览器参与 DDoS 攻击。 Clo...
admin的头像-零度博客admin
1.6W+2250
WordPress 曝新漏洞,超过200万个网站面临遭受网络攻击!-零度博客

WordPress 曝新漏洞,超过200万个网站面临遭受网络攻击!

在发现安全漏洞后,WordPress 紧急敦促高级自定义字段插件的用户更新至版本 6.1.6。 该问题的标识符为 CVE-2023-30777,与反映的跨站点脚本 (XSS) 案例有关,该案例可能被滥用以将任意可执行脚...
admin的头像-零度博客admin
1.3W+6539
Windows 11 预览版升级到正式版,不兼容设备照样可以安装!| 零度解说-零度博客
WSA 和 Google Play的安装包下载-零度博客

WSA 和 Google Play的安装包下载

 1、WSA 和 Google Play的安装包:【点击下载】2、备用下载方式:【点击前往】  安装教程:https://youtu.be/KOwv4PZ-UCQ
admin的头像-零度博客admin
2W+2253
新的隐匿威胁:Bitwarden 密码管理器成为网络钓鱼诈骗的目标-零度博客

新的隐匿威胁:Bitwarden 密码管理器成为网络钓鱼诈骗的目标

诈骗者以基于云的密码管理器(包括 Bitwarden)的用户为目标,进行网络钓鱼攻击。攻击方式是恶意广告。 用户报告说他们在谷歌上看到了 Bitwarden 的虚假广告,但是广告中的链接与密码管理器的网...
admin的头像-零度博客admin
1.2W+6539
最强的手机音乐播放器!离线播放无任何限制!-零度博客

最强的手机音乐播放器!离线播放无任何限制!

1.foobar2000 (最强的免费开源的音乐播放器) iso版下载:【点击下载】 安卓版:【点击下载】 官网地址:【点击下载】   2.Ever Play iso版下载:【点击下载】   3.安卓手机音乐播放...
Telegram Messenger 获得下载管理器、新附件菜单等-零度博客

Telegram Messenger 获得下载管理器、新附件菜单等

Telegram Messenger更新了其iPhone和iPad应用程序,增加了几项新功能,包括新的下载管理器、重新设计的附件菜单、支持第三方应用程序的实时流媒体等等。 Telegram 用户可以发送任何类型的文件,...
admin的头像-零度博客admin
1.6W+2251
Mistral Small 3.1 发布!堪称同重量级别中最好的AI型号!!完全开源-零度博客

Mistral Small 3.1 发布!堪称同重量级别中最好的AI型号!!完全开源

Mistral Small 3.1 已经正式发布!完全免费开源,具有更先进的文本性能、多模式理解和高达 128k 个标记的扩展上下文窗口。该模型的表现优于 Gemma 3 和 GPT-4o Mini 等同类模型,同时提供每秒 1...
admin的头像-零度博客admin
1.8W+1487
用了 N 年电脑都不知,瞬间让 U 盘速度暴增的秘籍!| 零度解说-零度博客