ChatGPT 参数规模之谜被揭开:或仅为 7B模型?

图片[1]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

近日,南加州大学的研究团队爆出一项重磅消息:他们通过一种攻击方法,成功破解了 OpenAI 最新版 ChatGPT 模型(gpt-3.5-turbo)的参数规模,结果发现其参数规模可能只有 70 亿,而非此前传闻的数百亿甚至上千亿。

图片[2]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

攻破 OpenAI 的“秘密”

南加大团队利用了一种名为“Softmax 瓶颈”的攻击方法,该方法能够从 ChatGPT 的 API 调用中获取足够多的输出样本,进而推断出模型的特征向量维度。根据已知信息,4096 或 4608 的嵌入向量维度对应约 70 亿的参数规模。

几乎所有已知的开源大模型如Llama和Mistral,嵌入向量维度4096的时候都是约7B参数规模。

其它比例的话就会造成网络过宽或过窄,已被证明对模型性能不利。

因此南加大团队指出,可以推测gpt-3.5-turbo的参数规模也在7B左右,除非是MoE架构可能不同。

图片[3]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

其实在数月前,曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为20B,在后续论文版本中又删除了这一信息。

 

图片[4]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

真相究竟如何?

这一发现与之前流传的 200 亿甚至 1750 亿参数规模的传闻相差甚远,不禁引发了人们的猜测:

  • 最初的 200 亿参数数据是否来自误传?
  • OpenAI 之后又对模型进行了压缩?
  • OpenAI 一直在刻意隐藏 ChatGPT 的真实参数规模?

无论真相如何,这都表明 OpenAI 在模型优化方面拥有着强大的技术实力。

那么,南加大团队是怎么扒出ChatGPT未公开配置的呢?

还要说到现代语言模型中普遍存在的”Softmax瓶颈”。

当Transformer网络处理完输入,会得到一个低维的特征向量,也就是Embedding。这个特征向量再经过Softmax变换,就得到了最后的概率分布输出。

图片[5]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

问题就出在Softmax这里,因为矩阵的秩最多只能等于特征向量的维度,所以大模型的输出空间事实上被限制在了一个低维的线性子空间里。

图片[6]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

这就像是无论你的衣柜里有多少件衣服,最后能穿出去的搭配,其实是有限的。这个”衣柜”的大小,就取决于你的”特征向量维度”有多大。

南加大团队抓住了这一点,他们发现,只要从API调用中获取到足够多的输出样本,就足以拼凑出这个大模型的”特征向量维度”。

有了这个特征向量维度,可以进一步推断大模型的参数规模、还原出完整的概率输出,在API悄悄更新时也能发现变化,甚至根据输出判断来自哪个大模型。

更狠的是,推测特征向量维度并不需要太多的样本。

以OpenAI的gpt-3.5-turbo为例,采集到4000多个样本就绰绰有余了,花费还不到1000美元。

攻击的意义

南加大团队认为,这种攻击方法并不能完全窃取模型参数,因此破坏性有限。同时,它也允许大模型 API 用户检测模型变更,建立信任,并促使大模型公司提供更高的透明度。

总而言之,这并非一个漏洞,而是一个促进大模型发展良性的契机。

未来展望

OpenAI 尚未对此事做出回应,未来他们会如何应对这种攻击,以及是否会公开 ChatGPT 的真实参数规模,都值得我们拭目以待。

附加信息

  • 南加大团队论文:https://arxiv.org/abs/2403.09539
  • 关于 Softmax 瓶颈: https://en.wikipedia.org/wiki/Softmax_function
  • 参考链接:https://x.com/TheXeophon/status/1768659520627097648

总结

ChatGPT 参数规模之谜被揭开,引发了业界对大模型参数规模和透明度的关注。未来,大模型的发展将更加注重安全性、可靠性和透明性。

THE END
喜欢就支持一下吧
点赞1527 分享
把 Windows 10/11 系统安装到内存上!【Primo Ramdisk】-零度博客

把 Windows 10/11 系统安装到内存上!【Primo Ramdisk】

  Primo 内存盘 强大的磁盘模拟器可创建超快 RAM 磁盘 1.超快访问、超低时延 RAM 磁盘是根据系统内存创建的。所有对 RAM 磁盘的读写请求都在内存中处理,从而以超快的速度和超低的延迟极大...
admin的头像-零度博客admin
1.4W+1527
永久免费 不流氓:12年历史的PDF软件开源 【PDF补丁丁】-零度博客

永久免费 不流氓:12年历史的PDF软件开源 【PDF补丁丁】

PDF补丁丁又回来了,作者时隔两年后重新开发这款软件,并宣布开源PDF补丁丁。最终在12月底,PDF补丁丁推出了1.0版,并开放了源码到Github,作者表示除了第三方组件之外,源码向所有人开放,希望...
admin的头像-零度博客admin
1.6W+2252
Google Voice 号码已过期!附最新解锁教程,新手也能轻松注册谷歌虚拟机手机号! | 零度解说-零度博客

Google Voice 号码已过期!附最新解锁教程,新手也能轻松注册谷歌虚拟机手机号! | 零度解说

https://youtu.be/YI0cTVV4xLc =============   本期视频所用资源链接:https://www.freedidi.com/11046.html
admin的头像-零度博客admin
1.7W+1683
10款超级好用的谷歌浏览器插件!-零度博客

10款超级好用的谷歌浏览器插件!

https://youtu.be/2sr8SkecQmY   IE Tab: https://chrome.google.com/webstore/detail/ie-tab/hehijbfgiekmjfkfjpbkbammjbdenadd?utm_source=chrome-ntp-icon The Great Suspender: https:...
Windows 11 美爆了!任务栏、开始菜单大改造,焕然一新的体验 | 零度解说-零度博客

Windows 11 美爆了!任务栏、开始菜单大改造,焕然一新的体验 | 零度解说

https://www.youtube.com/watch?v=CDmbaNdcUqQ   Windhawk 开源软件+代码下载:https://www.freedidi.com/18267.html
别错过! 黑五优惠折扣VPN推荐!速度稳定性都非常不错 2022 | 零度解说-零度博客
这10个超奇怪的网站!太解压啦,一起来放松娱乐下吧! | 零度解说-零度博客
Copilot 正式发布安卓、iOS客户端,GPT-4不登录免费玩,还内置GPT-4V、Turbo和第三方插件!| 零度解说-零度博客

Copilot 正式发布安卓、iOS客户端,GPT-4不登录免费玩,还内置GPT-4V、Turbo和第三方插件!| 零度解说

https://youtu.be/pAFTXWVjmbo ===================   下载链接:https://www.freedidi.com/11279.html
admin的头像-零度博客admin
1.3W+1527
Ashampoo® WinOptimizer 25 系统优化软件,限时免费($300-0)! 切勿错过-零度博客

Ashampoo® WinOptimizer 25 系统优化软件,限时免费($300-0)! 切勿错过

Ashampoo® WinOptimizer 25  Windows 系统优化软件,限时免费($300-0) Ashampoo系统优化软件功能十分丰富:具有垃圾清理、系统优化、安全防护、启动项管理、网络加速、进程管理、软件卸载、...
admin的头像-零度博客admin
1.4W+1527