ChatGPT 参数规模之谜被揭开:或仅为 7B模型?

图片[1]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

近日,南加州大学的研究团队爆出一项重磅消息:他们通过一种攻击方法,成功破解了 OpenAI 最新版 ChatGPT 模型(gpt-3.5-turbo)的参数规模,结果发现其参数规模可能只有 70 亿,而非此前传闻的数百亿甚至上千亿。

图片[2]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

攻破 OpenAI 的“秘密”

南加大团队利用了一种名为“Softmax 瓶颈”的攻击方法,该方法能够从 ChatGPT 的 API 调用中获取足够多的输出样本,进而推断出模型的特征向量维度。根据已知信息,4096 或 4608 的嵌入向量维度对应约 70 亿的参数规模。

几乎所有已知的开源大模型如Llama和Mistral,嵌入向量维度4096的时候都是约7B参数规模。

其它比例的话就会造成网络过宽或过窄,已被证明对模型性能不利。

因此南加大团队指出,可以推测gpt-3.5-turbo的参数规模也在7B左右,除非是MoE架构可能不同。

图片[3]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

其实在数月前,曾有微软CODEFUSION论文意外泄露当时GPT-3.5模型参数为20B,在后续论文版本中又删除了这一信息。

 

图片[4]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

真相究竟如何?

这一发现与之前流传的 200 亿甚至 1750 亿参数规模的传闻相差甚远,不禁引发了人们的猜测:

  • 最初的 200 亿参数数据是否来自误传?
  • OpenAI 之后又对模型进行了压缩?
  • OpenAI 一直在刻意隐藏 ChatGPT 的真实参数规模?

无论真相如何,这都表明 OpenAI 在模型优化方面拥有着强大的技术实力。

那么,南加大团队是怎么扒出ChatGPT未公开配置的呢?

还要说到现代语言模型中普遍存在的”Softmax瓶颈”。

当Transformer网络处理完输入,会得到一个低维的特征向量,也就是Embedding。这个特征向量再经过Softmax变换,就得到了最后的概率分布输出。

图片[5]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

问题就出在Softmax这里,因为矩阵的秩最多只能等于特征向量的维度,所以大模型的输出空间事实上被限制在了一个低维的线性子空间里。

图片[6]-ChatGPT 参数规模之谜被揭开:或仅为 7B模型?-零度博客

这就像是无论你的衣柜里有多少件衣服,最后能穿出去的搭配,其实是有限的。这个”衣柜”的大小,就取决于你的”特征向量维度”有多大。

南加大团队抓住了这一点,他们发现,只要从API调用中获取到足够多的输出样本,就足以拼凑出这个大模型的”特征向量维度”。

有了这个特征向量维度,可以进一步推断大模型的参数规模、还原出完整的概率输出,在API悄悄更新时也能发现变化,甚至根据输出判断来自哪个大模型。

更狠的是,推测特征向量维度并不需要太多的样本。

以OpenAI的gpt-3.5-turbo为例,采集到4000多个样本就绰绰有余了,花费还不到1000美元。

攻击的意义

南加大团队认为,这种攻击方法并不能完全窃取模型参数,因此破坏性有限。同时,它也允许大模型 API 用户检测模型变更,建立信任,并促使大模型公司提供更高的透明度。

总而言之,这并非一个漏洞,而是一个促进大模型发展良性的契机。

未来展望

OpenAI 尚未对此事做出回应,未来他们会如何应对这种攻击,以及是否会公开 ChatGPT 的真实参数规模,都值得我们拭目以待。

附加信息

  • 南加大团队论文:https://arxiv.org/abs/2403.09539
  • 关于 Softmax 瓶颈: https://en.wikipedia.org/wiki/Softmax_function
  • 参考链接:https://x.com/TheXeophon/status/1768659520627097648

总结

ChatGPT 参数规模之谜被揭开,引发了业界对大模型参数规模和透明度的关注。未来,大模型的发展将更加注重安全性、可靠性和透明性。

THE END
喜欢就支持一下吧
点赞1527 分享
如何应对黑客攻击?务必要知道黑客的这些攻击手段!早预防早安心!2021 | 零度解读-零度博客
零度解说的电脑背景桌面壁纸-零度博客

零度解说的电脑背景桌面壁纸

之前收到好几位网友在我的零度解说频道里问我要这个背景图 图片下载在下面了 点击下载零度桌面背景图
惨!200个比特币瞬间被盗走,损失超1000多万美金!只因一个小小的疏忽 | 零度解说-零度博客
Github上的超级良心又实用的【7款免费开源软件】,千万别错过!-零度博客

Github上的超级良心又实用的【7款免费开源软件】,千万别错过!

1、Umi-OCR:基于 PaddleOCR 的 OCR 图片转文字识别软件。完全免费、可离线使用的开源软件,支持截屏识别文字、批量导入图片、横/竖排文字,还可以自动忽略水印区域,适用于 Win10 操作系统。【...
admin的头像-零度博客admin
1.8W+1682
Windows 10 最新福利!终于支持AI助手:Copilot ,免费使用GPT4、DALL·E3等智能模型,附最新的开启教程 | 零度解说-零度博客
推荐7个非常实用的电脑工具! 提高学习、工作的效率神器!-零度博客
Windows / Mac上最强的安全代理工具!VPN 还是 DPN?科学上网该用什么软件?| 零度解说-零度博客
OpenAI 重磅推出 Operator!率先开启2025年的Agent时代,首款AI智能体正式亮相直播间 (中文字幕)| 零度解说-零度博客
显卡价格又暴跌了,最多暴降20%!-零度博客

显卡价格又暴跌了,最多暴降20%!

好消息又来了!目前来看,无论国内还是欧美,显卡行情走低是大趋势。Tom's Hardware统计了eBay商城上所有在售显卡产品的价格走势,对比当下3月中旬和2月份的情况发现,所有显卡都有不同程度的降...
admin的头像-零度博客admin
1.5W+2251