DeepSeek 重磅推出 NSA 功能!处理长文本、编写长篇故事更强

就在马斯克发布Grok 3大模型后当天,DeepSeek 就重磅推出 NSA 功能!这是长文本建模的突破性进展,在处理长序列文本起到非常关键的作用,处理长文本、编写长篇故事更强!消息发布后就迎来大量的围观。 

2fcaf88ace20250220003105

 

近年来,语言模型被要求处理越来越长的上下文。这种需求暴露了标准注意力机制中的一些固有问题。全注意力的二次复杂度在处理长序列时很快成为瓶颈。内存使用量和计算需求迅速增加,使得多轮对话或复杂推理任务等实际应用面临挑战。此外,虽然稀疏注意力方法有望带来理论上的改进,但它们往往难以将这些好处转化为现实世界的加速。

许多挑战源于理论效率与实际实施之间的脱节。在不丢失重要信息的情况下减少计算开销并非易事。这促使研究人员重新思考注意力机制,以便更好地平衡性能和效率。解决这些问题是构建可扩展且有效的模型的关键一步。

DeepSeek AI 研究人员推出了 NSA,这是一种与硬件一致且可本地训练的稀疏注意力机制,用于超快速长上下文训练和推理。NSA 集成了算法创新和与硬件一致的优化,以降低处理长序列的计算成本。NSA 使用动态分层方法。它首先将标记组压缩为汇总表示。然后,它通过计算重要性分数有选择地仅保留最相关的标记。此外,滑动窗口分支可确保保留本地上下文。这种三管齐下的策略(压缩、选择和滑动窗口)创建了一种浓缩表示,同时仍可捕获全局和本地依赖关系。

NSA 的设计也考虑到了硬件限制。通过实施针对现代 GPU 优化的专用内核,NSA 实现了推理和训练的延迟降低。这种算法策略和硬件协调的精心融合使 NSA 成为改进长上下文建模的有希望的候选方案。

图片[2]-DeepSeek 重磅推出 NSA 功能!处理长文本、编写长篇故事更强-零度博客

技术细节和优势

NSA 的架构基于两个主要支柱:硬件感知设计和易于训练的算法。压缩机制使用可学习的多层感知器将顺序标记聚合为块级表示。这可以捕获高级模式,同时减少对全分辨率处理的需求。

压缩后,标记选择模块以块方式运行。它选择具有相似注意力分数的连续标记块,这有助于最大限度地减少随机内存访问。滑动窗口组件负责处理本地上下文。通过分离本地和全局信息,NSA 设法保留了许多任务所必需的细节。在硬件方面,NSA 优化了 GPU 资源的使用。查询以组为单位加载到 SRAM 中,并通过有效共享内存来最大限度地减少冗余键值传输。这些优化可显著提高前向和后向计算的速度。实验结果表明,对于长序列,前向传播速度提高了 9 倍,后向传播速度提高了 6 倍。

NSA 的核心组件:

  • 动态分层稀疏策略
  • 粗粒度标记压缩
  • 细粒度的 token 选择
图片[3]-DeepSeek 重磅推出 NSA 功能!处理长文本、编写长篇故事更强-零度博客

结果和见解

该研究对 NSA 在各种任务中的性能进行了仔细评估。在 MMLU、GSM8K 和 DROP 等基准测试中,NSA 的性能可与传统的全注意力模型相媲美,甚至更好。该设计在长上下文场景中也证明是有效的,在这些场景中,保持全局意识和局部精度至关重要。

一个有趣的观察结果是,NSA 在长达 64k 个标记的序列的“大海捞针”任务中具有很高的检索准确率。这在很大程度上归功于其分层设计,该设计将粗略的全局扫描与详细的局部选择相结合。结果还表明,由于 NSA 的内存访问占用空间减少,其解码速度可以随着序列长度的增加而很好地扩展。这些见解表明,NSA 的平衡方法(结合压缩、选择和滑动窗口处理)提供了一种在不牺牲准确性的情况下有效处理长序列的实用方法。

图片[4]-DeepSeek 重磅推出 NSA 功能!处理长文本、编写长篇故事更强-零度博客

结论

NSA 标志着稀疏注意力机制设计向前迈出了深思熟虑的一步。通过将可训练性与硬件优化相结合,NSA 解决了计算效率和有效的长上下文建模的双重挑战。它的三层方法包括标记压缩、选择性注意和滑动窗口处理,可在保留重要上下文的同时减少计算开销。

THE END
喜欢就支持一下吧
点赞2631 分享
相关推荐
WinRAR 爆高危漏洞!危害极大,这是最佳的解决方法!!请尽快修复你的压缩软件 | 零度解说-零度博客
Wan2.1 本地部署!最强文生视频 & 图生视频,完全免费开源,一键生成高质量影片! | 零度解说-零度博客

Wan2.1 本地部署!最强文生视频 & 图生视频,完全免费开源,一键生成高质量影片! | 零度解说

https://www.youtube.com/watch?v=gsu31MjWB9w   Wan 2.1 视频生成模型本地部署工具包下载:https://www.freedidi.com/18705.html  
在向中国“羞辱性道歉”后,英特尔的资金受到马可卢比奥的威胁-零度博客

在向中国“羞辱性道歉”后,英特尔的资金受到马可卢比奥的威胁

美国参议员马可·卢比奥 (R-FL) 在芯片制造商英特尔向中国做出了卢比奥所说的“羞辱性道歉”后,威胁要向政府提供资金。 英特尔去年 12 月向其中国合作伙伴和中国公众道歉,此前它在给供应商的...
admin的头像-零度博客admin
1.5W+2251
ChatGPT 免费随便用!无需注册、登入,OpenAI 终于开放这个功能 | 零度解说-零度博客

ChatGPT 免费随便用!无需注册、登入,OpenAI 终于开放这个功能 | 零度解说

https://youtu.be/X2xt6kw7J24 ============== ChatGPT 免登入使用入口:https://www.freedidi.com/11958.html 零度交流社区:https://bbs.freedidi.com
Llama 3 大模型最简单的下载方法!实现本地可视化部署-零度博客

Llama 3 大模型最简单的下载方法!实现本地可视化部署

Llama 3 模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。 在线使用:【链接直达】 不仅可以智能对话,也可...
admin的头像-零度博客admin
2.1W+2177
赶紧下载!8款“限时免费”的软件,得到即赚到!!帮你省下好几百刀... | 零度解说-零度博客

赶紧下载!8款“限时免费”的软件,得到即赚到!!帮你省下好几百刀… | 零度解说

https://youtu.be/HtfEiX9ACjs =================== 限时免费软件获取:https://www.freedidi.com/10913.html
admin的头像-零度博客admin
1.7W+1683
微软鼠标无边际操作程序下载【Microsoft Garage Mouse without Borders】-零度博客

微软鼠标无边际操作程序下载【Microsoft Garage Mouse without Borders】

Mouse without Borders, 由微软官方开放! 它允许您通过单个鼠标和键盘控制多达四台计算机,从而使您成为计算机舰队的船长。 这意味着使用无边界鼠标,您可以在计算机之间复制文本或拖放文件。 ...
admin的头像-零度博客admin
2.6W+2251
重大更新!Windows 11 正式发布“Moment 4” !新增多种实用功能,Copilot正式内置系统中,附免费升级教程 | 零度解说-零度博客

重大更新!Windows 11 正式发布“Moment 4” !新增多种实用功能,Copilot正式内置系统中,附免费升级教程 | 零度解说

https://youtu.be/vX51savENcs ================== Windows 11 最新版安装助手:点击【官方下载】 【繁体中文版】 【英文版】
Redditor 收购具有 262TB 存储容量的退役 Netflix 缓存服务器-零度博客

Redditor 收购具有 262TB 存储容量的退役 Netflix 缓存服务器

  据Vice报道,一位名为 PoisonWaffe3 的 Reddit 用户最近购买了一台 2013 年的 Netflix 缓存服务器,该服务器已从服务中撤出并被清除以待处置,这标志着公众能够看到神秘硬件的难得机会。...
admin的头像-零度博客admin
1.6W+2250