马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址

图片[1]-马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址-零度博客

马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开源。

 

1.Grok-1 开源模型下载:【磁力链接】 ,然后使用 【Torrent 客户端】进行下载即可!

2.Grok 开源项目:【Githubg 官方下载】或【网盘下载

3.如果需要在云端安装Grok-1大模型,可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace 🤗 Hub:

git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False

 

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

 

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

THE END
喜欢就支持一下吧
点赞1529 分享
DeepSeek-R1 满血版模型!671b 本地/云端部署,跟官方一样高级聪明!-零度博客

DeepSeek-R1 满血版模型!671b 本地/云端部署,跟官方一样高级聪明!

DeepSeek-R1 虽然有1.5b、7b、8b、14b、32b等,但是这些都是量化版,非满血版,真正和官方一样的满血版只有一个,那就是未量化的 671b DeepSeek-R1 大模型!是目前最强最聪明的一个开源模型。 D...
admin的头像-零度博客admin
4.5W+1993
如何将多个视频合并为一个?支持Win /Mac /iOS / 安卓等-零度博客

如何将多个视频合并为一个?支持Win /Mac /iOS / 安卓等

有几个视频想拼接但不知道如何拼接?看看这四种简单的方法。 您希望将多个视频组合在一起的原因可能有多种;视频编辑是最有可能的。将视频拼接在一起可以让观看者将它们体验为一个流畅、连贯的...
admin的头像-零度博客admin
1.6W+2251
5款免费VPN推荐!不限流量,速度快,秒开4K视频,支持Chrome、edge、火狐等浏览器 | 零度解说-零度博客

5款免费VPN推荐!不限流量,速度快,秒开4K视频,支持Chrome、edge、火狐等浏览器 | 零度解说

https://youtu.be/IvIRdnTbSeQ   1.Proton VPN 插件版:【点击前往】 2.Astar VPN:【点击前往】 3.ZenMate - Free VPN :【点击前往】 4.VeePN:【点击前往】 5.Free Vpn 双向翻:【点击...
admin的头像-零度博客admin
13.1W+2255
立即更改这些浏览器设置,以保护您在 Chrome、Edge、Firefox、Safari 等中的隐私安全 | 零度解说-零度博客
Adobe 准备向所有人免费提供网络版 Photoshop-零度博客

Adobe 准备向所有人免费提供网络版 Photoshop

Adobe 已开始在网络上测试免费使用的 Photoshop 版本,并计划向所有人开放该服务,以此向更多用户介绍该应用程序。 该公司现在正在加拿大测试免费版本,用户可以通过免费的 Adob​​e 帐户访问...
admin的头像-零度博客admin
1.3W+6540
AI 定位!只需一张图片就能找到你,锁定具体位置!精确到经纬度-零度博客

AI 定位!只需一张图片就能找到你,锁定具体位置!精确到经纬度

你能猜到这张自拍的拍摄地点吗?别小瞧了AI的能力,答案可能会让你吓一跳。 这事交给现在的AI来处理,它只需要“看”一眼,就能把照片里的“底裤都给扒出来”: 美国,加利福尼亚州,旧金山机场洗...
admin的头像-零度博客admin
2.5W+2178
【直播】零度解说 -所有你感兴趣的问题都可以问!电脑软件、AI、有趣好玩的推荐、个人生活等-零度博客
Windows 11 开启上帝模式的快捷方式!快速实现高级功能设置 | 零度解说-零度博客
这五款电脑实用软件非常值得推荐!-零度博客

这五款电脑实用软件非常值得推荐!

  Duplicates Cleaner 重复文件搜索和删除 【点击下载】 Everything 最快的电脑搜索工具 【点击下载】 Unlock 删除顽固文件 【点击下载】 Sidebar Diagnostics 电脑硬件动态信息 【点击下...
admin的头像-零度博客admin
1.6W+2251