马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址

图片[1]-马斯克开源Grok-1:史上最大3140亿参数模型,权重架构全面公开,附最新下载地址-零度博客

马斯克的xAI公司正式开源了3140亿参数的大型语言模型Grok-1,包括权重和网络架构。这使Grok-1成为目前参数量最大的开源大语言模型。Grok-1采用混合专家(MoE)架构,在给定token上的激活权重为25%。xAI在2023年10月使用自定义训练堆栈从头训练了该模型,并遵守Apache 2.0许可证开源。

广告

 

1.Grok-1 开源模型下载:【磁力链接】 ,然后使用 【Torrent 客户端】进行下载即可!

2.Grok 开源项目:【Githubg 官方下载】或【网盘下载

3.如果需要在云端安装Grok-1大模型,可以通过【租赁H100 云GPU】进行云端搭建

4.当然也可以直接调用HuggingFace 🤗 Hub:

Plain text
Copy to clipboard
Open code in new window
EnlighterJS 3 Syntax Highlighter
git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
git clone https://github.com/xai-org/grok-1.git && cd grok-1 pip install huggingface_hub[hf_transfer] huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False
git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False

 

模型详情:

  • 基于大量文本数据训练,未针对任何特定任务微调
  • 3140亿参数MoE模型,激活权重25%
  • 使用旋转嵌入而非固定位置嵌入
  • Tokenizer词汇大小131,072,嵌入大小6,144
  • 64层Transformer,每层解码器层包含多头注意力块和密集块
  • 多头注意力:48头查询,8头键/值,键值大小128
  • 密集块:加宽因子8,隐藏层大小32768
  • 每个token从8个专家选择2个
  • 旋转位置嵌入大小6,144
  • 上下文长度8192 tokens,精度bf16

模型能力:

  • 在标准LM基准测试中表现超过同等计算量模型
  • HumanEval编码任务63.2%,MMLU 73%
  • 在匈牙利高中数学考试中获C级(59%)
  • 整体在推理和编码任务中表现出色

局限性:

  • 缺少独立搜索网络能力,需结合搜索工具增强
  • 可能产生幻觉,需人工审查
  • 目前无法像X平台付费版实现实时获取信息

开源意义:

  • 遵循Apache 2.0许可证,用户可自由使用修改分发
  • 体现了xAI追求透明化和社区开放的理念
  • 为进一步研究和创新提供了宝贵资源

 

总的来说,Grok-1作为一款大规模开源语言模型,在模型能力和透明度方面都具有重要意义,值得业内外人士关注和探索。当然,模型的实际应用还需要结合其他工具和人工审查,以发挥其最大潜能。

广告
THE END
喜欢就支持一下吧
点赞1529 分享
广告
相关推荐
AI绘画真的太强悍了!Stable diffusion 配合 ControlNet 骨架分析,输出的高清大图让我大吃一惊!! 附安装使用教程 | 零度解说-零度博客

AI绘画真的太强悍了!Stable diffusion 配合 ControlNet 骨架分析,输出的高清大图让我大吃一惊!! 附安装使用教程 | 零度解说

https://youtu.be/X6hPwH40jVc ======================= 本期视频里所用到的全部工具和资料:https://www.freedidi.com/8474.html
admin的头像-零度博客admin
1.3W+6539
SMSboom 短信轰炸!开源在GitHub的免费开源项目-零度博客

SMSboom 短信轰炸!开源在GitHub的免费开源项目

  SMSboom 开源项目 :【Github链接】【安装包链接】 三件事 原作者 @whalefell 為保障自身安全及規避風險,於 2022/7/6 將本倉庫移交給我.至此,本倉庫所有事務與原作者無關. 介於本項...
admin的头像-零度博客admin
2.2W+6548
华硕推出 PN64 / PN52 迷你主机:搭载 12 代酷睿、锐龙 5000H 处理器-零度博客

华硕推出 PN64 / PN52 迷你主机:搭载 12 代酷睿、锐龙 5000H 处理器

1 月 8 日消息,根据 notebookcheck 消息,华硕于 CES 2022 推出 PN64 / PN52 两款迷你主机,分别搭载英特尔、AMD 处理器。该系列迷你主机采用深灰色拉丝外壳,侧边具有镂空出风口,提供丰富的...
admin的头像-零度博客admin
1.5W+2251
ChatGPT 最强免费开源替代品! 这3款到底谁更厉害?Open Assistant、OpenChatKit、Claude  | 零度解说-零度博客
Ubuntu桌面版系统必备的5款软件的安装教程-零度博客

Ubuntu桌面版系统必备的5款软件的安装教程

  1.Chrome浏览器安装 下载Chrome的软件包 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 下载以后 我们以管理员的身份 来进行安装下 输入这个安装命...
微软终于推出新的修复工具,排除 CrowdStrike导致的蓝屏死机问题!-零度博客

微软终于推出新的修复工具,排除 CrowdStrike导致的蓝屏死机问题!

最近,全球范围内因CrowdStrike导致的大规模BSOD(蓝屏死机)事件引发热议。各地企业遭遇蓝屏问题,造成了混乱与停滞。尽管问题原因已经查明,但解决方案迟迟未能到位。如今,微软推出了新的复...
7个有趣而且实用的网站!-零度博客

7个有趣而且实用的网站!

1.纸币收藏网站:https://www.realbanknotes.com 2.文字转语音平台:https://coder.work/text2audio 3.恶作剧:https://pranx.com/windows-xp-simulator 4.谷歌地图上驾驶车辆:https://framesyn...
admin的头像-零度博客admin
1.7W+2250
显卡缺货什么时候能缓解?AMD苏妈给出了答案 !-零度博客

显卡缺货什么时候能缓解?AMD苏妈给出了答案 !

自从从2020年9月9月RTX 30显卡发布以来,缺货的问题已经困扰了玩家好几个月的时间,进入2021年之后,缺货状况更是有增无减。之所以显卡如此难买,原因是多方面的,但GPU产能跟不上肯定是最重要...
Windows 11安卓子系统WSA正式版发布! 支持超5万款App-零度博客

Windows 11安卓子系统WSA正式版发布! 支持超5万款App

近日,微软已经正式推出Windows 11 安卓子系统WSA的v1版本,将支持超过5万个App。   据微软的合作伙伴发展经理Cory Hendrixson 介绍,WSA的v1正式版将在31个国家和地区上线,支持超过5万个...
admin的头像-零度博客admin
1.6W+2250