本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

图片[1]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑

1、【点击下载

2、【网盘下载

 

图片[2]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!

点击下载

网盘下载

图片[3]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

 

提醒:如果你不在海外,无法在线下载模型,请通过网盘获取点击下载

 

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[4]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

图片[5]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

THE END
喜欢就支持一下吧
点赞2178 分享
如何在Edge浏览器上开启ChatGPT聊天功能,让Bing拥有AI智能搜索-零度博客

如何在Edge浏览器上开启ChatGPT聊天功能,让Bing拥有AI智能搜索

  主要通过这3个步骤来实现: (1).在 Edge 浏览器中安装Web 浏览体验工具 【点击安装】 (2).更快访问新版Bing 【点击前往】把Edge设置为默认值,并在手机上安装APP (3).最后等待加入...
Claude 3 震撼发布!附最新注册使用教程!!能否全面超越GPT-4、问鼎 “最强AI” ?| 零度解说-零度博客

Claude 3 震撼发布!附最新注册使用教程!!能否全面超越GPT-4、问鼎 “最强AI” ?| 零度解说

https://www.youtube.com/watch?v=H_Hy-EWJY98 =============== 1.注册链接和注意事项:https://www.freedidi.com/11776.html 2.海外手机号接码平台:https://bittly.cc/hrGnd (注意:要选择验...
admin的头像-零度博客admin
1.4W+1527
Chrome、Edge 浏览器开启(VSR)视频超分辨率功能!-零度博客

Chrome、Edge 浏览器开启(VSR)视频超分辨率功能!

  1.Chrome浏览器开启VSR功能所需代码:(注意,代码前要添加一个空格,否则会报错) --enable-features=IntelVpSuperResolution 2.Edge浏览器需要安装金丝雀版:官方下载【简体中文版】【...
admin的头像-零度博客admin
1.6W+6539
值得推荐的5款 Chrome、Edge浏览器扩展程序!| 零度解说-零度博客

值得推荐的5款 Chrome、Edge浏览器扩展程序!| 零度解说

 1. 先安装油猴插件、再安装脚本:【油猴插件】、【open the link directly 】  2.Infinity 新标签页:【点击下载】  3.Screenshot YouTube 视频截图:【点击下载】  4.购物返现:【shopbac...
admin的头像-零度博客admin
1.7W+2250
切勿安装这五款最流氓的软件!否则有意想不到的后果-零度博客
Chrome、edge、brave等浏览器必备的插件!-零度博客

Chrome、edge、brave等浏览器必备的插件!

1.浏览器启动密码 https://chrome.google.com/webstore/detail/set-password-for-your-bro/cjmjgijhapgicbhmniemjkjeaedanank   2.Chrome Better History https://chrome.google.com/webst...
admin的头像-零度博客admin
1.7W+1091
零度推荐的7个非常实用的网站!-零度博客

零度推荐的7个非常实用的网站!

edit.photo 图片在线编辑器:【点击进入】 Userbenchmark: 【点击进入】 显卡超频参数网站:【点击进入】 AfterBurner 显卡超频软件: 【点击下载】 ExpressVP 优惠链接: 【点击获取】 最好的...
admin的头像-零度博客admin
1.6W+2251
如何设置电脑定时自动开机、 关机 、自动睡眠 、自动运行软件?-零度博客
联想笔记本 BIOS 漏洞的修复方法-零度博客

联想笔记本 BIOS 漏洞的修复方法

  联想官方驱动下载:https://newsupport.lenovo.com.cn/driveDownloads_index.html   联想笔记本 BIOS 漏洞 联想安全公告: LEN-73440 潜在影响:权限升级 影响范围:联想特定 CVE ...
admin的头像-零度博客admin
1.6W+2250