本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】

图片[1]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

目前在开源大模型领域,Llama3 无疑是最强的!这次Meta不仅免费公布了 8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!

1. GPT4All :  适合低配置用户,可以在CPU/GPU上跑

1、【点击下载

2、【网盘下载

 

图片[2]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

2.LMstudio ,支持下载多模型 8B/70B 等,模型选择更多!

点击下载

网盘下载

图片[3]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

 

提醒:如果你不在海外,无法在线下载模型,请通过网盘获取点击下载

 

3.Ollama,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[4]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问

图片[5]-本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种方案】-零度博客

 

THE END
喜欢就支持一下吧
点赞2178 分享
相关推荐
[SDXL] RongHua | 容华 | 国风大模型 推荐NO.1-零度博客

[SDXL] RongHua | 容华 | 国风大模型 推荐NO.1

【容华国风模型】是一个服装、道具、化妆,都经过特化的国风模型,得益于SDXL庞大的参数量,它兼容多种画风,你可以通过不同的提示词组合画出各种风格化的图像。 1.模型下载:【点击获取】,注...
admin的头像-零度博客admin
2.3W+2178
视频会议,电脑清理,BT种子下载,视频编辑,浏览器推荐!-零度博客

视频会议,电脑清理,BT种子下载,视频编辑,浏览器推荐!

  可以替换为下面的软件 Google meet : https://meet.google.com Discord : https://discord.com Microsoft Teams: https://www.microsoft.com/en-us/microsoft-365/microsoft-teams/group...
admin的头像-零度博客admin
1.6W+2251
Chrome 浏览器上7款非常神奇又超实用的插件!-零度博客
32 年后,微软决定重新命名“Microsoft Office”-零度博客

32 年后,微软决定重新命名“Microsoft Office”

微软 Office 于 1990 年首次发布,除了 Windows,它可能是普通大众最有经验的微软产品。Word、Excel、PowerPoint 和 Outlook 等单个应用程序都将继续存在,但从现在开始,这些应用程序都归入的 ...
admin的头像-零度博客admin
1.7W+2251
Windows 10 发布极限精简版!(Tiny10 x64 23H1) 支持 64 位系统和中文,只需7.8G空间-零度博客

Windows 10 发布极限精简版!(Tiny10 x64 23H1) 支持 64 位系统和中文,只需7.8G空间

昨日,开发者 NTDEV 发布了 tiny10 2303,面向那些需要具有较小磁盘占用空间和最新更新的轻量级现代 Windows 10 版本的用户   下载地址:【链接直达】 Tiny10  23H1 版 是基于相同的 Wind...
admin的头像-零度博客admin
4W+6554
7款昂贵软件的最佳免费替品!2021 | 零度解说-零度博客
Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!-零度博客

Langchain-Chatchat 部署教程!开源可免费商用,完全本地化推理的知识库增强方案!!

Langchain-Chatchat 是一个可以实现:完全本地化推理的知识库增强方案, 重点解决数据安全保护,私域化部署的企业痛点。 开源方案采用Apache License,可以免费商用,无需付费。 支持市面上主流...
admin的头像-零度博客admin
2.1W+2177
Watt Toolkit 一款能白嫖加速的软件!免费开源-零度博客

Watt Toolkit 一款能白嫖加速的软件!免费开源

Watt Toolkit 是一款能白嫖加速的软件,之前是叫做Steam++,电脑自带的微软商城就能下载。 在黑神话·悟空火爆全网,但是有些小伙伴下载了Steam发现,网络无法连接,而雷电、UU、迅游等加速器又...
admin的头像-零度博客admin
2.4W+3252
SpaceX 巨型火箭“星舰”4 号发射!完整视频,人类迈向星际移民又近了一步! | 零度解说-零度博客