本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型

图片[1]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

安装步骤:

 

1、通过Ollama进行部署 ,支持多平台!Windows / Mac /Linux 都可以运行 【点击下载

并在 Windows 上打开 WSL  功能:

图片[2]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

2、安装Docker Desktop :【点击前往

然后本地安装webUI

(1)在CPU下运行:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

(2)支持GPU运行:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

 

安装完成通过本地地址:http://127.0.0.1:3000 进行访问,然后在里面下载安装Llama 3.2 模型

图片[3]-本地部署安装 Llama 3.2 大模型,支持1B、3B、11B、90B 模型-零度博客

Llama 3.2 11B 本地部署教程:【点击前往】 注意:11B模型 需要22G以上的显存才能运行

当然如果你不想本地部署安装,或者显卡不支持,也可以直接在线体验 !

Llama 3.2 11B在线使用:【点击前往】 支持图片识别功能

© 版权声明
THE END
喜欢就支持一下吧
点赞3255 分享
相关推荐
如何批量更新 Windows 电脑上的所有应用程序?UniGetUI 是首选!-零度博客

如何批量更新 Windows 电脑上的所有应用程序?UniGetUI 是首选!

UniGetUI 是直观、响应迅速且外观美观的用户界面,适用于 Windows 10 和 Windows 11 最常用的(命令行)包管理器,例如Winget、Scoop、Chocolatey、Pip、NPM、.NET Tool和 PowerShell Gallery...
admin的头像-零度博客黄金会员admin
2.1W+2176
谷歌正在关闭 Stadia!将退还所有 Stadia 购买 - 硬件、软件和 DLC-零度博客

谷歌正在关闭 Stadia!将退还所有 Stadia 购买 – 硬件、软件和 DLC

谷歌正在关闭 Stadia 谷歌将退还所有 Stadia 购买 - 硬件、软件和 DLC。Stadia 团队的成员将在 Google 的其他部门“推进这项工作”。 谷歌正在关闭其云游戏服务 Stadia。该服务将持续为玩家提供...
admin的头像-零度博客黄金会员admin
1.6W+2250
Google 必备的10款油猴脚本!会员福利!有了它们浏览器才算完美 | 零度解说-零度博客
磁盘占用100%?这是最彻底的解决方法,瞬间提速10倍! | 零度解说-零度博客

磁盘占用100%?这是最彻底的解决方法,瞬间提速10倍! | 零度解说

https://youtu.be/wKH-7Du6YhQ =============== 本期视频所需的工具下载:https://www.freedidi.com/10449.html
admin的头像-零度博客黄金会员admin
1.6W+1682
快速破解WiFi密码!完整教程,包教包会-零度博客
2023年 最新免费域名注册教程!支持 .com顶级域名-零度博客

2023年 最新免费域名注册教程!支持 .com顶级域名

  1.EU.org域名,永久免费!【注册链接】 2.Onamae,顶级域名首年免费,支持com/net域名 【注册链接】 3.商用域名、提供永久免费的Whois 隐私保护! 推荐 Namesio 【优惠链接】,新用户首...
admin的头像-零度博客黄金会员admin
1.4W+6540
7個超有趣的網站!休息娛樂、學習工作必備 (2022) | 零度解說-零度博客
Windows 11 升级文件资源管理器的现代 UI 设计-零度博客

Windows 11 升级文件资源管理器的现代 UI 设计

据报道,微软正在对文件资源管理器进行重大更新,该更新将深度集成 OneDrive 和 Microsoft 365 据报道,微软正在对 Windows 11 中的文件资源管理器进行重大更新,以改进其用户界面和功能。Windo...
admin的头像-零度博客黄金会员admin
1.2W+6539
Linux 5.17 AArch64 代码有 SME 准备,添加 KCSAN 支持-零度博客

Linux 5.17 AArch64 代码有 SME 准备,添加 KCSAN 支持

虽然Linux 5.17合并窗口尚未打开,但在即将到来的下一个内核周期之前,本周已经发出了一些早期的拉取请求。其中之一是 Linux 5.17 的 ARM64/AArch64 CPU 架构代码更新。 Linux 5.17 的 64 位 AR...
admin的头像-零度博客黄金会员admin
1.5W+2251