Meta Llama 3 正式发布!如何在线体验和本地安装部署?

Meta 宣布推出下一代开源大语言模型Llama 3,标志着AI发展新里程碑。该模型分为80亿和700亿参数两个版本,被誉为”Llama 2的重大飞跃”,为大规模语言模型树立新标杆。

值得一提的是,Llama 3已与Meta AI助手深度集成,未来还将陆续在AWS、Databricks、Google Cloud等多个云平台上线,并获得AMD、Intel、NVIDIA等硬件厂商的支持,进一步扩大应用场景。

该模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。

在线使用:【链接直达

不仅可以智能对话,也可以在线生成图片

图片[1]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客 图片[2]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

本地安装部署:

1.从github下载Llama 3 项目文件

点击下载】、【网盘下载

2.申请模型下载链接 (申请秒过)

点击申请

申请后会在邮件里提供一个下载链接

3.安装环境依赖

在Llama3最高级目录执行以下命令(建议在安装了python的conda环境下执行)

pip install -e .

4.下载Llama3模型,执行以下命令:

bash download.sh

 

运行命令后在终端下输入邮件里获取到下载链接,并选择你需要的模型,比如我选择8B-instruct

图片[3]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

如果你在下载的时候出现这个错误,那是因为你电脑上没有安装Wget命令的环境,你只需【下载wget】、或【网盘下载

下载以后把wget.exe程序放在C:\Windows\System32 目录下就可以解决!看零度视频里的演示即可

 

图片[4]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

5. 运行示例脚本,执行以下命令:

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

 

6.创建自己的对话脚本,在根目录下创建以下chat.py脚本

# Copyright (c) Meta Platforms, Inc. and affiliates.
# This software may be used and distributed in accordance with the terms of the Llama 3 Community License Agreement.

from typing import List, Optional

import fire

from llama import Dialog, Llama


def main(
    ckpt_dir: str,
    tokenizer_path: str,
    temperature: float = 0.6,
    top_p: float = 0.9,
    max_seq_len: int = 512,
    max_batch_size: int = 4,
    max_gen_len: Optional[int] = None,
):
    """
    Examples to run with the models finetuned for chat. Prompts correspond of chat
    turns between the user and assistant with the final one always being the user.

    An optional system prompt at the beginning to control how the model should respond
    is also supported.

    The context window of llama3 models is 8192 tokens, so `max_seq_len` needs to be <= 8192.

    `max_gen_len` is optional because finetuned models are able to stop generations naturally.
    """
    generator = Llama.build(
        ckpt_dir=ckpt_dir,
        tokenizer_path=tokenizer_path,
        max_seq_len=max_seq_len,
        max_batch_size=max_batch_size,
    )

    # Modify the dialogs list to only include user inputs
    dialogs: List[Dialog] = [
        [{"role": "user", "content": ""}],  # Initialize with an empty user input
    ]

    # Start the conversation loop
    while True:
        # Get user input
        user_input = input("You: ")
        
        # Exit loop if user inputs 'exit'
        if user_input.lower() == 'exit':
            break
        
        # Append user input to the dialogs list
        dialogs[0][0]["content"] = user_input

        # Use the generator to get model response
        result = generator.chat_completion(
            dialogs,
            max_gen_len=max_gen_len,
            temperature=temperature,
            top_p=top_p,
        )[0]

        # Print model response
        print(f"Model: {result['generation']['content']}")

if __name__ == "__main__":
    fire.Fire(main)

运行以下命令就可以开始对话:

torchrun --nproc_per_node 1 chat.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6

 

THE END
喜欢就支持一下吧
点赞2176 分享
相关推荐
免费开源的U盘系统!(Tail Liux )防审查防追踪,安全又便捷!!-零度博客

免费开源的U盘系统!(Tail Liux )防审查防追踪,安全又便捷!!

  Tails 是一种便携式操作系统,可以防止监视和审查。 避免监视、审查、广告和病毒 Tails 使用 Tor 网络来保护您的在线隐私并帮助您避免审查。像应有的那样享受互联网。 您随时随地的安全...
显卡价格雪崩!现在真的值得入手吗?还是继续再等等... | 零度解说-零度博客
找回已删除或被拉黑的微信好友的10种方法-零度博客

找回已删除或被拉黑的微信好友的10种方法

一,朋友圈互动找回删除的微信好友 1,如果已删除的微信好友,曾经在自己的朋友圈给自己点过赞,甚至发表过评论,则只需要打开自己的微信,点击“发现”,“朋友圈”,再点击自己的头像进入自己...
admin的头像-零度博客admin
4.3W+2277
ChatGPT 最佳开源客户端!免费跨平台,可以媲美 Chatgpt Plus版 !【ChatBox】 | 零度解说-零度博客

ChatGPT 最佳开源客户端!免费跨平台,可以媲美 Chatgpt Plus版 !【ChatBox】 | 零度解说

https://youtu.be/aXjqsC1ennY ChatBox 开源客户端下载:https://www.freedidi.com/8875.html
admin的头像-零度博客admin
2.6W+6540
开源AI项目爆火!大叔秒变少女,GitHub狂揽7.9K星 | 零度解说-零度博客

开源AI项目爆火!大叔秒变少女,GitHub狂揽7.9K星 | 零度解说

https://youtu.be/V9cHs2k8m2k LivePortrait 下载:https://www.freedidi.com/13044.html
传播约 14 个月的恶意程序在 Mac 苹果设备上安装系统后门-零度博客

传播约 14 个月的恶意程序在 Mac 苹果设备上安装系统后门

被称为 UpdateAgent 的 Mac 恶意软件已经传播了一年多,随着其开发人员添加新的花里胡哨,它变得越来越恶毒。新增内容包括推送一个激进的第二阶段广告软件有效载荷,该有效载荷在受感染的 Mac ...
admin的头像-零度博客admin
1.5W+2251
MacOS 12.1 Beta最新版升级工具-零度博客

MacOS 12.1 Beta最新版升级工具

MacOS 12.1 Beta最新版升级工具:点击下载 macOS Monterey 更新可增强 Mac 的稳定性、性能或兼容性,建议 macOS Monterey 的所有用户都安装这些更新。
admin的头像-零度博客admin
1.5W+2251
谷歌高管称苹果正在“阻止”发短信的客户-零度博客

谷歌高管称苹果正在“阻止”发短信的客户

上周六,Android的老板弘Lockheimer指责“利用同伴的压力和欺凌的方式来销售产品的苹果”,后一个华尔街日报报道透露了美国青少年已经把苹果的iMessage成社会地位的象征是锁定Android用户了。 ...
admin的头像-零度博客admin
1.5W+2252
8个图片变现网站!你拍的图片、视频都可以拿去出售赚钱 ! 零度解说-零度博客