Meta Llama 3 正式发布!如何在线体验和本地安装部署?

Meta 宣布推出下一代开源大语言模型Llama 3,标志着AI发展新里程碑。该模型分为80亿和700亿参数两个版本,被誉为”Llama 2的重大飞跃”,为大规模语言模型树立新标杆。

值得一提的是,Llama 3已与Meta AI助手深度集成,未来还将陆续在AWS、Databricks、Google Cloud等多个云平台上线,并获得AMD、Intel、NVIDIA等硬件厂商的支持,进一步扩大应用场景。

该模型的发布彰显了Meta在开源AI领域的决心和影响力。我们有理由期待,Llama 3将为自然语言处理、机器学习等AI前沿技术的发展注入新动力。

在线使用:【链接直达

不仅可以智能对话,也可以在线生成图片

图片[1]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客 图片[2]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

本地安装部署:

1.从github下载Llama 3 项目文件

点击下载】、【网盘下载

2.申请模型下载链接 (申请秒过)

点击申请

申请后会在邮件里提供一个下载链接

3.安装环境依赖

在Llama3最高级目录执行以下命令(建议在安装了python的conda环境下执行)

pip install -e .

4.下载Llama3模型,执行以下命令:

bash download.sh

 

运行命令后在终端下输入邮件里获取到下载链接,并选择你需要的模型,比如我选择8B-instruct

图片[3]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

 

如果你在下载的时候出现这个错误,那是因为你电脑上没有安装Wget命令的环境,你只需【下载wget】、或【网盘下载

下载以后把wget.exe程序放在C:\Windows\System32 目录下就可以解决!看零度视频里的演示即可

 

图片[4]-Meta Llama 3 正式发布!如何在线体验和本地安装部署?-零度博客

5. 运行示例脚本,执行以下命令:

torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir Meta-Llama-3-8B-Instruct/ \
    --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model \
    --max_seq_len 512 --max_batch_size 6

 

6.创建自己的对话脚本,在根目录下创建以下chat.py脚本

# Copyright (c) Meta Platforms, Inc. and affiliates.
# This software may be used and distributed in accordance with the terms of the Llama 3 Community License Agreement.

from typing import List, Optional

import fire

from llama import Dialog, Llama


def main(
    ckpt_dir: str,
    tokenizer_path: str,
    temperature: float = 0.6,
    top_p: float = 0.9,
    max_seq_len: int = 512,
    max_batch_size: int = 4,
    max_gen_len: Optional[int] = None,
):
    """
    Examples to run with the models finetuned for chat. Prompts correspond of chat
    turns between the user and assistant with the final one always being the user.

    An optional system prompt at the beginning to control how the model should respond
    is also supported.

    The context window of llama3 models is 8192 tokens, so `max_seq_len` needs to be <= 8192.

    `max_gen_len` is optional because finetuned models are able to stop generations naturally.
    """
    generator = Llama.build(
        ckpt_dir=ckpt_dir,
        tokenizer_path=tokenizer_path,
        max_seq_len=max_seq_len,
        max_batch_size=max_batch_size,
    )

    # Modify the dialogs list to only include user inputs
    dialogs: List[Dialog] = [
        [{"role": "user", "content": ""}],  # Initialize with an empty user input
    ]

    # Start the conversation loop
    while True:
        # Get user input
        user_input = input("You: ")
        
        # Exit loop if user inputs 'exit'
        if user_input.lower() == 'exit':
            break
        
        # Append user input to the dialogs list
        dialogs[0][0]["content"] = user_input

        # Use the generator to get model response
        result = generator.chat_completion(
            dialogs,
            max_gen_len=max_gen_len,
            temperature=temperature,
            top_p=top_p,
        )[0]

        # Print model response
        print(f"Model: {result['generation']['content']}")

if __name__ == "__main__":
    fire.Fire(main)

运行以下命令就可以开始对话:

torchrun --nproc_per_node 1 chat.py     --ckpt_dir Meta-Llama-3-8B-Instruct/     --tokenizer_path Meta-Llama-3-8B-Instruct/tokenizer.model     --max_seq_len 512 --max_batch_size 6

 

THE END
喜欢就支持一下吧
点赞2176 分享
LobeHub 智能AI聚合神器! 内置 ChatGPT、 Gemini Pro、Claude3、Mistral、LLaMA2 等大模型——可画图、可联网、可爬虫! | 零度解说-零度博客

LobeHub 智能AI聚合神器! 内置 ChatGPT、 Gemini Pro、Claude3、Mistral、LLaMA2 等大模型——可画图、可联网、可爬虫! | 零度解说

https://www.youtube.com/watch?v=6MDLVd583oI ================= LobeHub 下载部署:https://www.freedidi.com/11876.html Docker 一键安装命令:https://bbs.freedidi.com/t/topic/481
admin的头像-零度博客admin
1.4W+1527
Google 警告只剩下 3 周时间,开始删除这类(谷歌帐号)!7招保号方法务必要提前知道 | 零度解说-零度博客

Google 警告只剩下 3 周时间,开始删除这类(谷歌帐号)!7招保号方法务必要提前知道 | 零度解说

https://youtu.be/4FWDFhTB6Yk   ------------------------------------- 🔔 使用密钥登入Google账号的方法:https://www.freedidi.com/9135.html Google AI 聊天机器人「Bard」最新使用教...
admin的头像-零度博客admin
1.7W+1682
担心用户流失!Netflix 推迟打击密码共享行为-零度博客

担心用户流失!Netflix 推迟打击密码共享行为

我们不止一次注意到 Netflix 的密码共享打击是一种 愚蠢的现金抢夺,并说明了该公司不可避免地从创新颠覆者转变为 Netflix 最初颠覆的那种廉价有线电视公司。 Netflix 在过去五年中最大的创新...
admin的头像-零度博客admin
1.2W+6539
MSRT- 微软官方的 Windows 恶意软件删除工具下载-零度博客

MSRT- 微软官方的 Windows 恶意软件删除工具下载

Windows 恶意软件删除工具 (MSRT) 有助于使 Windows 计算机远离流行的恶意软件。 MSRT 发现并删除威胁并逆转这些威胁所做的更改。MSRT 通常每月发布一次,作为 Windows 更新的一部分或作为可在...
admin的头像-零度博客admin
1.6W+2251
Google 公布强悍AI视频模型,轻松视频无痕PS!完美抠视频, Generative Omnimatte-零度博客

Google 公布强悍AI视频模型,轻松视频无痕PS!完美抠视频, Generative Omnimatte

最近,Google AI 实验室:DeepMind联合马里兰大学帕克分校和魏茨曼科学研究所,共同开发了一项名为Generative Omnimatte 的视频技术。这项AI技术主要用于视频消除。 它可以将视频中不想要的元...
admin的头像-零度博客admin
1.9W+3355
OpenAI Sora 视频功能终于发布啦!正式使用入口在这里-零度博客

OpenAI Sora 视频功能终于发布啦!正式使用入口在这里

在人工智能快速发展的今天,OpenAI 再次突破技术边界,正式发布了备受期待的 Sora 视频生成功能。作为业界领先的人工智能公司,OpenAI 的这一发布无疑为创作者、企业及普通用户带来了全新的内容...
admin的头像-零度博客admin
2.9W+2808
币安遭殃!被盗7亿多美元,损失惨重!!加密货币用户该如何自救?-零度博客

币安遭殃!被盗7亿多美元,损失惨重!!加密货币用户该如何自救?

https://youtu.be/qAJUsyYmjL4   去中心化钱包 1.纸质钱包:www.bitaddress.org 2.手机钱包:【Trustwallet】【Unstoppable】 3.硬件冷钱包:【Ledger 官网】
Windows 11 重大更新:添加了记事本选项卡、iPhone 配对和 AI 功能-零度博客

Windows 11 重大更新:添加了记事本选项卡、iPhone 配对和 AI 功能

2023 年的第一个重大更新下降是 2022 年更新的应用程序和 UI 更改的组合。   更新,美国东部时间上午 11:42:我们在 Your Phone 应用程序中添加了有关 iMessage 支持的信息。 今天,微软宣...
admin的头像-零度博客admin
1.3W+6540
这7招!让你电脑速度快到起飞!!直接加载进内存读取,从此告别 Win10/11 系统卡顿、慢等问题 | 零度解说-零度博客