.:. 草榴社區 » 技術討論區 » 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,
本頁主題: 本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
呼兰大侠 


級別:禁止發言 ( 8 )
發帖:2624
威望:143 點
金錢:2641 USD
貢獻:252274 點
註冊:2015-08-14

本地部署到电脑上 Llama 3.1. meta最强开源大模型。只比ChatGPT低一个等级, 可以离线使用, 也可在线使用,

废话不多说直接上干货。
1.本地电脑安装的硬件要求:​
​Windows:3060以上显卡+8G以上显存+16G内存,硬盘空间至少20G
Mac:M1或M2芯片 16G内存,20G以上硬盘空间
在开始之前,首先我们需要安装Ollama客户端,来进行本地部署Llama3.1大模型
安装llama3.1-8b,至少需要8G的显存,
ollama run llama3.1:8b
安装llama3.1-70b,至少需要大约 70-75 GB 显存,适合企业用户,
ollama run llama3.1:78b
安装llama3.1-405b,这是一个极其庞大的模型,安装和运行它在本地需要非常高的显存和硬件资源,至少需要大约 400-450 GB 显存,适合顶级大企业用户,
ollama run llama3.1:405b

下载地址 https://ollama.com/download
下面是你是什么系统 下载什么版本。
 
下载完成安装即可
 
C盘如果小 建议换个大的。
展示页面
 
 
当然看着CMD 很蛋疼, 那么可以直接安装可视化界面。
https://www.freedidi.com/11195.html

 
 
 
 
 
 
 
 
 
 


本帖为转发,转自油管大佬 零度解说, 实在不会的请看原视频
https://www.youtube.com/watch?v=nvTQI6d8Gkw&ab_channel=%E9%9B%B6%E5%BA%A6%E8%A7%A3%E8%AF%B4
最简单的还不会的话 如果设备不行的话可以用在线网页版,网址在这。
注意 除本地部署成功后 ,不需要梯子, 下载 和视频教程 都需要梯子。
https://huggingface.co/chat/



赞(52)
DMCA / ABUSE REPORT | TOP Posted: 09-27 23:09 發表評論
恐龙扛狼


級別:新手上路 ( 8 )
發帖:552
威望:56 點
金錢:4464 USD
貢獻:21 點
註冊:2023-07-16

电脑没显卡,玩不了
TOP Posted: 09-27 23:11 #1樓 引用 | 點評
梅拉蒂


級別:聖騎士 ( 11 )
發帖:1606
威望:325 點
金錢:14306 USD
貢獻:30000 點
註冊:2023-08-31

谢谢大佬分享
TOP Posted: 09-27 23:17 #2樓 引用 | 點評
jianka


級別:騎士 ( 10 )
發帖:2839
威望:476 點
金錢:4179 USD
貢獻:0 點
註冊:2012-02-11

谢谢分享
TOP Posted: 09-28 00:00 #3樓 引用 | 點評
shejizhen


級別:俠客 ( 9 )
發帖:739
威望:129 點
金錢:1874 USD
貢獻:0 點
註冊:2024-08-24

感谢分享
TOP Posted: 09-28 00:22 #4樓 引用 | 點評
风月无涯


級別:騎士 ( 10 )
發帖:3375
威望:338 點
金錢:3600 USD
貢獻:3884 點
註冊:2015-06-18

是时候上一台好电脑了。
TOP Posted: 09-28 00:30 #5樓 引用 | 點評
飞矢不动


級別:精靈王 ( 12 )
發帖:8216
威望:1007 點
金錢:8054 USD
貢獻:7629 點
註冊:2018-11-17

个人的话没有必要chatgpt4就够了 企业的话基于隐私敏感信息可以考虑本地模型
TOP Posted: 09-28 00:42 #6樓 引用 | 點評
要用中文名


級別:禁止發言 ( 8 )
發帖:2481
威望:274 點
金錢:132286 USD
貢獻:0 點
註冊:2022-04-03

这种硬件要求不是一般玩家爱好者能承受的,能玩得起苹果的vision pro也玩不起ai,这玩意儿太烧钱。关键是个人这么玩不经济,投入与产出完全不成比例,花大笔金钱看个烟花,偶尔为之可以,不会有人长期这么干的。买个chatgpt或者copilot账号才是最经济实惠的选择。


點評

    TOP Posted: 09-28 01:06 #7樓 引用 | 點評
    龙翔天下


    級別:俠客 ( 9 )
    發帖:2207
    威望:221 點
    金錢:7851 USD
    貢獻:0 點
    註冊:2021-12-27

    有多大呢?能干啥呢?能出色图和叫床换人吗?
    TOP Posted: 09-28 06:01 #8樓 引用 | 點評
    cspgxyl


    級別:精靈王 ( 12 )
    發帖:3968
    威望:643 點
    金錢:8959 USD
    貢獻:25493 點
    註冊:2011-06-06

    感谢分享
    TOP Posted: 09-28 06:44 #9樓 引用 | 點評
    詩和遠方


    級別:騎士 ( 10 )
    發帖:3406
    威望:396 點
    金錢:2774 USD
    貢獻:1654 點
    註冊:2023-12-02

    涨见识了
    TOP Posted: 09-28 07:53 #10樓 引用 | 點評
    海神的三叉戟


    級別:騎士 ( 10 )
    發帖:2534
    威望:329 點
    金錢:8588 USD
    貢獻:0 點
    註冊:2020-03-03

    谢谢分享
    TOP Posted: 09-28 08:01 #11樓 引用 | 點評
    巴黎伯伯


    級別:騎士 ( 10 )
    發帖:5108
    威望:511 點
    金錢:5457 USD
    貢獻:0 點
    註冊:2021-10-16

    感谢分享
    TOP Posted: 09-28 08:42 #12樓 引用 | 點評
    思尘


    級別:精靈王 ( 12 )
    發帖:5306
    威望:1798 點
    金錢:24301 USD
    貢獻:104 點
    註冊:2022-11-19

    感谢分享
    TOP Posted: 09-28 09:06 #13樓 引用 | 點評
    gnmlgb空心


    級別:禁止發言 ( 8 )
    發帖:760
    威望:77 點
    金錢:1583 USD
    貢獻:0 點
    註冊:2024-08-28

    谢谢分享
    TOP Posted: 09-28 11:22 #14樓 引用 | 點評
    拼搏吧学渣


    級別:禁止發言 ( 8 )
    發帖:590
    威望:60 點
    金錢:1225 USD
    貢獻:0 點
    註冊:2024-09-14

    感谢分享 1024
    TOP Posted: 09-28 14:56 #15樓 引用 | 點評
    风中的丝袜


    級別:騎士 ( 10 )
    發帖:4369
    威望:437 點
    金錢:11581 USD
    貢獻:0 點
    註冊:2023-05-11

    内容很丰富
    TOP Posted: 09-28 16:45 #16樓 引用 | 點評
    wfghefg


    級別:新手上路 ( 8 )
    發帖:255
    威望:26 點
    金錢:2659 USD
    貢獻:0 點
    註冊:2015-11-10

    感谢分享,适合企业吧
    TOP Posted: 09-28 17:15 #17樓 引用 | 點評
    点少天


    級別:新手上路 ( 8 )
    發帖:33
    威望:4 點
    金錢:35 USD
    貢獻:0 點
    註冊:2024-07-23

    1024
    TOP Posted: 09-28 17:36 #18樓 引用 | 點評
    qqq0623


    級別:精靈王 ( 12 )
    發帖:46090
    威望:4492 點
    金錢:1978174 USD
    貢獻:1137 點
    註冊:2011-06-06

    感谢分享
    TOP Posted: 09-28 17:43 #19樓 引用 | 點評
    罪恶之源


    級別:精靈王 ( 12 )
    發帖:10669
    威望:1084 點
    金錢:268922 USD
    貢獻:92650 點
    註冊:2011-06-06

    感谢分享
    ------------------------
    S

    TOP Posted: 09-28 21:08 #20樓 引用 | 點評
    静默的夜


    級別:俠客 ( 9 )
    發帖:938
    威望:197 點
    金錢:1226 USD
    貢獻:1 點
    註冊:2022-04-12

    学习了,去搞个电脑试试
    TOP Posted: 09-28 21:52 #21樓 引用 | 點評
    XD永远的神


    級別:俠客 ( 9 )
    發帖:549
    威望:115 點
    金錢:404 USD
    貢獻:130 點
    註冊:2023-06-01

    感谢分享
    TOP Posted: 09-28 22:25 #22樓 引用 | 點評
    lianfu62


    級別:騎士 ( 10 )
    發帖:1973
    威望:434 點
    金錢:2553 USD
    貢獻:0 點
    註冊:2011-06-06

    看看
    TOP Posted: 09-28 22:28 #23樓 引用 | 點評
    jieye叶


    級別:新手上路 ( 8 )
    發帖:551
    威望:56 點
    金錢:710 USD
    貢獻:0 點
    註冊:2024-09-03

    谢谢分享
    TOP Posted: 09-28 22:29 #24樓 引用 | 點評
    .:. 草榴社區 » 技術討論區

    電腦版 手機版 客戶端 DMCA
    用時 0.02(s) x2, 11-14 14:43