LLama3.1 的申请被拒了

[cowcomic]

想着还是从 HF 上获取最好，最即时

结果申请被拒

经验：国家别写中国

[Les1ie]

Llama3.1 的信息我全部随便填的，秒过，我以为是机器人审核。我以为这是走个过场，没想到这玩意还真会拒的啊，我 Llama2 和 Llama3 我都是随便写的

[zbinlin]

从 ollama 上 pull 回来呀

[coefuqin]

@zbinlin 有资源能跑起来？

[zbinlin]

@coefuqin 没有

[cowcomic]

@Les1ie 我也以为是过场，没想到……

@zbinlin 断网环境很麻烦，发现魔搭能下

[syx0310]

申请写美国就直接秒过🤣

[coefuqin]

@zbinlin 那 pull 回来有个 der 用...FP16 起码需要 1T 显存...

[ospider]

竟然真的有人写中国，很诚实🤣

[kenvix]

@ospider #8 涉及学术的习惯署真名了，我之前也碰壁后马上开小号写 usa🤣

[rayae]

一般申请国外的产品/服务我都是填 Hongkong 的

[crackidz]

国家写中国...你是不知道美国禁运么...

[gulao]

怎么申请求教程

[GeekGao]

以后所有的境外服务注册的时候都填写新加坡就没毛病了。

[cowcomic]

@crackidz @ospider 习惯了，很多地方填真实的都可以，就掉以轻心了

@gulao https://huggingface.co/meta-llama/Meta-Llama-3.1-405B
进去直接就有填表的按钮

@GeekGao 是的，我后来用别人的号写的新加坡就过了

[fs418082760]

还是 8B 实在，405B 你是啥家庭啊？

[cctvbnm111X1]

8B 还是干不过 glm4 的 9b ，我觉得还是玩玩得 70b 合适

[afxcn]

这个至少需要什么样的机器才能跑起来？

[keakon]

@afxcn 正常的机器跑不起来，半精度 405B 需要超过 8TB 显存，100 多张 A100 80G ，大概 1 千万人民币吧。

[kenvix]

@afxcn #17 没楼上说那么恐怖，int4 量化，算上给 KV CACHE 的预留，大概 4 张 A100 80G 。大概是我们实验室全部的硬件资产...

*推理谁用半精度啊？*

@keakon 你怎么算出的 8TB ？？？

[keakon]

@kenvix 算错了，800 GB 。

[cyberscorpio]

poe 已经上新了

[yinmin]

together 、openrouter 都有 405b 了，试用了感觉一般般

[afxcn]

@keakon @kenvix 谢谢，看来我还玩不起，4 张 A100 也买不起。

我还是安心写代码好了。

[fcten]

@afxcn 租个 4 卡 A100 也就不到 30 块钱 1 小时而已，想玩玩还是可以的

[6C2S9TtFY2dsP5oM]

就你老实

[6C2S9TtFY2dsP5oM]

@gulao 本地部署 Llama 3.1： https://mp.weixin.qq.com/s?__biz=MzAwMjU3ODU5Ng==&mid=2454515265&idx=1&sn=1010fbd4f13cf790bd990b32b59ea577

[zhutianjingtu]

https://ollama.com/

今天早上刚运行 8b 的，环境 m2 pro 芯片 macbook pro ，速度很快，70b 、408b 对硬件有要求，😂

[cowcomic]

@zhutianjingtu ollama 默认的 8B 的模型好像是量化过的

@fcten 哪儿能租到 A100 啊？

@cctvbnm111X1 glm4 的 9B 咋样啊，支持 function call 或者 tool call 么？