Windows、 Linux 平台支持类似于 apple M 系列芯片的 Unified Memory Architecture(UMA)架构吗, AI 模型跑不起来...
wwwuser · 238 天前 · 940 次点击这是一个创建于 238 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前在试着跑了下开源的大模型，发现大模型数据比较占用显存，一般消费级别的显存都很小，不会超过 16G ，但是稍微参数大些的模型数据就超过 16G 了，当加载模型数据到显存时显然是不够的，然后发现程序就完全在硬盘上推理，速度奇慢无比，如果显卡能使用内存加显存岂不是很爽，再大的模型都可以加载，而且不用跑的那么慢 有大佬比较清楚吗，可以详细说说么
5 条回复 • 2024-04-25 08:44:07 +08:00
 |
1
NoOneNoBody 237 天前  1
不要滥发分享创造这个节点，站长会处理的
一般提问就问与答就可以了 消费级就不要跑建模了，不如只用 CPU+内存 |
 |
2
handuo 237 天前 via Android
nvidia jetson agx 64GB ，但是 CPU 和 GPU 很弱，一般用于边缘计算的，勉强可以跑小型 llm
|
 |
3
minami 237 天前
|
 |
4
wwwuser OP |
 |
5
mortal 237 天前
明明有混合模式
|
Select Language