新出的移动平台的 NPU 有人测试过吗？

[Greendays]

I 家 A 家不都出了新一代的笔记本 CPU ，不约而同都集成了 NPU 芯片，然后网上的通稿都号称能跑 stable-diffusion 大模型。现在这些笔记本也都开卖了，有人实际测试过跑大模型要怎么跑吗？

https://imgur.com/RJqXfiy

我对 NPU 的印象就是能效比较高，但是适用范围很窄，只能适配一些提前设定好的程序或算法，比方说运行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的，可能需要修改源代码，毕竟 Pytorch 都没有给 NPU 适配的版本，但是通稿里对这些都没说清楚，也没人真的跑过，所以好奇是怎么回事。

https://imgur.com/Jq09ryn

[James369]

看成了移动手机，NPU 一般对向量矩阵操作有加速作用，不清楚 PC 上是走什么软件接口

[ModerRAS]

amd 的用他专用的 pytorch 或者 onnxruntime 就行，然后需要装一下 ipu 驱动，只能跑 int8 量化的模型

[THESDZ]

https://github.com/airockchip/rknn-llm

[THESDZ]

@THESDZ #3 https://github.com/airockchip/rknn-toolkit2 这是 rk 芯片开发板的 npu 相关的工具包