#NPU

按标签聚合查看文章内容。

Ubuntu终于支持利用Ryzen AI NPU进行大型语言模型推理!AI资讯

Ubuntu终于支持利用Ryzen AI NPU进行大型语言模型推理!

大约一年半前,在《Ubuntu日和》第58回中,笔者曾以调侃的方式介绍了如何让Ubuntu识别Ryzen AI的NPU,但当时指出其实并无实用价值。那时只是抱着“总有一天能用上”的期待介绍,然而那一天一直未曾到来。 不过,最近情况终于发生了变化。支持Ryzen AI的框架FastFlowLM现已支持Linux系统,相关版本已发布。同时,AMD开发的本地LLM服务器Lemonade也正式支持Lin