#大型语言模型

2026/06/21

In the Weights：你的新AI为中心的虚荣搜索工具

任何最近用谷歌搜索过自己的人都会发现，搜索体验已经大不如前。虽然谷歌搜索本身正在经历诸多变化，但更让人感受到的是，网络搜索已不再是获取信息的唯一权威来源，越来越多的人开始通过聊天机器人了解你我是谁。托马斯·迪姆森（Thomas Dimson）和乔伊·弗林（Joey Flynn）也有类似的感受，于是他们创建了“In the Weights”网站。这里的“weights”（权重）指的是塑造AI模型训

AI资讯

2026/05/15

西川和久不定期专栏：Gemma 4与DwarfStar 4的LLM高速化探索

2026年，开源大型语言模型（LLM）依旧层出不穷，各种高速化技术也不断涌现，AI领域持续热闹非凡。本文将介绍两项技术：利用MTP技术加速的Gemma 4，以及在日本苹果Mac M4 Max 128GB上运行的DeepSeek V4 Flash（现称DwarfStar 4）。 Gemma 4借助MTP实现推理加速今年春季，LLM领域在高速化和模型轻量化方面取得了显著进展。其中，Google发布

AI资讯

2026/06/17

理光提升日语文档中大型语言模型的阅读理解能力工作流程

理光开发了针对包含图表和复杂布局的日语文档，提升大型语言模型（LLM）阅读理解性能的工作流程，并计划将其集成到生成AI应用开发平台Dify的模板中。

AI资讯2026/03/18

xAI发布Grok4.20：推理性能大幅提升，78%非虚构率创行业新高

2026年3月12日，xAI正式推出新一代大型语言模型Grok4.20Beta，该模型在保持竞争性价格的同时，实现了极高的事实可靠性，刷新了行业记录。根据Artificial Analysis的最新评测，Grok4.20在智能指数中的推理能力得分为48分，比上一版本提升了6分。虽然在综合基准测试中仍落后于Gemini3.1Pro Preview和GPT-5.4（两者均为57分），但其在AA全知测

AI资讯

2026/04/13

西川和久不定期专栏：利用WebGPU轻松运行本地大型语言模型（LLM）

截至2026年，想要在本地体验大型语言模型（LLM），通常需要下载并启动如LM Studio的软件，下载模型，进行配置和运行。虽然步骤不算复杂，但对普通用户来说门槛仍然较高。大家可能更希望像使用云服务一样，只需打开网页浏览器访问一个URL，就能轻松运行本地LLM。实现这一目标的关键技术是WebGPU。本文将介绍如何利用Web浏览器和WebGPU轻松运行本地LLM，并推荐几个可以立即体验的相关网

AI资讯

2026/04/08

我忍不住支持小型开源AI模型开发商Arcee

Arcee是一家仅有26名员工的美国初创公司，凭借2000万美元的紧缩预算，打造了一个拥有4000亿参数的开源大型语言模型（LLM）。近日，Arcee发布了其最新的推理模型，名为Trinity Large Thinking。该公司CEO Mark McQuade向TechCrunch表示，这款模型是“非中国公司发布的最强大的开源权重模型”。正如这番话所暗示的，Arcee的目标令人支持：它希望为美

AI资讯

2026/04/16

本地运行大型语言模型的性能检测工具介绍

自从ChatGPT问世以来，以大型语言模型（LLM）为核心的人工智能技术迅速普及。其中，能够在个人电脑或智能手机上本地运行LLM的“本地LLM”也逐渐受到关注。然而，对于初学者来说，最大的难题之一是完全无法判断自己当前设备能够运行多大规模的模型，性能表现如何。在本地运行LLM时，几乎成为事实标准的“LM Studio”软件可以自动检测电脑的硬件规格，判断现有的GPU和内存容量是否足以加载模型

AI教程

2026/03/19

谷歌AI Studio完整指南

探索谷歌AI Studio，这个平台免费提供谷歌最强大的AI模型和功能，适合各种用户体验。

AI资讯

2026/03/30

日本伊藤忠科技与理光联合推出搭载理光LLM的小型AI服务器可放置于办公桌旁

日本伊藤忠科技解决方案株式会社（简称CTC）与日本理光株式会社于27日宣布，联合开发了一款结合了理光自家大型语言模型（LLM）的小型桌面AI服务器，支持在本地环境中使用生成式AI。该产品将通过日本理光日本公司开始提供。此次推出的产品基于本地AI设备“NVIDIA DGX Spark”的OEM版本，体积小巧，尺寸为150×150×50.5毫米（宽×深×高），适合放置于办公桌旁。尽管体积紧凑，但具备

AI资讯

2026/04/15

10瓦功耗驱动200亿参数大型语言模型的「Amaretti E1.S」

美国Unigen公司于4月13日（当地时间）发布了搭载其自主研发AI加速芯片「EdgeCortix SAKURA-II」的E1.S接口AI加速模块「Amaretti E1.S」。【11时52分更正】文章最初误称为M.2接口，现已更正为E1.S接口，特此致歉。 Amaretti E1.S是一款功耗仅10瓦，AI处理性能高达60TOPS的E1.S接口AI加速器。它支持最大32GB内存，凭借每瓦6T

AI资讯

2026/03/30

Ubuntu终于支持利用Ryzen AI NPU进行大型语言模型推理！

大约一年半前，在《Ubuntu日和》第58回中，笔者曾以调侃的方式介绍了如何让Ubuntu识别Ryzen AI的NPU，但当时指出其实并无实用价值。那时只是抱着“总有一天能用上”的期待介绍，然而那一天一直未曾到来。不过，最近情况终于发生了变化。支持Ryzen AI的框架FastFlowLM现已支持Linux系统，相关版本已发布。同时，AMD开发的本地LLM服务器Lemonade也正式支持Lin

AI资讯

2026/05/09

Skymizer发布能以约240W功耗推理700B大型语言模型的AI加速器

台湾Skymizer公司于4月23日发布了基于HyperThought平台打造的AI加速器芯片“HTX301”。该芯片通过6颗集成，并配备384GB内存的PCIe卡，能够以约240瓦的功耗完成700B参数规模大型语言模型（LLM）的推理计算。 HyperThought架构专为推理为核心的AI时代设计，采用了预填充（prefill）和解码（decode）工作负载分离的策略。通过解码优先的硅片设计结