#本地LLM

按标签聚合查看文章内容。

Qwen3.8-Flash-Next本地运行环境「Strata」更新,旧世代GeForce和Intel Arc迎来新希望AI资讯

Qwen3.8-Flash-Next本地运行环境「Strata」更新,旧世代GeForce和Intel Arc迎来新希望

2023年10月4日,面向消费者PC的本地大型语言模型(LLM)推理环境「Strata」发布了最新版本v0.1.39。该开源工具支持轻松运行本地LLM「Qwen3.8-Flash-Next」,并已在GitHub免费提供。现有用户只需运行UPDATE.bat(Linux用户运行update.sh)即可完成更新。 Strata由日本开发者Niko1221打造,支持一键安装,在Windows和Linu

日本SIGQ与ゲットワークス合作,共同打造自律型AI“Incident Lake”的本地LLM及封闭网络环境AI资讯

日本SIGQ与ゲットワークス合作,共同打造自律型AI“Incident Lake”的本地LLM及封闭网络环境

日本SIGQ株式会社与日本ゲットワークス株式会社宣布,双方开始在SIGQ的事件管理领域自律型AI“Incident Lake”项目上展开战略合作。两家公司将共同构建Incident Lake所使用的本地大型语言模型(LLM)及应用运行环境,推动其作为封闭网络环境下安全的事件管理基础设施,面向企业市场的推广。 Incident Lake是一款自律型AI,能够主动收集和分析日志,提供问题解决的最短路径

在Mac上用免费软件「Cherry Studio」一屏管理多款生成式AIAI资讯

在Mac上用免费软件「Cherry Studio」一屏管理多款生成式AI

随着ChatGPT、Claude、Gemini等生成式AI的广泛应用,用户越来越多地根据需求切换使用不同的AI服务。然而,频繁在各个网站或应用间切换操作颇为繁琐。为此,Mac用户可以尝试一款名为「Cherry Studio」的免费软件,它支持从多个云端AI到本地运行的LLM模型,统一在一个界面中管理和使用。本文将介绍Cherry Studio的安装方法及基本使用技巧。 Cherry Studio:

搭载64GB内存的Panther Lake AI专用迷你PC「EVO-T2S」:买来即可运行本地LLMAI资讯

搭载64GB内存的Panther Lake AI专用迷你PC「EVO-T2S」:买来即可运行本地LLM

近年来,采用高性能移动CPU的紧凑型迷你PC凭借媲美桌面PC的性能迅速占领市场。日本GMKtec率先搭载了英特尔最新CPU——代号为Panther Lake的「Core Ultra系列3」的高性能AI迷你PC「EVO-T2S」。 EVO-T2S搭载了采用最新Intel 18A工艺制造的Core Ultra X7 358H处理器。内置的NPU最高可达50TOPS的处理能力,结合强大的GPU,系统整

本地LLM自动生成资料软件“LM Studio Bionic”,免费AI助手发布AI资讯

本地LLM自动生成资料软件“LM Studio Bionic”,免费AI助手发布

日本国家Element Labs于7月16日(美国时间)发布了支持本地大型语言模型(LLM)的AI助手软件“LM Studio Bionic”初期预览版。用户现在可以从该公司官网免费下载适用于Mac和Windows的客户端。 LM Studio本身是一款可以与本地LLM进行对话的软件,而LM Studio Bionic则在此基础上更进一步,成为一个智能代理,能够自动创建和编辑文档、幻灯片以及PD

华硕展示超小型AI超级计算机Ascent GX10,支持校内本地LLM构建与AI应用开发AI资讯

华硕展示超小型AI超级计算机Ascent GX10,支持校内本地LLM构建与AI应用开发

2026年5月13日至15日,日本东京国际展示中心举办的教育领域展会“EDIX东京2026”正式开幕。华硕日本公司展台展出了采用NVIDIA最新架构“Blackwell”的超小型AI超级计算机“ASUS Ascent GX10”,现场演示了本地大型语言模型(LLM)的运行情况。 “ASUS Ascent GX10”基于NVIDIA DGX Spark开发,搭载了下一代芯片NVIDIA GB10

本地LLM加速:LM Studio的“MTP”功能发布稳定版AI资讯

本地LLM加速:LM Studio的“MTP”功能发布稳定版

日本国家Element Labs于5月22日发布了包含MTP Speculative Decoding稳定版的本地LLM软件最新版本「LM Studio 0.4.14(Build 4)」。目前该版本支持Qwen 3.6系列模型。 MTP(Multi-Token Prediction)Speculative Decoding是一种通过轻量级模型预测未来多个token,并由目标模型验证预测结果,从而

本地运行大型语言模型的性能检测工具介绍AI资讯

本地运行大型语言模型的性能检测工具介绍

自从ChatGPT问世以来,以大型语言模型(LLM)为核心的人工智能技术迅速普及。其中,能够在个人电脑或智能手机上本地运行LLM的“本地LLM”也逐渐受到关注。 然而,对于初学者来说,最大的难题之一是完全无法判断自己当前设备能够运行多大规模的模型,性能表现如何。 在本地运行LLM时,几乎成为事实标准的“LM Studio”软件可以自动检测电脑的硬件规格,判断现有的GPU和内存容量是否足以加载模型

西川和久不定期专栏:利用WebGPU轻松运行本地大型语言模型(LLM)AI资讯

西川和久不定期专栏:利用WebGPU轻松运行本地大型语言模型(LLM)

截至2026年,想要在本地体验大型语言模型(LLM),通常需要下载并启动如LM Studio的软件,下载模型,进行配置和运行。虽然步骤不算复杂,但对普通用户来说门槛仍然较高。大家可能更希望像使用云服务一样,只需打开网页浏览器访问一个URL,就能轻松运行本地LLM。 实现这一目标的关键技术是WebGPU。本文将介绍如何利用Web浏览器和WebGPU轻松运行本地LLM,并推荐几个可以立即体验的相关网

本地LLM加速!美国Element Labs最新LM Studio测试版支持MTPAI资讯

本地LLM加速!美国Element Labs最新LM Studio测试版支持MTP

美国Element Labs于5月20日发布了本地大型语言模型(LLM)软件“LM Studio”的最新测试版——LM Studio 0.4.14 (Build 2)。此次更新引入了MTP(多标记预测,Multi-Token Prediction)技术,实现了投机性解码,显著提升了支持该功能模型的运行速度。 新版本支持包括Qwen 3.6和Gemma 4等最新模型,特别是在并行处理时,速度提升可

LM Studio 0.4.13发布:Mac上Qwen 3.5/3.6与Gemma 4性能提升AI资讯

LM Studio 0.4.13发布:Mac上Qwen 3.5/3.6与Gemma 4性能提升

本地大型语言模型软件「LM Studio」于5月13日发布了新版本0.4.13。 在此次更新中,Mac平台上的引擎「mlx-engine」升级至版本1.8.1,针对支持视觉功能的模型如Qwen 3.5、Qwen 3.6以及Gemma 4,新增了并行预测功能,从而显著提升了性能表现。 此外,修复了聊天输入框粘贴时换行被压缩的错误,并加强了安全性。官方建议所有用户尽快更新至最新版本以获得更好的使用体