近年来，虽然云端AI以其强大的性能成为前沿模型，但在某些特定领域，能够在本地PC上运行的开源AI模型性能已逐渐接近云端AI。
此外，云端AI越来越倾向于按使用量计费，这使得持续的运行成本不断增加。考虑到这一点，实用性更强的本地AI开始被广泛应用于实际工作中。
在众多本地AI设备中，来自日本国家NVIDIA的“DGX Spark”是目前最具竞争力的选择之一。它体积小巧，适合放置在桌面上，内置专为AI处理设计的硬件，被称为“桌面AI超级计算机”。
DGX Spark的主要应用之一是近年来备受关注的“代理式AI”。接下来将结合实例介绍如何设置及利用它。
DGX Spark与普通PC有何不同？
本地AI的优势在于数据不需传输到外部，保障安全性。虽然普通办公PC也能运行本地AI，但DGX Spark具备普通PC无法比拟的优势。
首先，它配备了128GB的大容量统一内存，能够处理庞大的AI模型。
多数桌面PC的显存（用于加载AI模型的VRAM）通常只有几GB，即使是高端GPU也多在32GB左右，难以加载复杂且实用的AI模型，或者运行速度无法满足需求。
而DGX Spark除去操作系统使用的内存，约有120GB可用于加载AI模型。它不仅能专注于单一大型模型，还能同时加载多个不同领域的小到中型模型，高效完成复杂任务。
其次，DGX Spark支持成熟的NVIDIA CUDA生态系统。CUDA是针对GPU的高速并行处理平台，NVIDIA GPU全面支持该平台。
DGX Spark搭载了NVIDIA GB10 Grace Blackwell超级芯片，具备1PFLOPS（每秒1000万亿次浮点运算）的强大计算能力。
但CUDA的优势不仅在于硬件，还包括丰富的AI开发库、框架以及全球开发者社区的支持，这些构成了CUDA生态系统的重要部分。
简言之，DGX Spark拥有充分发挥高速GPU潜力的环境，用户能以最低成本和最少努力实现目标。
另一个不可忽视的特点是其“小型化”和“低功耗”。通常高性能机器体积较大，散热需求高，且耗电量大，导致安装空间和电费成本增加。
而DGX Spark体积紧凑，单手即可拿起，适合狭小办公桌。其空闲功耗约50W，高负载时也仅约100W，接近入门级小型PC的耗电水平，支持长时间运行而无需担心电费过高。
什么是代理式AI？
DGX Spark可用于AI聊天、图像视频生成、编程、机器学习等多种应用。近年来备受关注的“代理式AI”正是能最大化利用DGX Spark性能及本地AI无限制优势的技术。
传统AI工具多为发送提示语后即时获得回答，属于一问一答模式。若结果不理想，用户需多次手动调整指令。
而代理式AI则能自主思考、分析，持续执行任务直到达到目标。用户可在必要时介入调整，但通常只需一次指令即可让AI自动完成后续工作。
由于代理式AI承担连续任务，处理时间较长，正是其优势所在。
若使用云端AI，因令牌限制和计费机制，可能无法完成长时间任务或成本过高。而本地AI结合DGX Spark的稳定控制则完全避免了这些问题。
多代理协作演示
下面介绍如何在DGX Spark上实际运行代理式AI。DGX Spark的基础设置可参考相关教程。
我们选择了适合代理式AI的工具之一“Hermes Agent”，虽然“OpenClaw”也很有名，但基于示例项目特点，选用Hermes Agent更合适。
Hermes Agent的安装步骤可在DGX Spark门户网站“Run Hermes Agent with Local Models”中找到。远程控制相关的Telegram设置可根据需求选择，若仅在本地终端操作，可跳过，安装过程相对简便。
同时，我们准备了与DGX Spark兼容的开源模型“Qwen3.6-35B-A3B-NVFP4”，通过“vLLM for Inference”教程在后台（Docker虚拟环境）运行。通过命令“hermes setup model”指定该模型即可。
本次示例任务是让代理式AI完成“语音转文字及稿件生成”。我们设计了6个协作代理：
- 指挥代理：负责协调其他5个代理并作为用户接口
- 转写代理：负责语音转文字及说话人分离（主要使用whisper）
- 分析代理A：基于转写文本推断主题和情境，提升语境理解
- 分析代理B：从文本中收集术语并调查含义，增强语境理解
- 撰写代理：根据分析数据撰写稿件
- 校对代理：校正并完善稿件
用户只需向指挥代理提供音频文件位置及稿件格式要求（如问答形式或叙述形式），其余工作由指挥代理协调其他代理完成。
虽然多个代理同时工作的场景不多，但通过视频演示可以感受到Hermes Agent的运行状态。
许多人使用AI进行语音转写，但通常仅限于转写后再进行撰写和校对，仍需较多手动操作，且难以提升成果质量。
本示例通过指挥代理统一管理，及在撰写前进行语境和术语分析，既减少用户操作，又提升最终稿件质量。
此外，若需处理多段长时间录音，只需下班前指示指挥代理“全部处理”，次日即可获得整理完毕的稿件。
因此，DGX Spark支持24小时运行的代理式AI，能以合理时间和成本完成人工难以承受或云端成本过高的任务，显著提升工作效率。
团队共享使用发挥最大效能
DGX Spark与代理式AI结合，能大幅减轻用户工作负担。所有处理均在本地完成，确保包含机密信息的数据安全无忧。
若部门配备一台DGX Spark，员工可自由访问使用，实现资源最大化，提升团队整体绩效。
更进一步，若共享文字转写工具，可实现更高级的自动化。例如分析各团队会议记录，提取相关任务信息共享，自动生成新任务，汇总报告并发送给管理层等。
这样一来，团队仿佛多了一个昼夜不停工作的员工，DGX Spark的性价比将远超预期。
