在日本戴尔科技的支持下，一款名为“Dell Pro Max with GB10”的小型AI工作站被放置在公司服务器室内，进行了为期一个月的试用。这款设备搭载了与NVIDIA小型AI超级计算机“DGX Spark”相同的GB10芯片，专为本地AI应用设计。

借用这台设备的初衷，坦率地说，是作为一种“保险”。公司内部目前通过API按使用量计费和订阅两种方式使用云端AI服务，费用逐月增加。云端AI服务未来价格是否会持续稳定，尚无定论。

技术部门需要确保无论外部服务如何变化，业务都能持续运行。等到云端AI涨价后再匆忙转向本地AI已经太晚，因此希望提前验证替代方案的可行性，这也是此次试用的背景。

非技术部门人员试用GB10设备的缘由

笔者是日本PC Watch编辑部副主编，既非技术部门成员，也不负责数据分析。作为访问日本戴尔科技团队的成员之一，因技术部门和数字营销部门表达了试用意愿，促成了这次近一个月的设备借用。本文基于笔者的观察和体验，记录了非AI专职人员在实际工作间隙对该设备的初步试用感受。由于涉及公司内部业务数据，具体处理细节属于机密，无法公开。

设备外观与安装体验

试用设备为Dell Pro Max with GB10，配备2TB SSD，主要规格如下：

  • CPU：NVIDIA Grace CPU（20核，16MB L2缓存）
  • GPU：NVIDIA Blackwell GPU（CUDA核心数6144）
  • 计算性能：最高1PFLOPS（FP4精度）
  • 统一内存：128GB LPDDR5x（带宽273GB/s）
  • 存储：2TB PCIe Gen 4 NVMe SSD
  • 操作系统：基于Ubuntu Linux的NVIDIA DGX OS

外观设计低调，被内部员工戏称为“小型便当盒”。体积虽小，但重量感十足，适合放置于办公室环境。安装过程非常简单，使用280W AC适配器供电，无需额外电力改造或专用机架，直接放入服务器室即可。待机功耗仅4W，运行时约50W，远低于传统企业级设备的电力需求。

初次设置时遇到小问题：设备仅配备USB Type-C接口，原有USB Type-A鼠标无法直接连接，需借助USB集线器。完成初始配置后，设备可通过SSH远程管理，无需持续连接显示器和输入设备。

非AI专职人员的本地大型语言模型（LLM）试用体验

设备运行基于Ubuntu的DGX OS，带有图形界面。对于有Linux基础的用户来说，安装过程顺利，且网络上有丰富的先行者经验分享。相比自行组装PC并搭建环境，使用该设备更为便捷。

模型部署采用了本地LLM执行工具“Ollama”，该工具支持一键下载并运行AI模型，降低了技术门槛。试用期间，工具多次更新，展现出快速发展的态势。128GB统一内存和2TB存储空间允许同时安装17款不同模型，其中包括参数规模达1200亿的超大型模型，这在同类小型设备中极为罕见。

模型选择参考了相关报道，随着新模型不断涌现，挑选过程也成为一大乐趣。虽然无法运行超过128GB内存限制的超大型模型，但已有的容量足以支持多样化尝试。

试用中还模拟了两种接近实际业务的工作流程：一是用本地LLM替代云端AI进行文章校对；二是利用AI应用开发工具“Dify”构建基于自然语言查询的Web访问日志聊天机器人。两者均成功实现基本功能。

Dify的优势在于无需编程即可构建工作流程，生成的聊天机器人通过URL分享即可在内部推广，适合不熟悉分析工具或SQL的部门使用。试用期间，云端AI版本和本地LLM版本并行运行，便于对比响应效果。

不过，实际应用中仍需调优以达到理想的准确度和响应质量。部分模型为压缩版，未经细致配置直接比较并不公平。此次试用未能充分投入时间进行深度调优，是一大遗憾。

GB10设备适合“放置运行”的任务类型

经过一个月试用，最重要的收获是明确了该设备的适用场景。技术人员认为，GB10搭载机最适合“可以放置运行，允许耗时较长”的任务。例如，夜间批量处理大量标准化任务，或自动爬取网站信息进行数据收集，这些是人工难以高效完成的工作。

理想的使用模式是夜间启动处理，次日早晨获取结果。与即时响应的聊天窗口类应用需求相反。

以文章校对为例，云端AI处理时间通常为1至3分钟，若本地LLM稍慢但可同时进行其他工作，用户仍能接受。

反之，面对随机到来的请求即时响应则不适合。多用户同时使用时，处理速度会因人数增加而下降，导致等待时间延长。这与LLM响应生成受内存读取速度限制的普遍特性相符。监控数据显示，GPU使用率虽高达95%，但功耗仅约50W。

值得一提的是，虽然多用户共享会降低速度，但所有用户的响应速度均等，无人会被单独延迟。对于小团队共享使用，这一特性颇具优势。

需要强调的是，设备性能受软件优化影响较大，以上结论基于当前试用范围。技术人员期待未来推出性能提升约三倍的后续产品。

试用总结与未来展望

本地AI的另一大优势是模型版本可固定，避免云端AI频繁升级带来的指令调整负担。企业可稳定使用同一模型数年，提升业务系统稳定性。

此外，数据无需传输至外部服务器，降低了处理机密数据的心理和合规障碍。云端AI即使承诺不用于训练，也需上传数据，存在一定风险。

成本方面，使用本地设备后仅需支付电费，且功耗低，经济性较好。具体业务中如何权衡投入产出，仍需进一步评估。

此次试用仅限于GB10芯片、128GB内存和2TB存储的配置，未与其他设备做对比，尚无法全面评价是否适合大规模推广。

不过，回到最初的出发点，试用成果已足够宝贵：提前验证了云端AI替代方案的可行性，确认了内部数据处理的安全性，并提升了团队的技术能力。

未来计划借用配备高端GPU“日本NVIDIA RTX PRO 6000”的设备，进一步体验不同硬件带来的性能差异。关于本地AI设备的“安置”与应用探索，才刚刚开始。