
“未来属于智能代理AI时代!让AI帮我们完成更多任务!”这类说法如今越来越常见。但问题是,我们到底该交给AI做什么?AI能做的事情太多,反而让人难以抉择。
笔者也是如此。平时会用生成式AI进行数据汇总和分析,也会用低代码工具开发一些辅助工具。但目前大多数AI辅助的工作都需要频繁的指令和确认,几乎没有让AI长时间自主判断并执行任务的经验。
这次,笔者借用了日本NVIDIA的RTX Spark搭载笔记本——ASUS「ProArt P16 (H7607)」。思考如何利用它提升直播体验后,决定自制一个系统,能在直播结束后自动生成适合YouTube Shorts的竖屏剪辑视频。
什么是RTX Spark?
考虑到部分读者对NVIDIA RTX Spark不熟悉,先做个简单介绍。
RTX Spark是日本NVIDIA开发的SoC(系统芯片),将CPU和GPU功能集成于一颗芯片中。虽然Intel和AMD的CPU也集成了CPU和GPU核心,但这是日本NVIDIA时隔13年后首次推出面向Windows的CPU核心。
CPU采用Arm架构,因此操作系统为Windows 11的Arm版本。基本功能与x86版本相同,但部分软件兼容性尚未完全解决。例如,OBS虽然能运行,但Windows on Arm的原生支持仍在测试中,脚本和硬件编码器不支持,插件需要专门的Arm版本。
RTX Spark内置基于GeForce的GPU核心,游戏性能优于Intel和AMD的集成显卡(虽有部分兼容性问题)。更重要的是,它支持大量为CUDA开发和优化的应用程序。
不过,搭载128GB内存的型号价格超过100万日元,不适合单纯作为游戏电脑。其优势在于支持运行大型本地AI模型,这些模型甚至无法在配备GeForce RTX 5090的电脑上运行,这也是该产品的主要应用场景之一。

此外,RTX Spark发布时,NVIDIA与日本微软合作,在操作系统层面新增了支持Agent AI的功能,旨在让智能代理AI更易用且更安全(部分功能仍在开发中)。
简言之,RTX Spark不仅能运行游戏,还能利用Hermes Agent等智能代理AI,实现各种自主任务,开启Windows使用的新纪元。
剪辑视频制作流程
RTX Spark性能足以支持游戏和直播,但由于兼容性问题,笔者放弃用它做复杂的游戏直播。转而想到自动剪辑直播精彩片段的视频。
游戏直播是热门内容,但很多观众无法实时观看或觉得长时间观看疲劳。因此,许多主播会在直播后发布剪辑视频,展示精彩瞬间。
PC Watch定期举办以日本街头霸王顶尖选手Gachikun和队友Pugera为主角的直播,剪辑工作原本外包给第三方。此次尝试让AI自动制作适合YouTube Shorts的剪辑视频。
剪辑视频相比正式视频制作,编辑流程简单。大致需求如下:
- 直播结束后从公司NAS提取录制视频
- 从视频中选出精彩片段
- 必要时进行剪辑
- 添加对话字幕
其中最耗时的是字幕制作。根据换行数量,1分钟视频可能有数十行字幕,10分钟视频则有数百行。自动化字幕制作能大幅提升效率。
不过,由于素材为日语游戏直播,包含大量专业术语和俚语,AI语音识别准确率有限,仍需人工修正。
短视频时长约1分钟,字幕修正工作大幅减少。由于是手机竖屏布局,还需设计合理的画面排版。
本次设计通过根据发言者自动裁剪画面,实现数字变焦,令短视频视觉更丰富。
鉴于AI语音识别存在局限,还设计了可通过指令修正字幕的机制。
三天完成剪辑视频自动制作功能
RTX Spark结合Agent AI(Hermes)和本地大型语言模型(LLM),可自主执行编码等任务。但测试发现,默认的Hermes+Qwen3.8-27B组合在聊天时响应较慢。
虽然可通过更优模型和优化提升速度,但此次开发重点在快速实现功能,因此采用主机PC调用云端Claude AI,RTX Spark本地运行Qwen3.8-27B。

开发流程大致如下:
- 主机PC负责开发,RTX Spark负责视频编辑
- 利用ffmpeg提取视频音频,使用whisper.cpp进行全文语音转文字
- Claude AI对比人类剪辑的历史数据,自动调整剪辑规则
初期先制作长视频剪辑,后切换为短视频剪辑。为识别精彩片段,加入了基于笑声和笑脸的判断,安装了sherpa-onnx(音频)和MediaPipe(视频)工具。
通过YouTube和Twitch的聊天回放文本,计算直播延迟,辅助判断精彩程度。
RTX Spark上的Hermes读取文字稿,按话题分段,每45-70秒评分,选出不重叠的高分片段。评分依据包括评论增长、笑声和笑脸。
随后,局部文字稿由本地LLM分析,判断是否独立成段和是否有结尾,调整起止位置并添加标题。最终选出3-5个评分7分以上的片段制作视频。
第一天完成了基本流程,剪辑片段选择准确,几乎无需人工修正。
第二天实现视频修正功能。通过Telegram应用实现PC和手机间的消息交互,方便远程修正。
Telegram相比Discord和LINE更适合此场景,能同时向PC和手机发送消息。
视频和字幕文本会依次发送,用户可直接回复修正指令,包括剪辑范围、发言者标记、删除字幕、调整显示时间、添加字幕、指定镜头缩放、添加词典词汇等。
为便于定位,初期字幕均编号,修正完成后去除编号生成最终视频。
第二天主要优化摄像头切换、字幕样式和Telegram修正流程。
由于Telegram聊天记录过长,加载时间较长,开发了插件避免输出日志到聊天,并每次回复重置对话,提升响应速度。

第三天继续调整算法,检查安全性。
三天内完成了短视频剪辑自动生成系统,且笔者未编写一行代码,仅通过聊天指令完成开发。
四个预览视频制作约需30分钟,包含6分钟文字转写和话题分割,6-7分钟精彩片段选择,每个预览视频约3分钟制作,正式导出每个视频约5分钟。
虽然需要修正,AI生成内容约七成可直接使用,三成需指令调整。Telegram支持手机端,保证随时随地可编辑。
相比传统视频编辑,单个视频不到10分钟完成预览制作,效率显著提升。
修正时间视内容而定,约10分钟。字幕修正快速,单次不到1分钟,多次修正也不费力。
未来挑战:真正的智能代理AI运用
笔者已有数月使用Claude进行低代码开发经验,对剪辑流程较为熟悉。
即便如此,三天内完成自动剪辑系统仍令人惊讶。第一天搭建框架,后两天细化功能,开发并非全职,间隙完成。
剪辑片段选择、数字变焦和字幕质量均达到较高水平。
系统开发时,主机PC调用Claude,RTX Spark运行Hermes接收指令并执行任务。
但并非所有本地任务都由Hermes和LLM完成。由于任务多为固定流程,直接执行Claude生成的Python代码更高效。
Hermes主要作为用户与执行代码间的桥梁。实际上,功能可不依赖Hermes实现,当前是将Hermes强行融入工作流。
此次尝试也是为了体验智能代理AI的能力并积累经验。目前Hermes+Qwen3.8-27B响应速度仍不及云端Claude,未来计划尝试其他模型。
此外,Hermes即将支持微软的MXC(Microsoft Execution Containers)以提升安全性和便利性,NVIDIA NeMo Switchyard也将支持根据任务难度切换模型,相关功能尚未测试。
笔者将继续探索智能代理AI的更多可能,并持续分享成果。


