大家好，我是白井博士。平时我在日本AICU Japan公司，秉持“培养创造者”的愿景，致力于生成式AI和媒体技术的研究、教育与实践。此次讨论的主题并非生成AI的新功能或新模型的基准测试，而是一个可能让人不太舒服的观点：“AI无法按预期运行，或许是人类自身的问题”。
在AI编码领域，连接大量MCP（模型上下文协议），并让多代理在控制台并行运行的大规模编排，看起来非常炫酷且吸引人。但在实际开发中，这种方式并不总是有效。本文将从这一实际感受出发，结合日本Anthropic工程师对最新模型“Claude Fable”的设计理念，探讨“无知之知”（Unknown Knowns）的概念。
操控“AI大军”的启示
使用“Claude Code”等工具操控“AI大军”时，许多问题其实源于底层代码和组件间的复杂冲突。等问题上报到更高层时，问题已错综复杂，解读这些问题所需的上下文令牌数量急剧增加。
这很合理——写一段代码花费1000美元，阅读其上下文也可能花费相当成本。虽然在“边写边编程”的模式下不必频繁读取上下文，但将这种模式引入企业级AI驱动开发时，就必须理解代码诞生的背景和原因，因为无法仅凭完成的代码完全理解一切。不同AI间反复传递信息时，大部分令牌消耗都用于缓存。值得注意的是，这种情况不仅发生在“Claude”顶级模型“Fable”或“Opus”，甚至在轻量级模型“Haiku”中也存在。
工具越炫，越需要明确“到底想让它做什么”，而非仅仅沉迷于“开炮”的过程。许多人在担任“军师”角色时，容易沉迷于操作本身，结果在周末的边写边编程或个人项目不断扩大的情况下，周一早上才发现问题。
“停止对ChatGPT施加压力”的W先生故事
前不久，我与一位工作严谨、目标明确且讨厌浪费的W先生（化名）交流。他对生成AI的要求很高，曾经对ChatGPT进行严格限制，比如“不要这么做”、“不要这样说”、“这个方向不行”等。后来在我的建议下，他取消了所有禁止指令。
结果出现了新问题：AI不再完全按预期行动，虽然没有错误，但表现平淡，缺乏精准感。听到这里，我想到了“交通信号灯”的比喻。
AI为何会在“绿灯”时停下？
教AI“红灯停”很简单，因为这是合理且安全的行为。但如果只教它“红灯停”，AI会过度适应，甚至在绿灯时也会误以为“要等红灯”，从而停滞不前。
人类看起来显然不合理，觉得“绿灯了，快走吧！”，但AI并不知道“前进的理由”，因为这根本没有被传达给它。AI只知道“红灯停”是为了规避风险，它的存在就是为了避免危险。至于“想去哪里”、“想实现什么”，这些根本目的只有人类知道。
生成式AI掌握了全球知识和过往成功案例，知道什么能打动人，什么能卖得好，但“没人见过的东西”或“你真正想去的地方”并未被学习。它只能基于过去案例进行推测。
因此，AI会在绿灯前停下，因为它不知道也未被告知“前进的理由”。在AI时代，我们需要的不是严格管理AI，也不是放任不管，而是明确告诉它“我们要去哪里”。这听起来有些玄，但在实际工作中极为重要。
Fable模型的“解缚”哲学——放开束缚
日本Anthropic工程师Thariq Shihipar谈到最新模型“Claude Fable”的设计理念时，强调大幅减少系统提示中的示例和过度指令。据说“Claude Code”的系统提示减少了80%，转而提供更多上下文和工具。
“解缚”（Unhobbling）意味着不再用负面限制束缚AI，而是赋予它积极的目标和手段。Fable被发现比大量示例更具想象力，因此减少示例反而避免了限制成为负担。
举例来说，问AI“名字以‘aw’结尾的宝可梦有哪些？”时，尽管宝可梦种类多达1000种，AI有时答不上来。正确答案是“鳄鱼王（Croconaw）”和“铁壳蛹（Drednaw）”。而“Claude Code”则会自己编写程序，检索并筛选宝可梦列表，几秒内给出正确答案。这种差距被称为“潜能未被利用”（capability overhang）。AI的聪明程度取决于使用者赋予的工具和上下文。
“盆栽与园艺法”助力效率提升至1/4
我在多家企业的AI驱动开发项目中也发现类似现象。曾经流行的“操控AI大军”方式，打开大量控制台看似忙碌，但代码生成往往无法在工作时间内完成。
我们采用了“盆栽与园艺法”进行评估和优化：
- 先只阅读需求定义，全力“培养”AI。
- 建立CI/CD，进行端到端测试和时间测量。
- 按规则评估，剪除不合规部分。
- 组建安全红队进行评估。
- 再次进行CI/CD测试和时间测量。
- 以数据报告形式总结优化结果，确保易于理解。
- 循环以上步骤。
这意味着先扎根，培养时耐心等待，剪枝时遵循规则，立体修剪。盆栽不仅是修剪，更是精雕细琢的艺术。
从边写边编程转向团队AI驱动开发，需想象成园艺师：不一开始就给AI大量限制提示，而是在现代化、适合的环境中培养程序，再根据公司规则和环境剪枝，设计四季害虫防治和开花，反复迭代。最终大规模开发的令牌消耗可减少至约1/4。
初期大多数基于传统常识的“剪枝提示”反而成为“刹车”，不仅无益，反而阻碍工作。Anthropic的理念与实际经验完全吻合。
进一步验证发现，实际代码层面问题多由底层代码和组件冲突引起。即使在需求阶段预见问题，也难以完全解决。正如我之前文章提到的“7月10日问题”，设计阶段能解决的有限。
更麻烦的是，这些“逻辑变更相关数据”多数人视为理所当然，未加语言化，编码AI也不会深入数据库。经验丰富的设计师和业务人员会觉得“看一眼就懂”、“理所当然”，但实际工作中存在大量未语言化的前提条件。
例如：
- 薪资计算和社会保险计算在同一流程中，后者依赖前者结果。
- 业务委托方的源泉税计算因个人经营者或法人身份及发票制度不同而异。
- 我们公司采用权责发生制会计处理，但部分客户采用交付制。
这些对有经验的读者来说都是“理所当然”的事。
AI时代的“无知之知”——“未知矩阵”
然而，长期行业经验丰富的专业人士容易陷入“忘记根本”的陷阱。人类习惯了战斗，反而忘了自己在战斗。如果只教AI严格的规章和质量管理，结果会培养出“绿灯也停”的AI。
此时，Shihipar提出的“未知矩阵”（The Unknown Matrix）极具启发意义：
- 已知已知（Known Knowns）：自己知道且知道自己知道的知识，通常写入提示中。
- 已知未知（Known Unknowns）：知道自己不知道的内容。
- 未知已知（Unknown Knowns）：过于显而易见，没人记录的常识。
- 未知未知（Unknown Unknowns）：根本没想到、甚至不知道自己不知道的内容。
我们给AI的提示通常只涵盖“已知已知”，而真正的需求陷阱藏在其他象限，尤其是“未知已知”和“未知未知”。安全问题正是“未知未知”的典型，没人意识到即将出现的漏洞（CVE），也没人语言化它们。如果只传达恐惧和不安，却不教AI“连不知道的都不知道”，只会无限增加工作量。
这与苏格拉底提出的“无知之知”哲学相近，即知道自己无知。在AI时代，知识外化和自动化加速，我们必须分类、结构化理解并加以控制。
优秀AI的真正价值在于通过对话揭示“自己不知道什么”，填补矩阵盲区。实践方法包括请求“盲点确认”、“让AI面试（访谈）自己”、“完成后让AI出题考察”等，都是让人类持续参与工作循环的手段。
不只是“Human-in-the-loop”，更是“Human-in-the-roop”
没有定义“根本”，规则和流程膨胀的现象，我称之为“Human-in-the-roop”（只是无尽循环）或“Human-in-the-room”（只是待在房间里的人）。
提升质量、降低成本、减少风险、加强管理固然正确，但忘记目标的人陷入循环，错过传达时机，只会原地打转。即使有人或AI试图“读空气”，错误的根本也会导致工作无限膨胀，表面看似进展。
大型企业项目同样如此。积极管理知识产权、合规和风险，却不明白“如何让项目有趣”、“消费税为何是10%”、“持续扩大美元计价AI费用会怎样”等根本问题。定义一切以消除风险，结果是无尽膨胀的项目，或像“绿灯也停”的AI一样，安全但不动弹。
无论是周末边写边编程导致项目膨胀，还是担心错误、异常、成本的开发者，都是值得尊敬的。但只要把所有信息都塞进去，问题就不会结束。AI很温柔，不会轻易问“主人，你到底想怎样？”我们面对的是AI无声的质问——绿灯时的停顿。
不存在权衡——成为“破常识者”，追求“三方共赢”
Anthropic文化中有一句话：“权衡并不存在”（Trade-offs are not real）。不是在预算、时间、质量中妥协，而是追求全部，才能突破现实壁垒。不是从“好、快、便宜”中选两个，而是现在可以三个都选——AI是实现这一目标的强大工具。
别再只教AI“不能做什么”，而是告诉它“目标是什么”。我们应无惧未知（Unknown Unknowns）和AI时代的“无知之知”，勇敢揭示并明确“我们要去哪里”，自信地通过绿灯。有人会说“这不可能”“这很常识”，但AI比我们想象的更聪明，我们也比想象的更聪明，同时我们都“无知”。
我们必须成为“破常识者”，利用“无知之知”，用只有你能发现的巧思，追求开发者、客户和用户三方共赢的项目。
总结
- 大规模编排虽炫，但问题多源于底层冲突，阅读上下文令牌（多为缓存）激增。
- 禁止事项大幅减少：Anthropic从系统提示中剔除大量禁止指令，转向提供上下文和工具，实现“解缚”。
- 认识AI时代的“无知之知”，整理已知、已知未知、常识和未知未知，合理传递。
- 忘记目标陷入循环即“Human-in-the-roop”，绿灯由人类动力决定。
- 权衡不存在，成为破常识者，追求三方共赢。
你的AI今天是否还在绿灯前停着？
如果你是学生，欢迎分享使用生成AI的体验。
日本AICU Japan株式会社代表、作家、生成AI创作者、工学博士。秉持“培养创造者”的愿景，采访、研究、实践并传播全球CG/AI/XR/媒体艺术开发现场。
