freee株式会社是一家为法人和个体经营者提供SaaS型后台办公系统的公司。2023年8月7日,该公司在线举办了题为“AI时代的安全性”媒体学习会。freee的执行役员兼安全副总裁多田正介绍了公司在AI时代面临的安全挑战及其产品安全战略和实践方法。

freee安全策略

用AI提前防御AI驱动的攻击

所谓“AI时代的安全”,正如新闻中所报道的,指的是利用如日本Claude Mythos等先进的网络安全AI模型加速发现系统漏洞,从而带来被恶意利用的风险。虽然Claude Mythos的使用受限且模型未公开,但类似性能的开源AI模型如Kimi K3已公开发布。

多田指出,攻击者若掌握这些AI工具,像freee这样的SaaS企业将面临越来越多的AI驱动高级网络攻击。实际上,freee的服务遭受的攻击数量和攻击复杂度都在上升。

攻击趋势

多田总结了freee在保护安全时面临的四大挑战:

  1. freee采用多产品战略,提供包括freee会计、freee人事劳务、freee福利厚生等30多个产品。产品越多,攻击面越广,安全防护难度增加。
  2. 随着产品和用户数量增加,freee收集了大量敏感信息,如会计数据、员工薪资、个人号码、个人信息及健康数据,保护责任重大。
  3. 除公开产品外,攻击面还扩展到AI生成代码的漏洞、非专业开发者对AI的误用以及AI驱动的高级钓鱼邮件等新型威胁。
  4. AI加速开发带来新问题。AI编码代理使开发速度提升2-3倍,导致传统人工漏洞诊断成为瓶颈,同时AI漏洞诊断成本也随之增加。

安全挑战 安全挑战

不过,多田认为AI的进步也让防御方更具优势。过去只要防御方有一处漏洞就会被攻破,防御处于劣势。但防御方能利用AI结合源代码、配置和设计文档等详细信息,提前发现并修补漏洞,从而实现“用AI提前防御攻击者”。这正是freee产品安全的核心战略。

防御策略

利用AI加速设计和发布阶段的漏洞审查,优化AI成本

多田介绍了freee实践该战略的具体措施,这些措施已实施超过两年,并已融入开发流程。

针对AI开发带来的漏洞诊断量激增问题,freee开发了基于AI的快速漏洞诊断机制。过去开发完成后,开发者需向安全团队申请漏洞诊断,流程繁琐耗时。现在,开发者可直接指示AI进行诊断并修复,极大缩短了开发周期。

流程优化

多田介绍了两款关键AI工具:

  • 设计文档审查AI“班酱”(意为“安全守护者”),基于设计文档指出潜在问题,结合公司规则和历史实现给出建议。它通过Slack与开发者和安全团队互动,表现得像团队成员而非普通聊天机器人。

  • 漏洞诊断AI“击酱”(意为“在被攻击前先击打攻击者”),针对新发布产品的源代码进行漏洞扫描,提供修复建议和风险评估。该工具已运行一年多,领先于市场上多数同类产品。

AI工具

多田强调,拥有能够开发AI工具的安全工程师团队,是freee快速推进这些措施的关键。

关于AI漏洞诊断成本,多田以Mozilla Firefox的“Project Glasswing”为例,指出持续漏洞诊断不可或缺,但使用高成本的前沿模型不现实。freee通过设定漏洞发现基准,选择成本效益最高的模型用于持续诊断,确保安全可持续。

成本优化

此外,freee在多个开发流程中引入AI安全措施,避免安全成为开发瓶颈。

流程安全

这些举措不仅降低了人力和AI成本,多田指出,虽然安全团队人数未减少,但AI帮助团队以现有人力应对新增的安全风险,实现了效率提升。

建立AI安全防护规则,组织调整与应急演练

多田还介绍了freee在AI安全以外的多项安全举措:

  • 建立安全使用AI的防护措施。所有对大型语言模型(LLM)的访问均通过统一网关,安全团队可监控日志,屏蔽敏感信息和危险命令,保障员工安全使用AI。

  • 组织架构调整。将产品安全团队(PSIRT)与治理安全团队(CISRT)合并,形成统一协作机制,避免安全措施分散。

组织调整

  • 定期开展涉及高层管理的应急演练。2021年进行过模拟勒索软件攻击CEO的全员演练,提升全公司应对安全事件的能力。

  • 持续更新内部安全规则,举办每月安全挑战活动,确保全员掌握最新安全知识和趋势。

安全培训

多田最后强调,freee能领先行业启动安全措施,得益于具备开发能力的安全团队、持续的实验与反馈机制,以及建立了“踩油门也安全”的规则和环境。他指出,虽然部分措施可能无效,但快速迭代的安全循环是freee抵御攻击、保障安全的坚实基础。