支持超过10亿用户的ChatGPT背后，关键之一是高速且可靠的数据访问系统。OpenAI近日发布了一篇博客，详细介绍了其在线存储平台“Habitat”的开发与运营历程。
Habitat首次亮相于2023年举办的“DevDay 2023”，最初是一个连接单一数据库的简单Python客户端库。如今，它已发展成为一个复杂的分布式系统，管理着超过500PB的数据。
提到Habitat，不禁让人联想到1990年日本富士通推出的全球首个虚拟形象在线服务“富士通Habitat”，这也显示出技术的巨大进步。OpenAI表示，虽然构建和运营如此规模的基础设施并非易事，但也并非不可克服的难题。
在用户与ChatGPT交互时，系统需要执行大量独立的数据查询。若这些请求响应缓慢，用户体验将大打折扣；若请求失败，服务甚至可能完全中断。Habitat因此成为支撑ChatGPT服务的核心系统。
博客中提到，系统工程师通常会以10倍的规模预估系统容量，并期望系统能稳定运行数年。然而，随着AI技术的迅猛发展，过去三年中OpenAI的系统规模每年增长超过10倍，远超传统预期。
这迫使团队在构建成熟平台的同时，以前所未有的速度扩展Habitat系统。OpenAI形容这是一系列策略性决策和优先级调整的连续过程。团队深入理解各组件的底层性能，避免存储和计算资源瓶颈，从而为基础设施投资争取时间。
此外，博客还分享了一些技术人员的真实经历：跨越数十个服务的部署协调需耗费数日，与各团队协作部署、修复发现的错误也需多日。甚至在准备启用新功能时，因某团队无关的原因回滚服务，导致原本避免的停机事件发生。
这表明即使是全球领先的AI企业OpenAI，也难免遭遇因沟通不足引发的人为问题。
关于技术细节，博客详细讲述了Habitat如何从一个库演变为服务平台，以及如何将用Python编写的服务扩展为高可靠性的存储平台层，推荐感兴趣的读者深入阅读。
