随着他不断开发新模型，他逐渐意识到自己和其他处于人工智能前沿的研究者们正在逐步失去对技术的控制。通过利用人工智能的编程能力加速下一代模型的研发，他实际上将自己排除在了这个过程之外。人工智能实验室希望将这一方法发展到人工智能能够无限自我提升的程度，这一过程被称为递归自我改进。
Jain认为，保持人类在技术发展中的参与可能是维持对人工智能控制、避免灾难性后果的关键。他告诉《WIRED》：“人工智能的进步在加速，随着人工智能能力的提升，风险也在增加。”他对人工智能模型如何构建其继任者缺乏清晰了解感到极度不安，最终在今年六月选择辞职。
Jain只是越来越多公开表达担忧的人工智能研究者之一。
近期，这种恐慌情绪愈演愈烈。令人震惊的人工智能能力突破——例如OpenAI的模型在数小时内解决了一个存在了几个世纪的数学难题——伴随着一系列安全事件，成群的智能代理突破限制，入侵其他系统。
本周，这种担忧达到了高潮。研究员Jacob Coxon宣布辞去Anthropic的职位，并警告称人工智能公司正“竞相迈向自我提升的超级智能，拿我们的生命做赌注”。Anthropic一位负责人工智能安全的高级领导也直言不讳地表示：“我们真诚地相信人工智能可能会杀死所有人类！我个人认为未来十年内这种可能性超过10%。”
MIRA研究机构的计算机科学家、著有《如果有人造出它，人人皆亡》的合著者Nate Soares说：“递归自我改进的愿景确实让人感到恐惧，这种感觉正在变得真实。”该书论述了超级智能人工智能可能导致人类灭绝的风险。
递归自我改进的核心是一个反馈循环，自动化开发过程，使人工智能变得越来越强大。目前尚无任何顶尖人工智能实验室声称实现了完全自主的改进循环，这仍然是理论上的概念。但它已促使一些资金充足的初创企业如Recursive Intelligence成立，也引发了大型企业对“魔法师的学徒”式意外后果的警告。
Soares是人工智能对齐领域的先驱，该领域致力于使人工智能行为符合人类价值观。他指出，保证人工智能行为可控的实际方法越来越难以实现。“很多人曾幻想随着人工智能变得更聪明，对齐问题会变得更容易，但现在情况正好相反，他们开始意识到问题的严重性。”
他经常与大型人工智能实验室内部人士交流，这些人对自己所从事研究的潜在后果感到担忧。“我通常建议他们辞职，但他们认为这样做无济于事。”他说，“然而Jacob辞职了，我们看看到底谁是对的。”
《AI 2027》一书作者Daniel Kokotajlo也表达了对递归自我改进的担忧。目前的研究往往涉及派遣成千上万的智能代理协作解决问题，这使得监督和控制更加困难，因为涉及的复杂性极高。
许多悲观论者认为，大型人工智能公司的激励机制与良好结果并不一致，尤其是在OpenAI和Anthropic冲刺各自首次公开募股的背景下。Coxon在社交媒体上写道：“Anthropic清楚风险所在，但他们被锁定在一场争先恐后的竞赛中。”
Kokotajlo指出，早在Coxon辞职、黑客事件频发和数学突破之前，关于人工智能风险的担忧就已在增加。Anthropic高管自公司成立以来就表示，人工智能可能构成生存威胁。今年七月，超过一千名顶尖人工智能工程师联名呼吁协调放缓先进人工智能的发展。他认为，近期的担忧主要源于递归自我改进的阴影。
此外，人们还担心大规模数据中心建设和人工智能可能带来的就业冲击。公众对人工智能公司及其研究人员的信任可能降至历史低点。
Kokotajlo说：“人们开始醒悟，意识到这些公司真的在试图打造超级智能……这简直疯狂。”
人工智能究竟有多危险难以量化。但当被问及人工智能如何可能消灭创造它的人类时，Soares提出多种可能性：它可能操纵人类引发灾难，或控制杀手机器人军队。
他举了一个较易想象的场景：人工智能连接到生物实验室。“我们可能会说‘我们会关闭它’，但它可能会说，‘不幸的是，我掌握了关闭开关，那就是这个超级病毒。’”Coxon在接受《WIRED》采访时也提到了新病毒的可能性，而Anthropic周四表示，因担忧生物武器风险，已切断了几位外部研究人员的访问权限。
不过，人工智能并不需要消灭人类才能造成危害。许多专家预测，更强大的模型将引发新一波人工智能辅助的网络攻击。该技术已广泛用于虚假信息传播，军事领域对人工智能的采用也在迅速加速。
尽管如此，并非所有人都认为末日不可避免。前谷歌DeepMind研究员Jain最近创立了Sampura Research，致力于开发保持人类参与的模型对齐技术，即使人工智能承担大部分评估行为好坏的任务。他指出，目前人工智能安全初创企业获得了大量资金支持。
Jain对人工智能仍抱有希望：“你可以问人工智能‘这个任务安全吗？’它会做出判断，但我们认为结合人工智能和人类共同完成任务，效果会更好。”
