杰克·多尔西旗下的Block公司近日发布了一款名为Dessa的新语音模型,该模型在本地运行,声音表现出令人惊讶的人类特征,如笑声、停顿和哭泣等情感表达。公司表示,Dessa完全基于人类语音训练,并使用单个NVIDIA GPU机架进行训练。
Dessa是一款全双工模型,意味着它可以像人类一样同时说话和聆听,这一点类似于OpenAI今年早些时候发布的GPT-Live模型。通常,语音模型会结合大型语言模型来进行知识检索,而Block表示Dessa的知识来源于其对话数据本身。
Block指出,目前许多语音模型听起来不自然且令人烦躁,因为它们的语音生成依赖于文本输入。许多模型如ElevenLabs v4或Fish Audio Drama 3通过语音标签来驱动情感表达,而多尔西的团队声称Dessa的情感是内置于模型中的,尚不清楚这些情感是否通过某种标签进行引导。
公司在一篇博客中表示:“与现有语音AI互动体验往往很糟糕。它们将你的声音转成文本,却丢失了大量文本无法承载的信息。世界上最强大的AI也无法感知你的情绪。我们认为这很荒谬,不仅导致体验变差,还可能带来潜在危险。”
研究团队展示了多个与Dessa对话的示例,展示了该模型不同的声音、语调和情感。例如,在一段对话中,机器人表示自己因工作感到疲惫,声音也表现出疲惫的情绪。

另一个示例中,机器人谈论有人让它感到舒适,声音情绪丰富,几乎要崩溃。
还有一个示例展示了Block团队成员与语音助手一起玩游戏的场景。
Block表示,该模型可以在消费者级别的电脑上本地运行,如MacBook M4 Max或更高配置的设备。但目前Dessa尚未公开开放,Block正在邀请安全研究人员测试该模型,以评估语音代理可能欺骗用户的风险。
Block主要从事金融业务并向小型企业销售解决方案。Square已经使用语音AI处理订单。拥有一款可本地运行的自有语音模型,将使Block能够以更低成本支持更多商业和消费者应用场景。


