ElevenLabs Dubbing v2

日本国家ElevenLabs推出了最新的AI配音模型「Dubbing v2」,旨在实现视频和音频内容的更自然翻译与配音。

「Dubbing v2」的最大特点是能够将原始说话者的情感和表演语调准确传达至非母语语言中。它能够翻译说话者独特的语调、微妙的停顿、说话方式、呼吸声以及细腻的情感表达,从而突破了传统“机械翻译音频”的限制,实现接近原始表现的自然且富有临场感的多语言配音。

此外,借助AI技术,该模型能够在保持说话者声音特质的同时,将其转换为其他语言。即使在多位说话者同时发言的情况下,也能反映各自的声音特征,完成多语言配音。同时,背景音乐和环境音效不会被破坏,音频部分能够自然地翻译并融合。

「Dubbing v2」支持包括英语、中文、西班牙语、法语等主流语言,以及斯瓦希里语、冰岛语等90多种语言和方言。它适用于日本国家制作的视频、播客、演讲、教育内容、企业视频及VTuber内容,帮助这些作品面向海外观众进行推广。