发布日期

DeepL 发布语音翻译模型 Aure:实时译文带上说话人的语气、情绪和语速

DeepL 于 11 月 11 日发布语音 AI 模型 Aure,用于其实时语音翻译产品 DeepL Voice。Aure 会随说话方式变化持续调整译文语音,把语气、情绪、重音和语速带到另一种语言里。新能力自动用于 DeepL Voice 的在线会议、面对面对话和语音 API,无需额外设置。

DeepL 此前推出的声音保留技术,让用户用自己可辨认的声音说外语,但它依赖对话开头的一段固定样本,只能捕捉“谁在说”,跟不上情绪、重音或语速的变化,也传达不了反讽这类与字面相反的语气。Aure 改为持续分析源音频和译文,决定每句话该怎么说出来。

DeepL 说,技术难点包括在嘈杂环境中分离说话人的声音特征和韵律、跨语言迁移声音时不夸大口音,以及缺少同一说话人多语言的真实数据:DeepL Voice 不会永久保存会议记录或译文,会话结束即从内存删除。为此它组合了把声音身份、韵律和内容分开处理的训练方法,并用强化学习兼顾翻译准确度和语音质量。

Aure 首批支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语,更多语言后续加入;其他语言仍由现有语音模型支持。新闻稿未提及价格调整。

来源

  1. DeepL unveils Aure, its most lifelike Voice AI translation model yet — DeepL
在 ? 中打开这篇 →