Tavus 发布实时视频对话模型 Griffin:近半测试者误以为在和真人通话,暂只给受信测试者
Tavus 发布 Griffin 的研究预览版 Griffin-Lite:一个能同时听、看、说的实时视频对话模型。公司称在一项一分钟视频通话研究中,54 名参与者里有 26 人(48%)以为对方是真人;因为可能被用来冒充真人,目前只向少数受信测试者开放,不对客户开放。
Tavus 称,Griffin 是其首个“人类交互模型”(Human Interaction Model),把实时感知、何时开口的判断,以及带表情的语音和视频生成合在同一个全双工的视频到视频系统里:对方说话时它也在听和看,可以边听边应声、被打断时立刻停下,并对画面里看到的东西作出反应。语音部分可用约 10 秒音频克隆说话人的声音。公司称这是首个通过实时视频图灵测试的模型。
Tavus 公布的测试显示,在 H100 上,Griffin-Lite 从收到音频到画面出现相应变化平均约 0.43 秒,约为次快已发表方法的一半;在英伟达研究团队建立的 VideoFDB 基准感知项上得 3.73 分,人类参考为 4.20 分。这些都是公司自己的测试结果。
真人测试中,参与者被告知会与另一名参与者视频通话,实际对象是由 Griffin-Lite 生成面孔、声音和回答的数字人;同样条件下,旧系统 Phoenix-4.5 只让 41 人中的 1 人(2.4%)信以为真。Tavus 承认,同样的能力也能让人误以为对方不是 AI,称安全发布还需要进一步的对齐和安全措施,正在开发“安全披露”功能。Griffin 尚未上线 Tavus 平台,更强的版本会在解决这些问题后发布。
来源
- Griffin: The First Human Interaction Model | Tavus — www.tavus.io
- VideoFDB — The first benchmark for full-duplex audio-visual conversation — research.nvidia.com