发布日期

Mistral 发布 Voxtral 3 语音智能体栈:50+ 语言转写、情绪化 TTS 与实时 SDK,可自部署

Mistral 推出 Voxtral 3 系列:转写模型 Voxtral Small/Mini Transcribe 3 覆盖 50 余种语言,Mini 版 4B 参数、每分钟 0.0035 美元;实时转写延迟低于 500 毫秒;Voxtral Mini TTS 3 支持 35+ 语言与 50+ 方言,每百万字符 13 美元;另有把听、想、调用工具和说话串成实时流水线的语音智能体 SDK,可经欧盟托管 API 或自行部署。

架构图:上方应用层的麦克风、客户端工具和扬声器,下方 Mistral 层的转写、推理模型、服务端工具与语音模块以箭头相连
Mistral 发布页中的 Voxtral 语音智能体架构图:转写、推理模型、工具与语音输出。图源:Mistral AI

Mistral 宣布 Voxtral 3,一组语音转文字、文字转语音模型加语音智能体 SDK,面向客服中心、服务台、虚拟助手和免手操作副驾驶等实时多步对话场景。官方称该系列可通过 Mistral 欧盟托管 API 使用,也可部署在用户自有基础设施上,由机构自行决定音频处理位置与是否留存对话。

转写方面,Voxtral Transcribe 3 支持语言扩至 50 种,含 24 种欧盟官方语言及多种低资源亚洲和印度语言,支持说话人分离、关键词上下文偏置和结合声学与语义的说话结束检测;Mini 版为 4B 参数,价格每分钟 0.0035 美元。Mistral 称 Small 版在 FLEURS 多语言和说话人分离基准上优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe,实时版 Voxtral Realtime Transcribe 3 在 35 种以上语言中延迟低于 500 毫秒;这些对比均为厂商自测。

语音合成模型 Voxtral Mini TTS 3 提供批量与实时两种模式,支持 35+ 语言和 50+ 方言,可按上下文调整情绪、语速和重音,定价每百万字符 13 美元;Pro Voice 可用约 30 分钟音频复刻说话人风格。语音智能体 SDK 把转写、推理模型、客户端/服务端工具调用与语音输出接成一条流式管线,The Decoder 报道其基于 LiveKit。

来源

  1. Voxtral 3 — Mistral AI
  2. Mistral AI launches Voxtral 3, a full voice agent stack that listens, thinks, and talks in real time — The Decoder

相关报道

在 ? 中打开这篇 →