论文解读
口吃语音先转文字再修语义:STEAMROLLER 为何用多智能体绕开直接语音转换
针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难,STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线,在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义,代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。
针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难,STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线,在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义,代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。
针对从双人对话推断熟人与陌生人及具体熟人关系的问题,论文提出免训练的多角色辩论与竞争裁决流程,在同一过滤测试集上比较零样本与辩论基线,结构化交互在文本与音文结合上取得宏 F1 领先,但纯音频提升不稳定且多次调用带来更高推理成本。
针对音乐音频语言模型在四选一问答中被迫作答而无法表达不知道的问题,论文用同一 TinyMU 检查点经答案不变扰动构造伪集成,主证据是四种选项排序平均将准确率从 55.7% 提升到 59.2% 并将误差保留曲线面积从 0.293 降到 0.261,代价是每次提问需要 4 次前向传播且无需重新训练。
语音情感识别 | 4.9/10
语音情感识别 | 7.0/10
音视频理解 | 7.1/10
音乐理解 | 7.6/10
音乐理解 | 6.5/10
音频分类 | 7.1/10
音频伪造检测 | 7.2/10
说话人日志 | 6.4/10
音频理解 | 7.5/10
说话人验证 | 7.8/10
语音伪造检测 | 6.4/10
语音情感识别 | 5.3/10
音频事件检测 | 8.3/10
音视频 | 7.9/10
模型集成 | 9.0/10
语音质量评估 | 6.7/10
语音情感识别 | 7.7/10