会话语音审美:用人类听感对齐语音描述模型
论文用上下文加回应语音预测九个审美标签,先在合成标注上监督微调学格式与描述,再用约 10 人投票的分布奖励做 GRPO 对齐,主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%,代价是需要工具测量辅助与两阶段训练。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用上下文加回应语音预测九个审美标签,先在合成标注上监督微调学格式与描述,再用约 10 人投票的分布奖励做 GRPO 对齐,主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%,代价是需要工具测量辅助与两阶段训练。
共分析 245 篇语音/AI 论文
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
论文以芦苇为声源、以双手为外部滤波器研究卡西五个元音,用手部运动追踪、共振峰声学与 24 人听辨证明手部可构成可懂元音空间,但高基频压缩与 o-e 混淆带来准确率与反应时损失。
该研究在德语整句产出中同时操纵词频与音节惊奇度,发现反应时与长元音时长不支持离散串行模型的加性预测,而呈现随单双音节变化的选择性交互,且句中与句末位置效应稳定存在。
用粤语英语双语语音在同语言与跨语言配对下比较 18 个说话人嵌入模型与人耳相似度判断,显示嵌入能区分同一人与不同人但跨语言时区分度下降,且依赖语速与共振峰等共享声学线索,而粤语微调并未带来可运行的提升。
该研究用假词听辨加功能磁共振比较性别、年龄、口音三种判断,显示双侧颞上区是共享声音核心但口音激活更强且各自另有外延区,代价是口音准确率最低且反应时最长、样本与刺激均为特定构造。
在只用内容与专家判断、不吃听众行为的音乐发现栈上,论文把 38.17% 否决拆为声音与语境两类并分别送入候选过滤与表征重加权,两轮 1200 次评审把否决率降到 28.83%,但两次机制同批上线因而只能做算术归因。
该研究以人耳转写为基准比较多种现代语音识别模型在噪声与增强失真下的词正确率,报告显示大模型趋势更接近人类但绝对分数更高且会掩盖声学损伤,文本归一化等细节也会改变系统排序。
该研究让 101 名英语单语听者与冻结的英语单语 Whisper-medium.en 和 HuBERT-large-ll60k 在相同法语、日语、希腊语、泰语情绪语音上做六选一判断,发现三者都显著高于 21.4% 的机会水平,但人类偏向中性与负情绪而模型偏向快乐与惊讶,且 HuBERT 整体高出人类 6.8 个百分点。
共分析 34 篇语音/AI 论文
该文以 168000 次合成语音自动识别转写和 15 人先导听写实验检验五个语言复杂度等级,显示 9–19 词自然语法句错误最低且语法优势随信噪比改善而扩大,因而主张噪声下不做简化、保持语法完整,但人类证据仍是小样本先导结论。
该研究用同一组乌尔都语录音让德语和匈牙利语听者做快速韵律转写,报告两组在重音感知上依赖不同基频走向、在语调短语边界上一致度仅为弱到中等且受发音人影响,从而不支持边界线索普遍通用的判断,其代价是样本仅四位发音人和两组听者且未纳入乌尔都语母语对照。
论文用 MaFI 孤立词任务比较三类视觉语音识别模型与人类唇读者,发现模型词错误率更低但成功与失败的词不同,错误更随训练词频而非视觉清晰度变化,代价是视觉清晰度只能解释模型约 6 到 9% 的排序方差而人类可达 50 到 79%。
该研究用同一批声学特征同时训练临床诊断模型与人类听判预测模型,发现两者整体部分对齐但在希腊语与男性组完全失齐,而病理模型在该两组未超随机水平,代价是全局可解释性会掩盖这种分组失效。
该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务,显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型,而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人,代价是对原始音视频利用不足且上下文过长时推理负担上升。
28 名中国英语学习者以听后跟读方式分别模仿人类女声与 Azure 神经合成女声,结果人类声在归一化嗓音起始时间上诱发更强趋同而合成声在元音时长对比与强度节奏上诱发更强调整,代价是结论只限于女性、无明确模仿指令的句子跟读条件。
针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。
该研究用西班牙语主导的西英双语者在线词语影子任务检验对真人与合成语音的语音趋同,发现元音时长和嗓音起始时间总体发生趋同但受语言与社会因素调节,而英语嗓音起始时间的负距离差需用抽象音位目标解释。
针对阿拉伯语发音评估缺乏临床对齐工具的问题,Harf-Speech 用标准音素生成加微调语音转音素加对齐加权评分的模块化路线,在 40 句三位专家评分上达到与专家均分 0.791 皮尔逊相关,代价是临床样本小且依赖微调后的音素识别精度。