论文解读

能听出杂音却听不出读错重音:平均意见分预测在声学与韵律上的双重分离

论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型,显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分,并对平均基频呈现人类没有的强偏置,代价是标量平均意见分丢失了韵律维度。

 · 更新于 2026-10-15 · 约 19 分钟 · 9159 字 阅读 →
论文解读

只看脸说方言:K-DIALECT 如何把说话人身份与方言韵律分开建模

K-DIALECT 针对参考音频稀缺的韩语方言合成问题,用双分支人脸编码器定身份风格、用方言条件基频预测器定韵律,并以 FiLM 融合生成语音,在六种方言上以主观方言流利度和自然度领先语音基线,代价是说话人相似度仍低于有参考音频的 XTTS-v2。

 · 更新于 2026-10-15 · 约 20 分钟 · 9919 字 阅读 →
论文解读

同一句话为何重读不同词:CAST 检验语音合成是否真懂上下文

论文用相同句子配对立上下文来检验词级重音,报告显示纯文本模型能从上下文推断重音而所有受测语音合成系统都难以在语音中稳定实现,显式标注也只是不完美的上界。

 · 更新于 2026-10-15 · 约 17 分钟 · 8148 字 阅读 →
论文解读

听还是读:思维链语音翻译到底用了多少声音

论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。

 · 更新于 2026-10-15 · 约 17 分钟 · 8137 字 阅读 →
论文解读

一个短语断句可以有多种对法:用大模型造多参考来评测断句标注

针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题,论文提出用大模型从少量示例生成可复用的多参考查找表做评测,在 1356 条韩语标注上更接近人类判断,但多参考构建仍需推理开销与去噪过滤。

 · 更新于 2026-10-15 · 约 18 分钟 · 8538 字 阅读 →
论文解读

耳朵为主、眼睛和文字为辅:MER-Live 如何证明情绪是听出来的

MER-Live 针对离线评测与实时交互脱节的问题,选择以韵律驱动的轻量语音分支为主、视频与文本做置信度加权迟融合,用 10 折 IEMOCAP 上音频 74.03% WA、融合超 83% 为证据,代价是实时 3 秒窗精度上限约 60% 且需 TensorRT 与浏览器条件配合。

 · 更新于 2026-10-15 · 约 20 分钟 · 9770 字 阅读 →
论文解读

语义越贴合说得越短吗:自发语音中语义相关度的非线性与频率依赖

论文以 Buckeye 自发语音 262342 词例检验语义相关度对词时长的预测力,用广义加性混合模型分离出低中段促进、高段延长的 U 形效应,且该效应主要出现在低频词,最强证据是含语义相关度的 M1 取得最优 AIC 而去语义项损失 23.2,代价是高语义中心词存在竞争与规划成本且结论限于英语访谈语料。

 · 更新于 2026-10-15 · 约 18 分钟 · 8928 字 阅读 →
论文解读

不平坦而是脱钩:神经合成语音在整体语调与元音目标上的双向偏离

该研究用 13100 句配对语料同时检验韵律与音段两个层面,报告全局基频压缩与局部反转增多的跨时间尺度脱钩,以及元音空间收缩到 9-30% 与齿龈协同发音减弱,且两类偏离在句间几乎不相关。

 · 更新于 2026-10-15 · 约 19 分钟 · 9227 字 阅读 →
论文解读

准备好的长独白之后,提问者如何在两种语言里被带偏:议会半自发对话的趋同

该研究以加拿大 Hansard 英法议会 40 组独白加提问为对象,用余弦相似度检验声学韵律与语义趋同,发现全局与首尾分段趋同并存且跨语言存在两阶段规划,但强驱动特征消融后跨语言下降更大。

 · 更新于 2026-10-15 · 约 17 分钟 · 8168 字 阅读 →
论文解读

缩短放在词中帮忙、放在词尾添乱:普通话听者如何用音节缩短切分语流

本研究用三音节人工语言检验音节缩短位置对切分的影响,发现中间音节缩短促进切分、末音节缩短损害切分、首音节缩短无明确作用,说明缩短只有对齐词内可预测结构时才起帮助作用。

 · 更新于 2026-10-15 · 约 17 分钟 · 8200 字 阅读 →
论文解读

把语气听进去再回话:PRISM 用四智能体拆开感知、推理与合成

针对级联丢失韵律而端到端难控情感与知识的问题,PRISM 把感知、管理、回应、发声拆成四智能体并用韵律转语言稳定推理,在 AvaMERG 上以自动、人工和大模型评测同时占优,代价是只微调回应器且依赖外部识别与合成模块。

 · 更新于 2026-10-15 · 约 20 分钟 · 9836 字 阅读 →
论文解读

只听声音判断反话:用局部与整体韵律的不一致来识别讽刺

针对纯音频讽刺识别任务,ProSarc 用全局情感基线与帧级韵律动态之间的可测不一致做分类,在 MUStARD++ 上报告 F1 为 75.3%,代价是依赖短句韵律对比与单一起点假设且跨语言证据有限。

 · 更新于 2026-10-15 · 约 21 分钟 · 10354 字 阅读 →
论文解读

韵律也能做 ABX:用相同音段、不同韵律的最小对直接量表示空间的距离

论文把音位 ABX 改成韵律 ABX,用同一音段不同重音、声调、音高的三元组和 DTW 距离检验自监督语音表示是否拉开韵律对立,最强证据是 17 个模型在三语上显著优于声学基线且层间排序跨合成与上下文保持稳定,主要代价是英语重音上合成代理与自然录音相关性低且人类仍在日语和汉语任务上领先。

 · 更新于 2026-10-15 · 约 19 分钟 · 9431 字 阅读 →
论文解读

焦点处能抬高、焦点后压不下去:彝—汉语双语者重音实现的完全分离

该研究以三词同调句和中性基线相减的增量测量检验彝—汉语双语者的汉语焦点韵律,显示焦点词基频与强度扩张与北京对照组相当而焦点后压缩完全缺失,且语言经验不能预测焦点后基频,四项经验预测量均不显著。

 · 更新于 2026-10-15 · 约 18 分钟 · 8830 字 阅读 →
论文解读

词不够用时靠声音补:把音高和能量写进语音表示来解语用歧义

针对韩语短句中文字相同但情感不同的语用歧义问题,论文在冻结的 Whisper-large-v3-turbo 编码器之后拼接插值对齐的基频与能量并联合建模,用同一骨干上子集准确率从 12.46 到 26.39、语用歧义消解从 21.00 到 32.60 的提升证明表示层缺韵律是主因,代价是只验证了特定分类头与数据集且未报告延迟与开源可用性。

 · 更新于 2026-10-15 · 约 17 分钟 · 8320 字 阅读 →
论文解读

重音太轻听不出、太重又失真:三段式训练如何让流匹配语音学会用力恰当

针对中文流匹配语音合成中重音数据少且韵律难控的问题,该工作在 F5-TTS 上加重音编码器并依次做有监督微调、直接偏好优化和基于小波韵律工具奖励的在线强化学习,主测试上显著度从 0.86 提升到 1.45 而词错误率稳定在 1.63% 左右,代价是说话人相似度微降且奖励仍依赖客观显著度工具。

 · 更新于 2026-10-15 · 约 17 分钟 · 8180 字 阅读 →
论文解读

附和声是让话继续还是把话接走:荷兰语中句法完整与边界调前的证据

该研究以荷兰语地图任务对话中 1910 个语段交界为样本,用句法完整与边界调预测保持、附和与转换三类过渡,发现附和与两者都不同但更接近转换,而高边界调与完整句法是关键区分条件。

 · 更新于 2026-10-15 · 约 16 分钟 · 7732 字 阅读 →
论文解读

同一句话不同语气看到不同脸:把韵律单独送进扩散模型的尝试

论文要解决文本相同但语气不同时图像该如何变化的问题,用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net,在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。

 · 更新于 2026-10-15 · 约 18 分钟 · 8708 字 阅读 →
论文解读

机器味反而更清楚:当听者预期改变了对合成韵律边界的感知

该研究用有无逗号的歧义句考查合成音的韵律可懂度,发现压缩音高变化的单调处理影响很小,而与韵律线索无直接语音关联的机器化音质只在有逗号句上提高了图片匹配正确率,问卷上情感音仅提高了自然度评分。

 · 更新于 2026-10-15 · 约 20 分钟 · 9938 字 阅读 →
论文解读

语义对了还不够:语音翻译如何保住语气、立场与意图

该挑战要求把对话中韵律承载的语用意图连同词义一起翻译,证据显示最佳音频系统主观评分 3.46 仍比人类重演 4.59 低 1.2 分,而特征映射基线几乎未被超越。

 · 更新于 2026-10-15 · 约 16 分钟 · 7810 字 阅读 →