不用标准答案也能学写声音描述:用成对偏好把音频字幕拉向人意
针对音频字幕依赖成对标注且自动指标与人意不一致的问题,该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调,在挑战样本上获得更高人类胜率,代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对音频字幕依赖成对标注且自动指标与人意不一致的问题,该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调,在挑战样本上获得更高人类胜率,代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。
该文把近端聆听增强做成在谱-时间调制域上学习全局掩蔽并保持总能量不变,在多种噪声和客观加主观指标上报告了优于时频基线的平均增益,但低信噪比下个别条件仍被基线反超且主观验证规模很小。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
该研究比较电台口语转写与三种书面语域输入的合成语音可听性,发现口语转写显著增加主观努力并降低回忆,而大模型生成文本与维基文本无显著差异,但四条件语义内容并不相同因而不能做因果归因。
该研究以性别延展与非性别延展两组嗓音对比六个零样本语音合成模型,发现人耳相似度上两模型对性别延展组显著更差而三模型反向更好,且说话人相似度和自动平均意见分预测与人耳判断多处不一致,代价是现有自动评测难以替代人工听辨。
针对噪声下自信但错误的强制转写问题,该研究用片段级弃权占位符 PH 与经人偏好校准的可靠性分数 RAS 组织评价与训练,并在 LibriSpeech 与 TALCS 上以两阶段监督加强化学习提升可靠性,同时保留了可用转写内容。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。
该研究以 459 名日语被试的回放与听觉想象对照量化自我声音厌恶,证实回放比想象更不适且身份相似感不变,顺序与个人特质调节差距,而可复制的声学主效应稀少、特质与声学交互更关键。
针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。
针对全双工对话模型很少显式建模倾听反馈时机的问题,论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头,在 7B 与 1B 两个模型上验证了频率可调与人类评分持平,但高频档会抬高抢话率等代价同时代码链接当前不可用。
针对构音障碍语音可懂度低且隐式重构缺乏可解释性的问题,该研究选择先用共振峰对齐频谱变换显式修复元音空间再做说话人自适应合成,在中英文多库上报告 29% 到 72% 的识别错误率下降和主观可懂度近翻倍,但以说话人相似度轻微下降为代价。
论文比较语义、语义加声学、纯声学与标签四类语音表示在两种面部解码器下的三维面部动画质量,发现能编码音位类别且不含低结构声学信息的表示更准确,而标签表示支撑了文本到语音与面动的统一管线,但混合声学信息反而有害且重建误差与感知并不一致。
针对可穿戴少麦克风阵列在高直混比下双耳信号匹配退化的问题,论文提出由卷积循环网络直接回归视场中心与张角并加权匹配滤波器的 FoV-BSM-Net,在仿真单声源数据上把全条件改善做到 1.0 dB、高直混比下做到 1.7 dB,但评估限于仿真且本次无可验证的开源链接。
该研究针对外毛细胞损伤导致的可懂度下降,用听觉模型响应的正常与损伤差异训练 dCoNNear 助听模型,并在 19 名受试者的矩阵测试中获得显著可懂度提升,但客观音质指标 HASQI 出现下降 trade-off。
针对噪声下可懂度任务,论文用流匹配语音合成同时控制发声努力与清晰度两个维度,在发音拉开时词错误率明显下降,但极端用力合成会偏离识别器分布并带来自然度代价。
共分析 75 篇语音/AI 论文
论文研究餐馆噪声下四人对话的同伴语音抽取,选择带说话人注册的目标说话人抽取与因果约束,用听音转写正确率与 P.835 质量分证明头部系统相对基线有实质提升,而客观指标与听感排名不一致且保留噪声与保真度不可兼得。
共分析 62 篇语音/AI 论文
该文把一阶到三阶上采样定义为给定低阶信号生成缺失高阶通道的条件分布,用流匹配与得分扩散同骨干对比,在混响语音上流匹配信号与听感占优但参数与采样代价明显更大。
论文把声音事件识别的输出从单一确定标签改为类别加置信度加拟声词描述,用冻结编码器加可训练投影器与分类器实现分类与检索联合训练,在 31 类子集上保持分类能力,并在约 85% 准确率的模拟不确定条件下用大模型评价与 310 人听评显示拟声输出更有助于环境理解,代价是拟声不匹配会损害自然度。