连续自回归语音语言模型的偏好后训练:扰动、流时间与更新模块
论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。
论文研究连续自回归语音模型如何构造偏好对、在哪个流噪声水平比较优劣以及更新主干还是声学头,发现在受试设置下固定声学头只更新主干后部能提升自动奖励,但训练损失最低并不对应生成语音最好。
论文用同一句话配对比较不同位置的单字改动,说明数字与否定等任务角色比功能词更容易让结构化工具调用失败,并用跨源分组预测证明细粒度角色比二元关键性多出可验证的诊断信息。
论文先量出已有对齐器在人工词边界上的误差和电话信道下的退化,再只用人标边界训练 Whisper 直接预测词起止时间戳,在英语、韩语、荷兰语和多语测试上超过蒙特利尔强制对齐器,而电话增强、槽位后置和带噪文本训练是关键代价与收益所在。
论文在 LibriVAD-small 的 test-clean 上离线比较 TEN、Silero 与 RMS 能量基线,回答窗长如何改变帧级排序质量,最强证据是 TEN 在 16 ms 取得 AUC 0.917 且 20 到 50 ms 几乎不变,而 Silero 只在 30 ms 附近最好,代价是结论限于离线排序而不含端点延迟。
论文检验词级韵律能否作为抑郁与 PTSD 的行为标记,发现词特异偏差跨语境几乎不重复,而按说话人聚合后高度可重复,但仍与症状严重度无可检测关联。
X-AVDD 针对配对音频-视觉数据集蒸馏,用先训练带双向交叉注意力的教师模型再按类匹配交叉注意力后嵌入的方法合成每类少量样本,在四个音频-视觉事件识别基准上提高小数据训练精度,并把合成总耗时从 10 小时降到 1.3 小时。
共分析 146 篇语音/AI 论文
论文把归一化频谱看成概率分布,用瓦瑟斯坦距离度量马勒与韦伯恩段落在加弱音器前后的音色差异,并用三音二阶矩与塞萨雷斯不协和度做并列比较,再把哈蒙弱音器的开口变化与女高音元音放在同一巴拿赫空间中对照,最有力的证据是同一音高与同一和弦在音色改变后几何量与听感指标成倍变化,代价是样本少、只覆盖有限元音且未建模空间听觉。
该研究用 18 个客观指标在同一土耳其语测试集上对比四个现代合成系统与 VITS 基线和自然录音,发现各系统分别在不同指标族领先且短句与长时漂移会改变结论,代价是只用客观指标且只覆盖单一说话人。
针对野外难以测量水琴窟几何尺寸的问题,论文用同一套频谱与时域描述子对关西 9 处录音做归一化比较,发现整体音色高度相似但各有可测差异,且同地点多次录音相似度高于跨地点,代价是环境噪声无法分离、结论只限录音层面的探索性描述。
该文针对麦克风信号中回声、近端语音和噪声混叠的问题,用一个多输出网络同时估计可变步长与转移因子的滤波器参数并做残留回声后处理,在约束递归训练下以 253 k 参数在仿真验证集和 AEC 挑战评估集上提升了信号质量与可懂度。
该论文用 30 人 128 通道、超 25 小时的三场景“声音气泡” 听觉注意脑电数据集,把传统单干扰人范式扩展到多人群组竞争,并用行为、信号质量、Alpha 节律与 mTRF 包络重建验证了数据可用性,最强证据是注意语音重建优势 Δr 为 0.0196、单试次准确率 0.717,但绝对相关仅约 0.026 且会议场景样本更少。
该文针对二十世纪之交调性向无调性渐变无法用二标签描述的问题,用整体分布、时间延续和局部贴合三个特征经因子分析合成连续调性程度值,在 196 首二分类基准上达到 F1 约 0.985,并在 1561 首历史语料中呈现连续渐弱轨迹,但情绪关联很弱且只在特定语料条件下成立。
论文针对句子重读检测受子词切分影响而概率分散的问题,用冻结 Whisper 加句子级与音素级两个分支和词跨度正则项,在 TinyStress-15K 合成语料上把句子重读 F1 做到 0.934,代价是只在合成朗读条件下验证且两分支仍无直接交互。
在跨域蚊种分类中论文报告编码器越强越依赖单个 MMD 对齐项且越被域重平衡采样伤害,并用四编码器族加 HuBERT 五层扫描合并八个表示验证后给出只保留交叉熵加单个 MMD 加增强的精简方案,其代价是该结论只在留域划分和多种子区间下成立。
该研究用口语找物放物游戏比较中性工具型与团队建设型智能体,发现后者在队友感知上显著更高但游戏成绩无差异,且人的信任倾向和神经质影响总体评分,韵律特征还能弱但显著地分辨对话对象。
针对 7 个通用声音类别,用自动化数据引擎清洗训练数据并用两阶段方法优化类级别 CLAP 控制信号,在 AudioSep 基线上提升 SDRi 与 SI-SDRi 并在 17 人主观偏好中占优,但增益依赖于数据筛选与控制信号两步配合且商业模型对比不具备客观指标可比性。
针对口音标签模糊、类别不均衡和跨语料库录音差异,AccentCL 先训练五类区域口音基座分类器再用回放与正则逐步加入西班牙和中国口音,新类与旧类取得平衡但仍依赖有限回放与两步验证。
论文用同一篇 69 词朗读比较两组人的词间声学间隙落在标点处还是非标点处,最强证据是非标点处计数差异大而标点处相近,代价是结论只限这批录音和这篇短文。
针对音频语言模型感知细节弱且所有问题都用同样计算深度的问题,AdaLoop 在音频编码器与语言模型之间插入共享权重的循环精炼模块并按音频与问题自适应停机,在三个模型与三个基准上平均准确率提升 2.9 到 3.8 个百分点,代价是最多 8 步循环与不足 3% 的额外参数。