口音自由变体与句中英语边界:印地-英语混码强制对齐为何必须改词典和改训练数据
论文针对印地-英语混码语音的强制对齐提出两个可复述操作:用 bootstrapping 重映射词典解决 ph-f 与 J-z 自由变体,用句级混码数据训练声学模型对齐句中英语词,最强证据是混码模型平均中点误差 4.15 ms 约为单语模型的十分之一,代价是词典需人工校对鼻音与 schwa 且结论限于 MFA v1.0 与朗读语料。
论文针对印地-英语混码语音的强制对齐提出两个可复述操作:用 bootstrapping 重映射词典解决 ph-f 与 J-z 自由变体,用句级混码数据训练声学模型对齐句中英语词,最强证据是混码模型平均中点误差 4.15 ms 约为单语模型的十分之一,代价是词典需人工校对鼻音与 schwa 且结论限于 MFA v1.0 与朗读语料。
论文针对自监督前端为深伪检测提供了什么依据这一问题,提出把判定轴投影到各证据子空间并用解释比例度量,在冻结、微调和后训练条件下用静音等九类证据检验,显示同质训练放大信号级捷径而多样训练与后训练能部分抑制但静音残留持续存在。
针对语音模型激活范围大导致常规校准信息损失的问题,论文把每层激活缩放因子校准写成局部均方误差初始化加全局任务误差优化,并用 CMA-ES 免梯度搜索求解,在五个语音任务上报告 INT8 基本无损、INT4 结合 PTQ 接近无损,但平均 2.31×加速等部署收益与部分 INT4 大误差并存。
该研究固定模型与采样条件,以规模抽样和多源混合两组对照说明固定生成方法下扩量收益先升后降,而 53 种生成方法、94 小时的小混合集在跨域上优于上千小时的单一大数据集,但未验证模型容量与采样策略的交互代价。
该研究用三模态眼动实验检验普通话反语指责与反语表扬对眼睛和嘴注视分配与瞳孔大小的不同依赖,最强证据是反语指责在三模态下持续偏向眼睛而反语表扬正确理解时偏向嘴且在安静视听下看眼瞳孔更大,代价是单说话人、正确试次极不平衡与无基线瞳孔校正。
该研究用江淮官话灌南话的诱发问答任务检验窄焦点与中性焦点的基频实现,发现平均基频与基频起伏都呈现三区格局且跨成年年龄组保持,最强年龄证据是老年组在焦点后位置的平均基频压缩更深,代价是需要区分格局保持与微调变化且不能推广到时长与强度。
针对麦克风数不少于说话人数的到达方向已知分离任务,论文用冯米塞斯加权的方向图正则约束 FastMNMF 的联合对角化矩阵,在 1 人和 2 人混响仿真中提升分离质量,而 3 人和 4 人拥挤条件下增益受限。
针对仅用参考语音或仅用文字描述难以精确改一项声学属性的问题,FineCombo-TTS 用统一声学表示加条件流匹配的方差预测器学习源到目标的相对变化,在 FineEdit 配对数据上把韵律、情感和音色控制精度提高,但可懂度和音色相似度仍需在较强引导下权衡。
针对未授权语音克隆问题,FreqGuard 用可学习的频域特征先验生成不可感知扰动,在黑盒 TTS 上把攻击成功率压低,同时以多损失联合优化保留语音质量,代价是强净化与部分大模型上仍有残余攻击成功率。
论文报告 ELSI 已托管 40 余个儿童中心长时音频并用三角色分层隔离原始音频,但 10 个原住民社区语料的控制权仍集中在 3 名欧洲学术托管人手中,作者因此提出增设社区托管人并发出共同设计邀约。
论文要解决普通麦克风语音缺少声门下共振测量的问题,选择先用多尺度谱学习从语音生成颈部加速度计波形再用自适应线性预测同时估计跟踪三个共振,最强证据是未见说话人上生成信号与真值估计误差约 25 赫兹、连续跟踪误差约 25 到 83 赫兹,代价是依赖浊音元音段和线性预测参数自适应校正。
论文把 Whisper 幻觉归因于信号传播几何的相变,用谱传播不稳定性框架解释小模型因跨注意力秩崩解而丢失声学证据、大模型因自注意力压缩锁定内部先验,并以 Tiny 到 Large-v3-Turbo 在对抗扰动下的有效秩与谱衰减变化为证据,代价是未直接测量层间对齐且结论限于 Whisper 家族。
针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。
该研究以 102 名 5-8 岁儿童的 816 个听觉正常波兰语/s/为对象,用线性混合效应模型检验词首、词中、词尾对质心、偏度、峰度和频谱通量的影响,发现词首与词中对比最强且稳定,而词中与词尾多不显著,代价是仅 8 个词且词位不平衡、未建模年龄与时长。
该文把主动语音交互拆成四个可判定任务,用 1182 条合成语音样本测何时介入与介入做得对不对,发现主流多模态模型普遍过度触发且思维链能部分缓解但未根治。
针对自然语音中多情感共存却被多数投票抹掉的问题,该工作把 MSP-Podcast V2.0 的众包投票转为确定性多热标签并控制长尾,再用 MFCC 与 log-mel 双分支 Mamba 融合建模,在 Test1 与 Test2 上微平均 F1 约 0.50 的同时把参数量控制在约 3M 量级,代价是尾部情感在固定阈值下依然难以检出。
针对无注册音频时噪声嵌入不可靠的问题,G-MaP-SE 用离线拟合的干净嵌入高斯混合先验对噪声嵌入做软匹配修正,再经门控融合注入 MP-SENet,在 VoiceBank+DEMAND 训练并在 DNS2020 跨域验证,最强证据是跨域条件下缩小与 oracle 干净条件差距,代价是先验质量受干净数据规模限制且部分样本仍可能匹配到次优原型。
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
GADVOX 针对德语缺失焦虑抑郁双标注语音的问题,用 10 个随机化中性自由言说提示在众包平台采集 1004 人语音并配对 PHQ-9 与 GAD-7 自评严重度分数,以 29.3% 多阶段质检换取可做双目标回归的数据,最强证据是量表内部一致性与质量-严重度无相关的核查,代价是自评非临床诊断且样本偏向高教育数字人群。
针对 Whisper 类 Transformer 在噪声、窄带、方言和儿童语音上的失配问题,论文把 Conformer 式门控深度可分离卷积放进作用于注意力输出投影的低秩旁路,在 Whisper-medium 上以 447k 可训练参数把四套测试集词错误率降到 11.5、6.3、9.9 和 8.6,代价是新增卷积超参数与推理侧少量时延和计算量。