多人会议中回馈预测为何跨人失效:诊断、基准与行为上限
论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。
论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。
该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。
针对 6.25 Hz 下语言信息与声学细节难以兼顾的问题,Q-SPT 用两组独立可学习查询分别压缩语义流与声学流并以自回归文本损失监督语义,在 LibriSpeech test-clean 重建与下游识别合成中取得同帧率最优,但合成可懂度仍弱于 FlexiCodec 且需更大训练开销。
针对图表与语音数值推理中远端接口只收固定媒体的问题,ReCast 用本地文本中间记录改写实体主题并映射数值再重建同模态替身,远端只做选操作数写程序、本地恢复原始操作数后执行,在 4000 个 ChartQA 与 NMSQA 样本上保留 92.43% 远端原生精度而求解器侧泄露为 7.95%。
针对一次参考且内容不一致时无法可靠配对帧的问题,StateVC 用源与参考混合拟合的共享高斯状态估计每个状态内的均值平移并以后验加权更新源帧,在 LibriSpeech 一次转换协议上以 8.01% 词错误率和 3.22% 字错误率为内容保持最优,代价是说话人相似度并非全部最高且评估限于英语朗读语料。
针对无编码器语音大模型缺乏说话人判别力的问题,论文用性别情感说话人等元数据监督加即时多说话人拼接与适度掩码做预训练,在匹配数据下优于随机初始化编码器并接近大语料预训练编码器,但大规模纯转写预训练对说话人归属增益有限且存在任务差异。
针对原生全双工语音会在用户说完前开口的问题,论文用共享模糊前缀加可控停顿构造迟发意图基准,以提前响应率与有害或良性参与率联合评估四个模型,发现三者有害参与上升而一者全面退缩,且停顿放在意图揭示后则效应大减,但代码当前不可用限制了复现。
针对声码器伪造与编解码伪造分布差异大的问题,论文用本地 FedProx 加逐层按到中心距离加权的聚合做联邦伪造语音检测,最强证据是双客户端下平均等错误率降到 0.266% 接近集中联合训练,代价是仍略逊于集中训练且只验证了两客户端严重非独立同分布情形。
针对语音语言模型中显式思维链延迟高且难以表达细粒度声学线索的问题,AURAL 用高斯混合隐状态加联合块预测做两阶段训练,在 Qwen2.5-Omni 上把首个答案 token 时间从 1.22 秒降到 0.10 秒,代价是需要先构造 68.3 万条简洁思维链监督并依赖质量门控奖励来调节推理深度。
针对运动神经元病患者构音与认知混杂的问题,该研究只用一分钟字母流畅生成阶段音频,以 WhisperX 转写加 Silero 语音活动检测校准词与停顿边界再提取临床可解释特征回归估计言语流畅指数,最强证据是 P 词全自动 LASSO 达到 R² 0.856、NRMSE 0.053,代价是 S 词在构音障碍语音上误差明显增大且样本仅 42 人。
该文把成人 PhonoQ-2.0 适配到儿童语音,对比三种强制对齐监督与两种初始化,用 58 名儿童 1352 个辅音人工标注检验,显示清浊全面提升、发音方式依赖儿童对齐、部位对比与纵向变化保持可解释,但增益因特征类而异且临床样本很小。
论文在同一协议下比较交叉熵与七种辅助目标,用位移除以 spread 的尺度感知诊断显示余弦一致性的位移下降来自空间缩小而非更稳定,且四个坍缩到近常数输出的运行被等错误率和 t-SNE 掩盖,没有辅助目标在种子、架构和语料上都优于交叉熵。
针对开放式耳机的空间选择性有源噪声控制问题,论文把期望语音保持误差改成频率加权二次惩罚并保持时域低延迟控制,在实测脉冲响应多说话人场景下报告 LTASS 与 oracle 加权在更高 SI-SDR 处取得最大可懂度提升和相当音质提升,而 SII 与 MIRS 的最大音质提升出现在更低失真容忍度之外。
该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感,在三个语料上用零样本与微调对照和固定预测器的单概念删除,显示转录主导与声学依赖随语料而变,而删除声学概念会改变个体预测即使总分几乎不动。
该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。
针对定位误差导致分离质量下降的问题,该工作把单点质量优化改为同一音频窗内多位置波束形成加质量加权平均,在真实办公室与商场录音上用更大初始误差验证了更快更稳的纠正过程,代价是质量估计智能体单次响应时间随测试点数增加。
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
论文针对声音形式与交际功能混淆的问题,用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类,在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1,代价是依赖大模型抽取与录音条件。
针对逐帧基频估计后时序平滑易在连续坏帧锁定八度错误的问题,论文用可变 Q 变换互相关估计多跳相对音程并与绝对估计做 L1 联合优化,等价转为最小费用循环流用线性规划求解,在语音歌唱器乐上干净时接近维特比、白噪声低信噪比下提升更明显,但巴布尔噪声与强前端上收益有限且偏移集合依赖估计器。
该研究用 103 道切分数学题比较一次呈现原题、一次呈现拼接碎片与多轮递增披露三种语音输入,报告四款商用语音系统从拼接基线到分轮下降 5.0 至 25.3 个百分点、LEGO 三条件均为 77.5%,并指出必须保留两种单轮对照才能区分改写效应与多轮效应。