剪哪一层?语音大模型的编码器与解码器要用不同尺子量
针对语音大模型含编码器与适配器且序列被音频主导的问题,提出编码器在适配器输出处打分与解码器只看文本词元的 SBI,在三模型上以无修复剪层对照显示高剪除率下更稳健,但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。
针对语音大模型含编码器与适配器且序列被音频主导的问题,提出编码器在适配器输出处打分与解码器只看文本词元的 SBI,在三模型上以无修复剪层对照显示高剪除率下更稳健,但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。
针对 154 通中文心理热线三级危机分类,该研究把语音副语言线索文本化后交给文本大模型微调,并用推理生成做辅助约束,在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802,代价是依赖分块扩增与模型生成的非金标准推理目标。
该研究把频域声码器 Vocos 改写为脉冲版本,用脉冲 ConvNeXt 加幅度捷径、自结构蒸馏和时间移位解决二值信息瓶颈,4 步模型在感知质量接近基线时仅消耗约 14.7% 能量,但信号级精度指标仍有差距。
针对多个移动说话人方向接近时纯空间线索难以稳定归属的问题,SpkGuideDOA 用压缩分辨率的说话人门控对直接路径相位差估计器做残差调制,在仿真与 LOCATA 上报告了更低的漏检与角度误差,代价是引导分支带来的参数增加与联合排列约束。
论文把欺骗检测改写为固定指令下比较 bonafide 与 spoof 标签序列似然的生成式任务,报告冻结大语言模型层会削弱声学可分性,而用 DoRA 轻量适配后的 Spooftral 在 ASVspoof5 评估集上报告等错误率为 4.25%,代价是仍需任务训练且特定攻击明显更难。
针对不足 3 秒的自定义短语验证不稳定问题,论文用文本相关与文本无关混合注册加并行交叉注意力帧级重打分,在 VoxPhrase 上用冻结骨干加轻量验证器持续降低等错率,代价是需要同时准备两种注册语音并额外训练验证器。
针对噪声下可懂度任务,论文用流匹配语音合成同时控制发声努力与清晰度两个维度,在发音拉开时词错误率明显下降,但极端用力合成会偏离识别器分布并带来自然度代价。
针对台语老年居家紧急意图识别,论文构建 21 人 3079 条真实数据集并对比两种野外数据挖掘路线,最强证据是戏剧挖掘预训练再经 1600 条域内适配后达 90.21% 准确率,而直接跨域仅约 70% 上下,代价是细粒度紧急类仍易混淆且轻量模型远落后。
ArtComp 用发声努力度连续调控下颌开度,同步采集 7 名瑞典语者的电磁发音、声门和音频数据,以 3000 个元音样本支撑补偿性发音研究,代价是基频耦合与传感器干扰仍需使用者自行控制。
该研究把提示拆成社会地位、职业与人格三轴,用单变量基线加双维与三维组合量化交互,报告显示冲突组合可把护士类强女性先验从女性概率约 0.99 拉到约 0.17,而通用多样性提示不足以覆盖这类深层绑定。
论文针对火济晋语 T1 与历史促声 T5 在基频上压缩重叠且尾段周期性脆弱的问题,用统一低频参数对比三种时域基频估计器并叠加发声质量度量,发现只用基频时 T5 恒为 T1 最近邻,而加入 HNR05 与 H1 星差后离散指数明显扩张,代价是结论仅限发音端且未做听辨验证。
该研究以 Bangor Miami 自发对话为对象,用 103 维语言无关韵律特征检验语码转换句与单语句的分布差异,并以聚类与 Whisper 语言标识为诊断工具分离说话人熟练度与多语属性的影响,代价是结论限于单一语料与粗粒度话语级特征。
该研究用语音克隆固定文本后比较三种语音大模型对六种口音与两种性别呈现的回答,发现在礼貌一致下东欧口音女性帮助性最低,人评比机器评更敏感,但受限于合成音色与小规模人评。
针对穿混凝土墙雷达语音带限与杂波干扰问题,论文提出逐层扩频的 CAF-Former,先用共享键值的多查询时间注意力守住低频时序,再用频率注意力融合引导高频恢复,在仿真与实测上 STOI、DNSMOS 和 CS-MFCC 最优,代价是仿真 PESQ 略低于 EBENet 与 TF-Locoformer 且参数量为 2.726M。
论文以意大利语和罗马尼亚语广播语料中的元音序列/ia/为对象,用语速归一化时长和函数主成分分析的共振峰动态检验重音与词内位置如何促进或阻断滑音形成,最强证据是意大利语重读与非重读时长差达 0.56 对数单位而罗马尼亚语整体更长更陡,代价是两语言高度重叠且说话人信息缺失。
论文用 3879 条语音声明研究文本到语音的事实核查迁移,发现语音输入带来一致的准确率下降,单用检索只能小幅回升,而检索加显式推理在思考调优模型上达到 86.1% 准确率,但仍低于纯文本检索上限。
针对帕金森低运动性构音里呼吸-喉-构音混杂难拆解的问题,该文用健康 USC-TIMIT 多线圈运动学学一维 Za 轴并经音频反演加仿射校准算出 AWI,在 9 对匹配对照中 PD 全部偏高并与 UPDRS 呈约 0.5 相关,而在 398 人声带高功能组保持稳定,代价是小样本英语朗读与单一反演模型的分布外风险。
该研究让 55 名典型听力与 57 名听力损失的老年被试仅凭韵律判断陈述疑问句是结束还是延续,发现两组敏感度都高于机会但所依赖的声学维度分离:典型听力组靠目标词时长与强度的边界强度交互,听力损失组靠末端上升的时长与音程,而延续项在两组中都未被四个测量稳定预测。
针对生成增强在真实噪声下语言一致性不足的问题,该文用转录本计算的负词错误率奖励对预训练 FlowSE 做 Reinforce Adjoint Matching 后训练,在 CHiME-4 真实录音上把词准确率从 76.98% 提高到 82.06%,而报告的非侵入式音质指标未下降,默认奖励强度下主观听感无显著偏好。
针对语音语言模型做自动语音识别特化后语音问答能力下降的问题,论文用特化前模型做问答老师、特化后模型做识别老师,让学生按任务分别采样轨迹并只接受对应老师的监督,在 500 小时蒸馏数据上提升识别的同时保住问答,但全文特化模型本身的识别上限仍未被完全追平。