有物理基础的音高联想,为什么会被性别经验推着走
该研究用先启动后内隐联想测验的方法检验音高与体型的象似联想是否可被暂时加强或抑制,最强证据是趋同启动显著增强一致性效应而发散启动削弱它,代价是无法分离音高与情感内容各自的启动贡献且效应受听者与发声者性别调节。
该研究用先启动后内隐联想测验的方法检验音高与体型的象似联想是否可被暂时加强或抑制,最强证据是趋同启动显著增强一致性效应而发散启动削弱它,代价是无法分离音高与情感内容各自的启动贡献且效应受听者与发声者性别调节。
针对流式低码率下波形编码丢语言内容、语义编码又依赖非因果或双分支的问题,LitCodec 在因果编码器量化前加 CTC 的 ASR 监督并用单码本 FSQ 统一输出,在 LibriSpeech 上 800bps 取得流式最优 PESQ 2.56、STOI 0.925 和 WER 2.8%,代价是 UTMOS 自然度仍低于同码率 TS3-Codec。
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
该文针对大音频语言模型的样本级成员推断提出先用多模态盲基线排除分布偏移再审计的流程,发现在分布匹配的数据上攻击降到接近随机,而残余信号只在特定人声与特定文本配对时出现,但跨数据集的高分主要由录音与切分差异带来。
针对德语 SKT 语音评估中转录误差与手部动作子测试缺失问题,该研究用规则打分融合 Whisper 编码器与解码器向量先校正言语子测试分再补偿总分,最强证据是言语子测试序列在缺失动作题时仍与专家总分达到 0.94 以上相关,代价是依赖小样本临床数据与固定超参数且未验证真实部署延迟与误诊成本。
针对带口音英语识别中音素实现系统性偏移的问题,该工作把适配轴从口音身份换成发音方式,用六个低秩语音专家加帧级混合路由做 Conformer 适配,在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%,代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。
针对语音到语音翻译丢失笑声哭声的问题,论文用可扩展表情合成管线加五专家混合 LoRA 与软路由解决,在英中翻译上以 76% 非言语匹配和最高人评自然度情感相似度为证据,代价是合成数据主导与英中范围验证。
针对高分辨率音视频序列输入大语言模型时计算过高且压缩研究只做单任务识别的问题,MTC-AVSR 用每秒 3.5 个令牌的压缩流加语言适配器与令牌对比对齐做识别加四语翻译,在 LRS3 干净集取得词错误率 0.74%,在 MuAViC 英西取得 28.1 BLEU,代价是噪声下部分语对仍弱于专用双语模型且大模型显存更高。
论文把多语言笑声切分做成先去人声再按能量切事件、用 BYOL-A 表征加 Isolation Forest 找异常的无监督流程,在站立喜剧等多语言数据上比英语中心的有监督基线更稳,但代价是依赖能量阈值和去人声质量且在人工合成的 AudioSet 上不占优。
该研究用冻结的自监督语音表示加音节级预分类器与词级时延后分类器做阿英重音检测,多语言联合训练保持接近单语的 97% 英文与 90% 阿语准确率,而跨语言迁移呈方向不对称且后分类器与多语言预训练表示能缩小差距,但仍低于单语基准。
论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对跨语言时语言线索与说话人身份纠缠的问题,该工作用正交投影只取自监督特征中与监督嵌入互补的分量,并用流形约束的神经 PLDA 做判别优化,最终融合系统在两条测试赛道上报告等错误率为 1.39% 和 1.95%,代价是三阶段前端与两阶段后端的复杂训练流程和大规模数据依赖。
针对音频大模型能转写却听不懂说话方式与环境的问题,ParA-LLM 用 22 维副语言分类加 120 万音频问答的两阶段课程学习,在 ParA-Bench 上达到 43.53% 整体准确率,代价是仍需仿真声学数据与低秩微调的特定训练流程。
针对自由文本风格描述与语音对齐覆盖窄的问题,论文用内在与情境分训加统一模型的对比策略,在检索与分类上以专用模型取胜、在组合描述上以统一模型取胜,代价是推理时需选对专用变体且最优挑选带来线性推理开销。
论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换,对比伪目标训练与级联两条路线,报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84,代价是需要 240 对平行数据构造伪监督与额外的微调步骤。
针对波兰语儿童咝音替代筛查,论文用波兰语 wav2vec2 加 6 层后编码器做带括号替代标记的 CTC 词元识别,再经 Levenshtein 对齐定型并由固定模板助手呈现,在 10 名未见儿童 559 句上报告 88.7% 整句匹配与筛查代理 F1 为 0.67,代价是仅覆盖固定提示词与替代类偏差且假阴性仍明显。
针对儿童语音的筛查需求,PhonLLM 把预期发音与声学证据一起送入解码器,联合输出标准音素和音系过程标签,在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线,但对 backing 与 deletion 仍明显更弱。
PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。
该研究把双人协作对话的认知负荷当作回归问题,用 30 秒窗口声学特征加互动时序特征和双头门控循环单元预测 NASA-TLX 分数,最强证据是加入互动特征后时间需求的二元组一致性相关系数从 0.42 升到 0.51,而代价是不同二元组间差异极大且时序差分普遍无增益。