长音频问答为何答对内容却对不准时间:用周期时间锚点把时间写进 token 流
针对最长 120 分钟音频的可验证时间定位问题,论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练,在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2,代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。
针对最长 120 分钟音频的可验证时间定位问题,论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练,在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2,代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。
IQRA 2026 针对现代标准阿拉伯语的误发音检测与诊断任务,引入 1333 句真人误读语料与统一评测,用两阶段微调与对齐改进的 CTC 方案把 F1 从 0.4414 推到 0.7201,代价是小规模真人数据依赖与音素到字形反馈尚未打通。
针对希伯来语无元音文本欠指定重音等发音特征的问题,论文用冻结注音模型加轻量增强头再经规则转写得到完整国际音标,并用 2 小时专家标注语料证明小参数本地语音合成模型能接近大专有系统,但仍受限于基础注音模型的元音与语体偏差。
论文针对大模型语音合成隐式处理多音字、字形识别正确但拼音错误的问题,构建覆盖 494 字和 88 词的三套测试集并用 Qwen3-Omni-Instruct 做自动拼音标注,最强系统主集拼音准确率仅 82.02%,方言和口语类仍大幅落后。
针对传统词错误率用统一归一化抹掉格式差异的问题,该工作构建 3210 条音频-指令-参考三元组并用偏好感知归一化选择性跳过评测步骤,最强证据是 Qwen3-Omni 在归一化偏好指令下取得 9.84% 而实体偏好下幻觉到 12.68%,代价是仅覆盖英语且仍需人工校对。
针对音频与文本多对多、粗细粒度共存的问题,ProLAP 把每个输入表示为高斯分布并用包含损失约束层级,在保持音频文本检索的同时用音频遍历与包含测试证明层级建模更好,但遮挡构造与合成评测带来适用边界。
针对课堂中教师主导、多学生短轮次与重叠难以标注的问题,该研究用 Mean Teacher 在 TSSD 上做半监督域适应,以 Role-Aware Union Loss 把学生标签视为多隐通道的逻辑并集并用 PIT-MSE 做排列不变一致性,最强证据是在 TSSD 测试集上取得 16.95% 的 DER,代价是仍需预训练与有标注目标域样本且对有无标注配比敏感 …
针对西班牙语渐冻症、帕金森和卒中后语音识别难且缺野外基准的问题,论文构建 22 人 444 段的 S-DiverSe 只做评测集,对比 4 个 ASR 系统与微调策略,最强证据是启发式文本后处理把 Voxtral-Mini 和 Whisper 在 S-DiverSe 上的总词错率降到 23.73% 和 22.01%,而全量微调在域外反而恶化到 26.81% …
针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题,论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测,在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升,代价是通用声音检测有轻微负迁移。
针对多人混叠语音要同时恢复每路干净信号并知道谁在何时说话的问题,论文把分离改写为以混合 token 与语义特征为前缀的自回归 token 生成,用 15k 小时合成多语对话做监督微调,在 LibriCSS 与 CallHome 上以可运行基线对比显示更低的日志误差与更高的听感质量,代价是输出为重新生成而非波形原样保留且长序列下误差会累积。
针对自发语音内容多变、录音条件不可控下呼吸信号易被淹没的问题,SpiroPhonia 用声学扰动加频谱加停顿三类手工特征与两阶段特征筛选做被试独立分类,最强证据是在 41 人留出测试集上 78.05% 准确率与 87.14% AUC,代价是 201 人小样本与公开平台数据的选择偏差及跨语言跨设备泛化尚未验证。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
针对 360 度视频加单声道全指向声缺失方向分量的问题,论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道,在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量,但噪声与重叠声源下仍不稳定。
针对语音伪造检测只给真假标签而缺可核对解释的问题,该工作用冻结检测模型的可解释人工智能归因图加声学特征重要性约束多模态大模型生成时频定位解释,在 PartialSpoof 上以人工评分和定位保真度检验显示定位精度大幅提升,但多模型聚合会增加推理难度与不稳定性。
论文把已有的 66 小时真实家庭录音重新标注为哭、闹、不适之外的三类,用 YAMNet 嵌入加 RBF 支持向量机把二分类宏 F1 做到 0.803、三分类做到 0.624,代价是闹的精度仍低且对实验室数据的跨域优势混杂了数据量差异。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
论文用 85 人配对健康与感冒录音检验感冒对说话人嵌入的影响,发现传统声学特征经多重校正后大多不显著,而四种现代嵌入均出现可测量的有向偏移,其中 TitaNet 相对偏移最大但验证错误率仍保持在 1.51% 到 3.10% 之间。
针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。