只在跨度完备时生成:预训练文本模型做流式逆规范化的读标写路线
该文解决流式语音识别词流需要即时转写为书面形式的问题,用预训练文本到文本模型加读标写策略把生成限制到完备跨度,在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%,代价是仍缺未来上下文且长跨度需等待完备。
该文解决流式语音识别词流需要即时转写为书面形式的问题,用预训练文本到文本模型加读标写策略把生成限制到完备跨度,在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%,代价是仍缺未来上下文且长跨度需等待完备。
针对语音伪造检测泛化差且缺可解释推理的问题,该文用 4 万条人类标注的伪造线索做思维链监督,在 SALMONN 上做二分类与推理联合微调,最强证据是 Test-1-HL 上 EER 从 15.7% 降到 13.2%,代价是推理质量提升小且对高保真未见合成器仍吃力。
该研究用同一批 66 名德语肌萎缩侧索硬化患者的五种语音任务预测言语功能评分与构音障碍生活质量问卷评分,最强证据是跟随个人的纵向设置下重复音节任务对生活质量问卷达到一致性相关系数 0.86,而持续元音在两种设置下均最弱,代价是随访样本仅 17 人且数据不公开。
论文研究传统编码再经神经音频编码器转码后来源是否可辨,选择分层建模 RVQ 层间与时间依赖的 Transformer 框架,在固定码率下以 97% 以上准确率证明旧痕迹仍可辨,但高码率下 MP3 与 Opus 仍易混淆。
针对参考音频需要转写文本导致的脆弱性,RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS,在构音障碍集上把 WER 从 24.62% 降到 10.39%,代价是说话人相似度从 0.60 降到 0.50。
针对异常声音检测中一机一模型部署成本高的问题,UD-ASD 用条件投影器加条件扩散重建加高斯混合打分实现统一建模,在 DCASE2022 Task2 上报告了相对基线的 AUC 与 pAUC 提升,但仍依赖准确机器标签且推理需要多步采样。
针对普通话热词识别中过度偏置与同音误报的矛盾,UGPCB 在冻结的 Dolphin 模型上用解码时熵门控决定何时加偏置、用字形与拼音双通道交叉验证决定如何奖惩,在 SeACo 测试集上报告召回率从 68.15% 提升到 84.19%、F1 达到 90.81%,代价是背景错误率小幅上升与干扰词增多时误报增加。
针对 vlog 抑郁二分类中特征高度重叠而标签只有 0/1 的问题,该研究用互 Transformer 做音视频融合再以优势加权排序损失同时拉开类间间隔与压紧类内方差,在 D-vlog 上 F1 为 77.66、在 LMVD 上 F1 为 77.01,但阈值需在验证集上重标定且尚未验证临床数据。
针对 16/24/48 kHz 需多模型或外部重采样的矛盾,该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征,在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750,代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。
UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上,在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果,代价是双任务共享参数带来自然度和说话人相似度的折中。
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
针对无声说话人视频的转录时间对齐问题,V-Align 把帧-音素相容格上的单调遍历作为核心结构,先无边界学习路径分布再用词级 MFA 精修,在 LRS2 上以 32.9 ms 与 91.2% 取得最优,但第二阶段仍依赖音频对齐监督且未公开可运行代码。
该研究以 459 名日语被试的回放与听觉想象对照量化自我声音厌恶,证实回放比想象更不适且身份相似感不变,顺序与个人特质调节差距,而可复制的声学主效应稀少、特质与声学交互更关键。
针对机场问询中口音英语可用性问题,LocalMATE 用口音估计加缓存、问答检索接地与口音条件语音加说话人脸视频组织端到端流程,最强证据是说话人无重叠下三类口音估计可用且正确适配提升信任而错配损害信任,代价是错配与视频增益有限且需以低置信回退到中性音来兜底。
论文以音频脏标签投毒追踪后门如何穿过编码器、连接器与语言模型,证明全管线攻击在四类任务上均有效,而单个组件的暴露或冻结决定后门存留,且多任务嵌入让中毒样本不再直接可分,代价是防御常用的二分聚类假设失效。
针对平行耳语数据稀缺导致耳语转正常语音韵律和音色难恢复的问题,WhispEar 用统一语义表示做双向转换并以容易的正常转耳语方向生成大规模伪平行数据,主实验显示 WhispEar-Scaled 在中英文测试上同时提升可懂度、音质、基频相关性和说话人相似度,代价是仍需少量真实对齐数据微调且依赖共享声学模型与声码器条件。
针对保留原旋律重唱改写后歌词的编辑任务,YingMusic-Singer 用旋律片段加目标歌词直接合成,并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性,代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。
针对音频语言模型中提示学习提升基类却损伤新类的问题,ZEBRA 把零样本对数与提示学习对数加权融合再做自熵正则,在 11 个数据集平均上把新类准确率从低于零样本拉回到零样本之上,同时基类保持在 80% 左右,代价仅是训练测试时间增加数秒且不增加可学习参数。
该文用 Whisper-small 共享编码器加三分类门控在推理时按需激活转写、情感和场景头,在自合成的 ESAS-32K 上把非语音幻觉率从 96% 以上降到 1% 以下,代价是固定 10 秒英文合成数据与有限场景下的验证边界。
针对客服通话中尾部命名实体易被流式识别错且错误会污染客户关系管理录入的问题,该研究用实时伴随界面收集人工确认修正并由反射子智能体离线更新上下文偏置表与事后替换规则,在英语评测上把命名实体错误率相对降低 17.1% 而代价是偏置表在 3 批内即触及 500 容量上限。