小模型直转国际音标:中间监督与双视图一致性如何压低字符错
BranchShine-CR 用 25.39M 参数、log-mel 加 12 层旋转位置 E-Branchformer、中间自条件 CTC 与双视图一致性正则,在 16646 句共享测试上取得 4.47% 国际音标字符错,相对 ZIPA-CTC-NS 降低 22.3%,代价是整句完全正确率仍低于后者且大基线训练划分并不完全可比。
BranchShine-CR 用 25.39M 参数、log-mel 加 12 层旋转位置 E-Branchformer、中间自条件 CTC 与双视图一致性正则,在 16646 句共享测试上取得 4.47% 国际音标字符错,相对 ZIPA-CTC-NS 降低 22.3%,代价是整句完全正确率仍低于后者且大基线训练划分并不完全可比。
该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。
针对固定采样率建模与频点数增加带来计算膨胀的问题,TF-Refiner 把深层分析限定在可配置截止频率以下并用浅层解码加局部复数滤波保持全频带输出,同一套在两种采样率训练的参数可用于未见采样率,代价是推理时仍需按预算选择截止频率的工作点。
针对全双工对话模型很少显式建模倾听反馈时机的问题,论文在冻结思路下外挂一个从主干隐藏状态预测反馈起始概率并用阈值触发强制解码的两层头,在 7B 与 1B 两个模型上验证了频率可调与人类评分持平,但高频档会抬高抢话率等代价同时代码链接当前不可用。
开放词汇声音事件检测要求对任意文本查询输出精确时间边界,COSED 以双编码器加高分辨率时序精修与语料作用域掩码加闭合开放联合监督为选择,在六任务统一零样本基准上五项最优一项持平,代价是多语料联合训练与精细时序建模的复杂度。
DAMSEP 针对单麦克风混叠下丢失空间信息的问题,用分离主干加共享去混响与多声源复数传递函数估计做联合训练,在 HETMIXR 上以可复述的混响重建约束实现分离与近远排序,最强证据是相对 TF-Locoformer 的 SI-SDRi 提升 0.65 dB,代价是需要成对干净与混响监督和固定扫频解码流程。
在每次网络求值都执行 18 次块调用的共同条件下,论文比较七种权重重用布局,显示 SEQUENCE 以 83.6M 参数对 158.0M 基线在 32 步保持可比可懂度,而共享段位置主要影响 4 步可懂度且只有 Middle 在两数据集两种步数下词错率均排前二。
论文以最小对立体偏移方向的余弦检验听觉与文本两流是否共享区别性特征方向,最强证据是仅清浊特征在两个 Qwen2.5-Omni 模型中通过多重校正,而随机配对基线在模型间相差达 7 倍,说明不能对零比较。
该文在因果语音增强梯子上用深监督加逐帧单调修复得到可比静态族,证明路由相对专用静态可高出约 0.11 感知质量但与修复后静态前沿差距小于 0.01,且在 STM32N6 实测时延上动态执行只提供同一梯子内的中间工作点。
针对球麦测得空间房间冲激响应中早期反射互相重叠且高度相关的问题,该文把声场写成连续平面波叠加并反演方向核,再用球面高斯拟合与信息准则数出反射个数,在仿真与实测中提高了多回声同时存在时的定位精度与检出率,但弱回声仍受动态范围与阶数限制。
EditVoice 针对非自回归零样本合成须先定长才能并行生成的问题,用编辑流在采样中联合做插入、删除、替换以同时改内容和长度,并以语音填充训练统一合成与编辑,再用互补提示采样与生成后修正提稳内容一致性,代价是每步需评估两种提示摆放且启发式一致性规则依赖阈值。
针对可逆恒 Q 变换各频带时域系数不等长导致的多次核启动与搬运开销,论文用打包实信号傅里叶加固定路由表把选频加窗重排折进带内短逆变换,在同算子同长度基线下把分析合成往返加速两到八倍,代价是实现固定在 65536 点切片并依赖重叠切片处理长信号。
针对每阶段只标注新类而旧类标注缺失的多标签音频类增量问题,论文用冻结编码器加解析闭式线性分类器递推累积统计量,并在 ALMA 中补连续旧类分数与频率加权,最强证据是 Setup A 上 ALMA 平均累积 43.32% 与最终 39.08% 且旧组局部保持 47.8% 左右,代价是样本加权基本无增益且长序列下与存历史数据的上限差距拉大。
TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索,以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81,代价是流式与弱模态组合仍有质量与语义折中。
论文研究只用仿真训练的单通道距离估计器在真实语料上直接失效的问题,选择冻结估计器加几十条标注拟合仿射映射的路线,最强证据是 QMUL-TIMIT 干净条件下相关性 0.63 的模型经校准后明显优于常数均值,而代价是在低相关语料上斜率估计噪声会超过收益因而应退回常数预测。
论文在冻结编码器加固定轻量后端的配方下,用约 315M 容量的 wav2vec2 家族对照 1 到 1406 种语言覆盖,并用相同 Libri-Light-60k 数据对照掩码预测与对比目标,发现域外误差在 128 语言处触底而 1406 语言不再提升,且掩码预测明显更稳,代价是结论限定于单训练语料与固定流程且覆盖与数据量无法彻底解耦。
论文在统一骨干与训练配方下比较 4 种隐宽度与 4 种帧率共 16 个连续编码器,报告重建在 1024 维 25 赫兹处最好而下游识别与问答在 12.5 赫兹中等宽度处最好,且冻结模型的半数主成分干预显示重建容忍与识别失效可以分离,但窄瓶颈训练不等价于事后降维。
针对语音识别遇到训练未见词时语言模型无法给分的问题,该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词,再只学新增词符的嵌入与拼写分布,LibriSpeech 上 OOV 字符错最高相对降 14.97%,代价是只对重复出现的新词有效且依赖 CTC 候选质量。
该研究在十个城市中心 2×2 km 街区施加完全相同的无人机与载客 eVTOL 飞越作业,用道路基线加低空航空器增量的三维声传播仿真,证明水平与立面暴露差异主要来自既有道路噪声基线与城市形态的联合塑造,代价是恒定 100 m 平飞、标准化交通与单街区代表等强简化假设。
Mizar 针对 200M 参数以下本地音频理解问题,用 CED-Small 加频率合并映射器连接 SmolLM2-135M,并以三阶段训练组织 ReasonAQA、AudioMCQ 与 AVQA 监督,在 MMAU 等三项基准上报告超越同规模 Mellow 的结果,代价是仍需三阶段调参与教师模型辅助筛选。