同语不同域就该拉得轻一点:半正样本对比如何约束语言聚类
针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。
针对跨语料口语语种识别的域偏移问题,该研究用音频文本双模态编码加半正样本对比损失约束同语跨域样本以弱权重靠近,印度 12 语实验显示 Whisper 版在未见域上取得最高准确率,但 IndicVoice 绝对精度仍低且推理只用音频分支。
针对试内自发注意切换导致的脑电噪声与神经延迟问题,SAGE 用双候选分离加脑电引导软门控、延迟补偿与不确定性保守平滑处理,在自发切换数据集上报告 8.67 dB SI-SDR、88.24% STOI 与 2.04 s 平均切换延迟,代价是依赖同步脑电与三阶段训练。
论文要解决文本相同但语气不同时图像该如何变化的问题,用 ProsodyCLIP 加解耦适配器把韵律信号单独注入 280M 蒸馏 U-Net,在 RAVDESS 上报告 71.3% ECA 但 FID 落后于大模型且只限面部表情评价。
针对儿童需要在家反复练但难坚持、且传统音素级判断只说对错不说错在哪的问题,SayCheck 用 Say Bananas 做采录与动机层、用 PhoneAid 做音素与音系属性两级分析,展示了从选词到录音再到汇总报告的可走通流程,但原文未报告受控实验数字与训练细节因而只支持可行性判断。
为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词,该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头,在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%,最坏情况计算量为 16.34M,低于同预算适配器与低秩适配的 18.45M 与 20.52M。
针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。
论文以连续扩散直接建模对数梅尔谱研究无文本语音语言模型的可扩展性,用音素 JSD 度量语言性并在十档算力上拟合验证损失与下游指标的扩展律,发现最优词元参数比随算力下降且等损失带变宽,但把模型推到 16B 参数与数千万小时对话数据后长程连贯仍是主要代价。
针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。
论文以 20 种经典与神经编解码条件的 P.800 实验室与 P.808 众包 DCR 对照为基准,证明未筛选众包存在量程压缩与方差增大,并以陷阱题加最低参考分与量程加锚点排序的组合筛选把条件均值误差降到 MAE 为 0.230,代价是仅保留 7 人因而需超额招募。
针对词错误率把声学失败与格式失败混为一数且在马拉雅拉姆语等黏着语中因合法连写被结构性夸大约三成的问题,论文用带连音容忍对齐的四维误差向量做诊断评估,并用大模型清洗管线训出印地语等三语丰富转写模型,最强证据是数字维度与专家评分相关达负 0.92 而词错误率多维不显著,代价是标点仍高达百分之十以上且本次未能确认代码权重可达。
针对会议中噪声与音量起伏并存的问题,SE-AGCNet 用 MP-SENet 做增强加轻量 AGC 做响度归一并联合训练,在 LibriAGC 与两套真实会议数据上把响度拉回 -23 LUFS 附近并降低识别错误率,代价是依赖仿真数据与两阶段课程训练。
针对 L2 发音错误分布多变而标注难以覆盖的问题,SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块,使每个测试句都能触发内循环权重更新,最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1,代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。
针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题,论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据,证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右,而在新数据上微调可恢复到 0.2% 左右,但伴随原域遗忘与语言间难度差异。
针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。
针对声音到人脸一对多映射导致口型不一致的问题,该文把可见发音拆成张开、展圆、前突三个方向,先用语音发音记忆检索方向运动再用网格拓扑组合成表面一致的顶点运动,在保持整体重建的同时改善了唇部距离与速度误差,代价是两阶段训练且不建模上半脸随机动态与口内结构。
针对整句独热标注模糊和变长聚合稀释问题,该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入,再用图注意力做序列到一聚合,并在后训练和微调用自蒸馏与监督对比增强鲁棒性,在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率,在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差,但 …
针对自回归语音理解中强制意图前缀仍可恢复槽位的能力残留问题,论文提出两阶段绑定子空间遗忘方法,在 SLURP 上把强制前缀下的 BRR@10 从 92.64 降到 22.10、语义相似度从 90.14 降到 24.80,同时保留集性能基本稳定。
针对语音大模型逐词元自回归推理慢的问题,该文用冻结 CTC 编码器的贪心假设做草稿,经熵门控与单次 LLM 似然校验加失败回退,在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%,代价是高速档有约 12% 相对词错率上升。
针对录音自语音不自然问题,论文用浏览器交互系统 SELFIX 把搜索约束到音高、声道长度和两种滤波器共四个可感知维度,在 25 人概念验证中发现一致的低频提升和男性特有的降调加长声道,而多滑块组合进一步提高了匹配评分。
针对连续隐表示在重建保真与合成可懂度之间的权衡,论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE,在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线,而重建质量与普通变分自编码器基本持平。