关键词只偶尔出现,为何卷积要每帧都全算一遍:子模型短时记忆的稀疏调度
针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。
针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。
针对自监督预训练偏重语音内容而忽视局部伪造痕迹的问题,该文提出混帧扰动加帧级监督的中间后训练阶段,在 ASVspoof5 上以无增强单模型取得 4.50% 等错误率,并在 ASVspoof2021 上把 LA 与 DF 差距压缩到 0.16 个百分点,代价是需要额外调拼接比例与 LoRA 位置。
针对流式多说话人下感兴趣区语音提取,Sweep-RSE 用目标中心相位对准加窗内显式扫描锁定目标并用差异特征抑制窗外干扰,报告在 Realistic 集 Q=1 取得 12.88 dB 并在空区实现 96 dB 以上衰减,代价是因果流式相对非因果仍有约 0.84 dB 下降。
论文以能否保留副语言信号为问题,用八个开源克隆模型在复述与固定文本下做下游分类对照,最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移,代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。
针对多模态讽刺中字面积极与非言语冷淡之间的稀疏冲突被联合融合抹平的问题,T-ORR 用动态局部对齐、正交残差分解和冲突路由做信号分离,在 MUStARD 上报告 F1 为 76.8%、在 MUStARD++ 上报告 72.4%,代价是依赖可观测的声视觉不一致且新增对齐与几何约束分支。
针对文本语音联合建模中语音单元远长于文本且原 TASTE 依赖外部离线 ASR 与非因果解码器的问题,TASTE-S 用内置 CTC 识别加全因果分块解码实现流式文本对齐分词,证据是在 LibriSpeech test-clean 与长语音重建上保持相近质量的同时把编码与解码实时率降到远低于实时,主代价是需两阶段联合训练且部分自然度评分受去噪与评测条件影响。
针对纯文本对齐与声学解码接口不匹配且难度不可控的问题,TASU2 用词错误率分档控制的文本到 CTC 后验模拟器生成伪声学监督,在 LibriSpeech 源域和 SlideSpeech、TED 等多域上优于 TASU 和 TTS 增强,代价是模拟器需先用七分之一 LibriSpeech 加增强的教师后验训练且主实验固定使用低错误档。
针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。
针对声音事件检测需要帧级定位而轻量模型容量不足的问题,论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD,最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574,代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。
论文针对开慧话极高调 T4 究竟是假声还是紧喉真声的问题,用全声调多维声学比较证明 T4 是低频谱倾斜更平的紧张型真声,且在与 T6 基频趋同时音质差异消失,代价是仅有声学证据、老年样本与句中单一语境。
针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。
论文检验参考与生成语音的情绪嵌入余弦相似度作为情绪评价指标的有效性,用受控三元组、对抗干扰和人类偏好对照证明其在说话人与文本干扰下失效,最强证据是语言干扰下准确率跌至个位数且与人类判断基本无关。
论文以跨生成器与黑盒低资源两条赛道检验环境声真假判别,第一名在两赛道均把等错误率压到 0.3% 左右,代价是依赖大规模自监督表征、针对性增广与多系统集成。
该挑战要求把对话中韵律承载的语用意图连同词义一起翻译,证据显示最佳音频系统主观评分 3.46 仍比人类重演 4.59 低 1.2 分,而特征映射基线几乎未被超越。
论文用一周颈表加速度计的 14 维帧级嗓音特征做两类发声过度功能检测,任务 1 全部队伍超基线且最优 AUC 达 0.93,任务 2 仅四队超基线且最优 0.86,代价是对日内时变建模敏感且非创伤型更难分。
本研究以 30 名台湾华语韩语学习者的四选一尾音辨认任务检验韩语塞尾音/p,t,k/的感知,报告/p/>/t/>/k/的层级与元音条件混淆转移,而初级与中级组间无显著差异,代价是小样本、课程分组与双发音人刺激限制了推广。
该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知,最强证据是法语组尽责性多模态准确率 67.1 的分类结果,代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。
针对头戴相机难做儿童友好硬件与人工标注耗时的问题,论文用基于 Insta360 GO 3 的 TinyExplorer Gear 加本地运行的 TinyExplorer Detection App 解决,已验证人脸检测与关键词检出召回 78% 精确率 77% 接近人工一致性均值 82.36%,代价是手部与音频能力仍在集成中且依赖自然游戏录制条件。
该研究以 35 对英语异形同音词共 14000 个自然语料 token 为对象,用 50 帧时间归一化梅尔频谱与音素对数值比较同对词的音段实现,并用广义加性模型检验语境语义可分性对语音可分性的调节,代价是结论依赖强制对齐、线性判别与观察性建模而非因果操纵。
针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。