用演戏游戏收集韵律语音:更难的情感识别与藏不住的说话人信息
论文用试镜与选角双角色游戏收集多语言情境化韵律语音,再用冻结表征加轻量分类器做情感识别与分阶段探测,显示库内情感可学但跨库更难,且年龄与情感在中间表征仍可恢复,代价是整体规模小、非专业表演变异大。
论文用试镜与选角双角色游戏收集多语言情境化韵律语音,再用冻结表征加轻量分类器做情感识别与分阶段探测,显示库内情感可学但跨库更难,且年龄与情感在中间表征仍可恢复,代价是整体规模小、非专业表演变异大。
针对音频谱图变换器被掩蔽块仍占自注意力计算的问题,该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并,在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒,代价是可合并比例受掩蔽块数量上限约束。
针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。
该研究以 102 名 5-8 岁儿童的 816 个听觉正常波兰语/s/为对象,用线性混合效应模型检验词首、词中、词尾对质心、偏度、峰度和频谱通量的影响,发现词首与词中对比最强且稳定,而词中与词尾多不显著,代价是仅 8 个词且词位不平衡、未建模年龄与时长。
该文把主动语音交互拆成四个可判定任务,用 1182 条合成语音样本测何时介入与介入做得对不对,发现主流多模态模型普遍过度触发且思维链能部分缓解但未根治。
针对自然语音中多情感共存却被多数投票抹掉的问题,该工作把 MSP-Podcast V2.0 的众包投票转为确定性多热标签并控制长尾,再用 MFCC 与 log-mel 双分支 Mamba 融合建模,在 Test1 与 Test2 上微平均 F1 约 0.50 的同时把参数量控制在约 3M 量级,代价是尾部情感在固定阈值下依然难以检出。
针对无注册音频时噪声嵌入不可靠的问题,G-MaP-SE 用离线拟合的干净嵌入高斯混合先验对噪声嵌入做软匹配修正,再经门控融合注入 MP-SENet,在 VoiceBank+DEMAND 训练并在 DNS2020 跨域验证,最强证据是跨域条件下缩小与 oracle 干净条件差距,代价是先验质量受干净数据规模限制且部分样本仍可能匹配到次优原型。
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题,GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模,在 AIST++ 与 TikTok 上取得最高的节拍与质量指标,代价是依赖姿态与预训练编解码器且演示链接当前不可用。
GADVOX 针对德语缺失焦虑抑郁双标注语音的问题,用 10 个随机化中性自由言说提示在众包平台采集 1004 人语音并配对 PHQ-9 与 GAD-7 自评严重度分数,以 29.3% 多阶段质检换取可做双目标回归的数据,最强证据是量表内部一致性与质量-严重度无相关的核查,代价是自评非临床诊断且样本偏向高教育数字人群。
针对 Whisper 类 Transformer 在噪声、窄带、方言和儿童语音上的失配问题,论文把 Conformer 式门控深度可分离卷积放进作用于注意力输出投影的低秩旁路,在 Whisper-medium 上以 447k 可训练参数把四套测试集词错误率降到 11.5、6.3、9.9 和 8.6,代价是新增卷积超参数与推理侧少量时延和计算量。
论文用三数据集、四系统、十一档性别配比共 132 次训练检验微调能否揭示构成与偏差关系,最强证据是 Kaldi 从头训练下 DDS 随女性占比单调翻转超 80 个百分点而三预训练模型始终在约±12 内无序波动,代价是平衡微调数据不足以修复预训练带来的偏差。
该研究以开慧湘语入声 T6 为对象,用基频、时长和嗓音质量三维声学对比入声与非入声并检验性别,报告显示塞尾已消失但降调轮廓与短时长保留、喉化前移,且男性时长截断更保守、女性时长弱化与发声创新更前沿,代价是仅有中老年横断面而无青年对照与多韵律条件。
针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。
针对行政标签掩盖真方言差异导致评测失真的问题,GLAD-CSpeech 按《中国语言地图集》划分 16 个方言区 23 个点并分离真方言与带口音普通话,用 163.3 小时以上三层对齐语料在 ASR、TTS、DID 上报告基线,最强证据是 DID 微调后宏 F1 达 99.08% 而零样本仅 72.29%,代价是温州、梅县等非官话点 ASR 仍极难且长文本重 …
针对无监督声脸关联中的跨视频假负冲突与模态私有噪声干扰,GMOD 用全局相似图挖掘多正样本做对比学习并用正交解耦分离共享身份特征,在 VoxCeleb1 上报告验证 AUC 为 87.73%,代价是每轮需重建全局图与调控邻居数 k。
针对干净与多种增强梯度方向冲突和幅值失衡问题,论文提出以干净梯度为参考的对齐加指数滑动平均幅值归一化,在保持干净锚不变下用可运行的多增强训练在域外集上降低等错误率,但冲突裁剪阈值与参考选择仍需更多验证。
该研究在儿向语上比较音素与语音转写下的四种无监督切词算法,发现两类算法几乎不受语音变体影响,另两类下降幅度也明显小于成人语既往报告,但小数据下基于词典累积的算法代价增大。
该文把长音频活动识别做成从事件序列出发的层次解析,用训练脚本归纳的概率上下文无关文法加噪声节点约束子活动顺序与组成,在 MultiAct 上以事件监督恢复子活动切分与活动标签,最强证据是 Eval 子活动 Edit 从 24.6 到 35.3 的顺序一致性提升,代价是边界精度在严格 IoU 下未同步改善。
针对远场多说话人音频让口语大模型直接做带说话人归属的转写和问答会遗忘推理能力的问题,论文选择冻结大模型解码器、只在声学编码器侧用 diarization 条件做目标说话人抽取,Dixtral 在四套转写集上宏平均 cpWER 为 15.4%,代价是每个说话人需独立编码解码一次且问答微调会损伤逐字转写精度。