要留住达基尼口音,先别让话筒吓走它:一次电话采集的方法拆解
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
该文用冻结自监督表征做无标注音频到音频检索,在哼唱找歌上用嵌入加动态时间规整最强,在语音找例上用量化聚类加词频逆文档频率最强,而时间敏感性分析解释了为何两域需要相反策略。
针对神经音频编解码流式匿名中情感被续写偏置抹平的问题,论文用同说话人中性提示配情感源重构监督并在慢自回归声学隐状态做帧级蒸馏,在 VoicePrivacy 2024 上把情感保留推到流式最优,同时延迟保持 180 ms 且推理不新增模块。
针对日语词/saN/中擦音/s/、元音/a/、鼻音/N/的说话人区分信息在频谱上如何分布的问题,研究用线性变换由全带倒谱直接导出子带倒谱并做似然比取证比对,最强证据是全带条件下/a/平均 Cllr 为 0.38766 优于/N/的 0.43473 和/s/的 0.68110,代价是高频 7-8 kHz 子带普遍偏弱且敏感子带位置不能完全由发音生理预测。
针对巴西葡萄牙语自发语音缺乏统一评测的问题,论文把多个公开语料的测试集拼成 72.46 小时的 Tarsila-ASR,用它评测开源模型并以 1156 小时会话数据微调 Whisper-large-v3 得到最低词错误率,但代价是推理更慢且中间检查点优于长训练。
该研究用音频加文本加图片描述任务图像的三路融合回归预测 MoCA 与 MMSE 分数,最强证据是图片描述任务上 E6 达到 MoCA 均方根误差 2.11 与 MMSE 均方根误差 1.85 左右,代价是小样本波兰语队列、无外部验证且视觉接地只适用于图片描述任务。
针对合成语音质量评估依赖人工 MOS 且跨语言跨系统泛化差的问题,TDScore 用 TTS 训练中的检查点轮次与训练损失作伪标签训练质量预测器,在法语训练、英法评测上显示轮次标签与人工 MOS 相关而损失标签更不稳定,但仍受 TTS 训练动态与饱和截断策略限制。
针对部分伪造音频中短篡改片段难定位的问题,该研究用多尺度 GRU 建模时序连续性并以帧真伪、方向转移、融合精修三头联合监督,在 20 ms 分辨率下于 PartialSpoof 取得 6.45% 帧级等错误率并在 PartialEdit-E1/E2 取得 4.50% 与 3.85%,代价是需要精细帧标注与多损失调参。
针对离散音频令牌在文本无关说话人确认中明显弱于滤波器组特征的问题,论文用滤波器组教师指导令牌学生的跨特征知识蒸馏对齐说话人嵌入方向,在 VoxCeleb 上把令牌系统的等错率从 3.38% 降到 2.25%,代价是需要先训练好教师并使用远大于常规的蒸馏权重。
论文以口部辐射为唯一声源的边界元仿真为对照,用假头扫频与两人真人发声的相对传递函数对比,报告耳周尤其是耳下麦克风在 1 千赫兹以下出现仿真无法解释的幅度抬升,代价是样本仅两人且振动传感器未标定。
该研究用 3 种语境×3 种韵律的听辨实验检验中国英语学习者的反语理解,显示语境起主导作用、韵律在语境模糊时独立补位,而语言水平效应很小。
该研究用超声逐帧追踪舌背与舌骨并做多变量建模,报告/g/以更长更大更快的舌背抬升和舌骨后缩对应低 f0、/k/以舌骨上抬前移对应高 f0,代价是舌轮廓本身差异极小且无声带预振动可直接验证。
该研究用冻结线性探测在 26 个语料、49 层表示上做跨语料迁移,发现第 15 层跨语料 F1 最高为 0.392 而 45 层下降 24.6%,均值池化 wav2vec2 比 27 维声学特征高 41% 但后者保留 71% 性能且复杂度低 3.7×10 的 7 次方倍。
该研究在守言与梅花两个湘方言中比较卷舌元音、高前元音与低后元音上的平调对立,用基频、时长、强弱与嗓音质量多线索加混合模型与 XGBoost 加 SHAP 说明高调更短更响更周期而元音与调系改变线索权重,但代价是仅男性发音人与单字载句朗读的受控证据。
该研究用超声舌轮廓加无监督聚类回答普通话卷舌擦音如何实现,发现六个轮廓簇可归为穹顶形、驼峰形和凹形三种超策略且发音人偏好稳定分组,代价是仅五位女性发音人、低帧率和小样本的探索性结论。
针对 CTC 早期只预测空白标记导致的抑制期问题,论文提出在 wav2vec 2.0 微调中从元音/浊辅音/清辅音三分类过渡到全音素 CTC,并在英法波兰三组数据上把音素错误率相对降低 9.5% 到 14.3%,代价是只验证了一种 S 形调度和一种粗粒度划分。
针对参量阵扬声器非线性自解调难以建模的问题,论文把任务从音频到音频改为超声到音频并用多速率 WaveNet 实现,在同一 USBAM 样机上以总谐波失真与互调失真误差为指标优于同骨干音频输入网络与二阶 Volterra 滤波器,代价是需要 192 kHz 超声输入与同步采集条件。
该文把五种粗化或缺失的韵律输入统一为线性退化求逆,用有监督扩散与无监督逆问题采样两条路线恢复帧级韵律,主观上无监督方法在严重退化下接近真值韵律,但盲估计与推理代价仍是限制。
ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题,用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer,在约 17000 小时越南语无标注语音上预训练出 78M 参数模型,在识别、情感、方言和说话人验证四类任务上报告最优平均结果,代价是仍需大规模预训练算力与多条件微调验证。
针对 360 度视频加单声道全指向声缺失方向分量的问题,论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道,在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量,但噪声与重叠声源下仍不稳定。