用线性可逆变换把音色压掉:通用语音内容因子化的开集做法
论文把闭集语音内容因子化扩展为通用线性映射,用最小二乘求通用语音到内容矩阵并以数秒目标语音估计说话人矩阵,在保持可懂度和自然度的同时付出说话人相似度弱于闭集与检索基线的代价。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文把闭集语音内容因子化扩展为通用线性映射,用最小二乘求通用语音到内容矩阵并以数秒目标语音估计说话人矩阵,在保持可懂度和自然度的同时付出说话人相似度弱于闭集与检索基线的代价。
论文要解决说话时大脑、肌肉和声道运动无法同拍同看的问题,选择在 0.55T 实时磁共振里同步采脑电和表面肌电并做三级去伪迹,初步显示磁伪迹被压到接近机外水平而代价是单被试、低密度脑电和前极残留扰动。
论文用带限倒谱系数扫描 0–8 kHz 并做似然比法庭语音比较,报告全频带 Cllr 为 0.13643,而 0–0.6 kHz 与 4–6 kHz 最具区分力、7 kHz 以上最弱,多子带融合可进一步低于任一单子带但仍未达到全频带水平。
针对人工耳蜗用户节奏感知弱的问题,BeatGain 在保留人声并重混打击成分的基线上加入节拍引导的时变增益,客观复杂度估计下降且节奏清晰度偏好显著提升,代价是偏离原混音略增且目前只验证 4/4 拍。
针对临床录音需外传处理带来的延迟与信息技术障碍,该演示把韵律分析全流程搬到 NVIDIA Jetson AGX Orin 上本地运行,用麦克风采集、显示器呈现交互仪表盘,并以快于音频时长的本地处理支撑床旁复核与重算,但原文未报告可比精度与延迟数字。
针对生成式语音增强中条件信息不可靠的问题,HFMSE 用轻量谐波编码器提取基频与谐波掩码作为持久条件约束流匹配模型,在 DNS Challenge 2020 上提升感知质量与说话人相似度,但推理仍需 ODE 求解与声码器级联。
针对窄带语音缺失高频的问题,HWB-plus 用双路加权高斯混合分别建模周期与非周期成分并引入梅尔尺度初始化,在保持 194K 参数和 12.39M MACs/s 量级开销下报告了 DNSMOS P.808 达到 3.55 与 PESQ 达到 3.83 的感知质量提升,代价是 LSD 未取得最低且高采样与特定滤波构造下的结论边界需要复核。
该研究用三维有限元求解弯曲声道在 14 千赫兹以内的传递函数,发现均匀截面弯曲几乎不改变共振,而元音 A 型非均匀截面在 8 千赫兹以上出现随弯曲角移动的反共振和横向声压结构,代价是理想化圆形截面和开口边界假设限制了向真实发音的直接推广。
针对动态说话视频中唇同步线索不可靠的问题,该工作用说话人距离与语音能量的物理一致性做检测,在动态子集上取得 0.7449 的 ROC-AUC 并与唇同步模型集成带来增益,代价是依赖深度估计与声音分离质量且近距离麦克风等场景下关系会被削弱。
针对经典线性预测按帧独立且假设高斯残差导致轨迹抖动的问题,论文提出直接优化对数面积比的 LP-DDSP 与端到端 SMELP,在 VTR 库上把平均误差降到 166-246 Hz,代价是 LP-DDSP 需每句 1500 轮逐句优化。
问题是深度学习语音表示多而散、难以与 Praat 式交互分析衔接,方法是用 Python 后端加网页前端统一连续、离散与变长表示并做可切换距离与对齐的单句分析与双句比较,代价是本研究不报告定量精度对比且强制对齐依赖额外服务。
针对日语词/saN/中擦音/s/、元音/a/、鼻音/N/的说话人区分信息在频谱上如何分布的问题,研究用线性变换由全带倒谱直接导出子带倒谱并做似然比取证比对,最强证据是全带条件下/a/平均 Cllr 为 0.38766 优于/N/的 0.43473 和/s/的 0.68110,代价是高频 7-8 kHz 子带普遍偏弱且敏感子带位置不能完全由发音生理预测。
论文以口部辐射为唯一声源的边界元仿真为对照,用假头扫频与两人真人发声的相对传递函数对比,报告耳周尤其是耳下麦克风在 1 千赫兹以下出现仿真无法解释的幅度抬升,代价是样本仅两人且振动传感器未标定。
针对增强伪影损伤识别的问题,该文提出免训练的置信度加权观察相加方法,在多种增强与识别组合上降低词错误率,但当含噪与增强差距过大时仍可能不及最强单路。
该研究把 GCC-PHAT 拆成可探测的中间目标,追踪 MLP、CNN、Transformer 各层学到什么,最强证据是互功率稳定可解码而 PHAT 相位始终不可解码,代价是混响下时延本身的可解码性仍随 T60 下降。
该研究用腭长缩放加咽腔测量锚定的前后向单自由度弯曲来对齐跨说话人 EMA,把 DDK 舌轨迹离散度从 31.28 mm 降到 26.13 mm,但留一说话人岭回归的 F1/F2 预测并未提升,说明几何可比性不等于说话人无关的发音到声学映射。
针对加性噪声下相位符号难判的问题,该研究用余弦与正弦几何算出候选相位,再用双路一致性迭代收敛到其中之一,oracle 试验证明上限可达 0.87 余弦相似度,盲测在保持可运行条件下与直接相位估计相当并在背景抑制上略优。
DsNA 针对合成语音难溯源问题,在文本转语音输出之后把音频切成 2 块、把音频与元数据派生的密码签名切成 3 个碎片再交错拼接,报告在 250 条样本上原始与指纹音频信噪比同为 45.2 dB 且平均意见分、字错率基本不变,代价是未验证压缩噪声与对抗篡改下的鲁棒性。
针对黄獴幼体 9 类叫声分类与 29 段野外录音检测两个问题,论文用 24 频×16 时的手工谱时特征加随机森林取得 0.684 平均准确率并用置换重要性解释未定类,用无监督 rVAD 取得 0.81 灵敏度但以 0.19 精度为代价并靠合并邻近片段提精度。
针对离散采样与网格重采样丢失耳廓细节的问题,GISNO 把三维头型到边界声压学成连续算子再用可微亥姆霍兹积分渲染到任意场点,在 HUTUBS 上把对数谱失真降到 2.92 dB,代价是验证仍局限于较小数据集与仿真零样本条件。