匿名后还能评分吗:轻量变声对交际特征的保留与识别补偿
论文用相位声码器时间尺度变换做前端匿名,研究其对语速停顿等交际特征和高层评分的影响,最强证据是微调后匿名与原始词错误率差距缩小到 0.17 个百分点,代价是停顿计数等切分细节仍有波动且说服力构念相关偏低。
论文用相位声码器时间尺度变换做前端匿名,研究其对语速停顿等交际特征和高层评分的影响,最强证据是微调后匿名与原始词错误率差距缩小到 0.17 个百分点,代价是停顿计数等切分细节仍有波动且说服力构念相关偏低。
针对无电控条件下复现语音动态的问题,该研究用直线凸轮与旋转凸轮分别驱动六个发音滑块,并以可插拔板片实现凸轮廓形可编程,在“I love you” 一句上得到两种凸轮下大致相似的共振峰轨迹,代价是每句需重新设计和拼装廓形。
针对声音转换要换音色但留住原文内容与韵律的问题,ProsoCodec 以文本与说话人嵌入为条件让离散瓶颈只编码残差韵律,并用双话语训练与低频输入减轻提示风格泄露,在合并评测上报告了更低的词错误率与基频误差,但高码率仍会带来源音色泄露的代价。
论文提出以行归一化增益比度量供体语言对目标语言影响的跨语言迁移矩阵,并在 44 种语言上用同一 HuBERT 编码器对比性别识别与说话人验证,发现前者近乎语言无关而后者普遍负迁移且亲缘语言内才有正迁移,但结论依赖小样本动态区间与单轮微调条件。
以塞浦路斯希腊语延续升调为案例比较勒让德多项式与广义加性混合模型,两种方法共同报告 CYG-nh 与 ATG 及 CYG-nl 分离,前者刻画整体斜率降低与曲率增加,后者定位核高目标附近相对时间差异,代价是都需要先验分类且对边界与阶数选择敏感。
针对音画伪造在未见篡改与跨语言下易失效的问题,Referee 用一次真实参考做生物特征锚点,经身份瓶颈压缩与跨身份匹配再联合音画时序做真伪判定,在 FakeAVCeleb 训练下跨库与跨语言取得最强 AUC 与 AP,但仍依赖同身份真实参考且对参考质量敏感。
论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐,在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子,代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。
该研究用只保留前三个共振峰轨迹的正弦波句再做噪声声码器模拟,比较去掉 F1、F2、F3 后的普通话句子识别率,报告 F2 最重要、F3 影响最小,但包络截止频率和频带数会调节 F1 与 F2 的相对权重。
针对组织实体多词跨度、缩写和词表外名称导致的边界不稳,论文用 Whisper 为底座叠加定向语义增广、组织专用结束符和结构约束损失,在保持词错误率的同时把组织 F1 作为主指标提升,但类别专用优化伴随整体召回和识别精度的轻微代价。
该研究用 8 名南方越南语母语者朗读 8 个四音节叠词的 576 个词例检验节奏模式,发现第二、四音节在时长上显著长于第一、三音节的弱强交替支持词层重音与双音节音步,但形态中心位置与载体句未改变总体模式且强度与基频未呈现同型弱强。
针对年龄与性别编辑在大规模语音数据中受噪声标签干扰而出现映射漂移和身份丢失的问题,RIVET 在潜表示上增加幂等正则并与生成损失联合训练,在 GLOBE 与受控噪声 EARS 上提升了身份保持与性别编辑成功率,而自然度与可懂度基本持平、年龄分类仍有未胜出项。
针对噪声和混响导致语音情感特征退化的问题,该研究用音频逆滤波前端加频率注入视觉流的双条件 Transformer U-Net 做音视频融合,在 CREMA-D 等数据上报告了优于单模态与多模态基线的识别率,但强混响与未见噪声下的泛化仍受限。
针对流式语音增强只能用过去帧且延迟受限的问题,RT-SEMamba 用全因果时频 Mamba 做在线推理,并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ,代价是仍与 8 层教师的 3.32 存在差距。
RT-Tango 针对双耳助听的分布式低功耗实时降噪问题,用 ERB 压缩加分组循环掩码估计加固定跳帧稀疏化和非对称短时傅里叶变换加在线空间统计,在 33.41 MMACs/s 与 8 ms 算法延迟下保持可比的增强质量,而在线流式版本以 SI-SDR 下降为代价实现严格因果运行。
针对声学编解码缺语义约束易读错、语义表征丢音色的问题,SARA 用冻结语义锚加残差声学编码器做直接融合,在 50 Hz、64 维紧凑隐空间下把 F5-TTS-Small 零样本合成词错率做到 1.79,把基座版做到 1.74,代价是编码器多一路推理开销与大规模语音训练成本。
论文把 1000 类、每类 5 样的口语词分类做成持续学习任务,用从头训练的生成式元持续学习与 HuBERT 全量微调和冻结分类头对比,显示 GeMCL 在 1000 类时只落后约 2% 但适配快 2000 倍且逐词波动小一个数量级以上。
针对脑电非平稳导致的逐窗判决抖动与固定平滑带来的切换迟滞,SGAD 用因果状态检测估计切换概率并自适应调节平滑强度,在多种音频/说话人/被试划分下把平均 Sw-F1 提升到 67.3% 而 SDL 控制在 1.18 s,代价是仍需两阶段训练且最严格划分下精度降至 76.7%。
针对标注构音障碍语音稀缺导致跨病因跨语言泛化难的问题,论文用教师伪标签加 LibriSpeech 粗二分弱监督对比预训练再微调,在五套未见数据集上平均 SRCC 达 0.761,而细粒度伪标签监督反而损害跨域表现。
该研究以六种语言儿童语料的实际发音与成人理想形式为对象,按词首、词中、词尾计算辅音簇分布熵,发现模型系统呈稳定的三位置分化而儿童系统边缘对比更弱且词中熵最高,词汇增长推动模型熵上升并引导实际向模型收敛而句法复杂度可能在词尾拖慢该过程。
针对文本注册的用户自定义关键词检测能耗过高问题,SPARK 用端到端脉冲网络与脉冲驱动注意力做音频文本匹配,在 LibriPhrase 上以 99.07% 的 AUC 和 3.97% 的 EER 维持可比性能,代价是音素级难负样本区分仍弱于重型预训练基线且全脉冲链路依赖特定仿真与能量估算条件。