儿童口吃检测为何要把词和声学帧分成两类节点来建图
针对儿童自发语音中病理性口吃与发育性不流畅声学重叠的问题,论文用词节点与帧节点的异构图建模词汇意图与声学实现的层级交互,在 47 名儿童的 UCLASS 与 FluencyBank-CWS 合并语料上以说话人独立 5 折验证取得 82.4% 加权准确率和典型不流畅 F1 0.386,代价是核心口吃类 F1 仅 0.280 且依赖增强与过采样平衡。
针对儿童自发语音中病理性口吃与发育性不流畅声学重叠的问题,论文用词节点与帧节点的异构图建模词汇意图与声学实现的层级交互,在 47 名儿童的 UCLASS 与 FluencyBank-CWS 合并语料上以说话人独立 5 折验证取得 82.4% 加权准确率和典型不流畅 F1 0.386,代价是核心口吃类 F1 仅 0.280 且依赖增强与过采样平衡。
针对常规平均意见分模型对日语局部音调核错误不敏感的问题,PASQA 用可控合成构造的重音核错误数据和自监督表示加四项增强学习重音正确度排序,主观评测中以斯皮尔曼 0.828 和肯德尔 0.614 优于常规模型,代价是绝对分数校准存在偏移且资源声明当前不可用。
该研究以 57 名普通话母语者的被试内设计同步测量声调与辅音的识别斜率和 Ganong 效应,报告跨水平的 2 组相关均未达显著而水平内的 2 组负相关均显著,支持可靠性加权的共同策略与水平特异的加工资源并存。
针对大语音识别模型一次性剪枝会误删低幅度音素权重的问题,PhonePrune 用互补分布与最小对立体约束构造音素三元组校准集并做音素感知校准,在 50% 稀疏度下报告平均词错误率 11.50%,在韩语和日语上相对 Distil-Whisper 分别降低 13.41% 和 13.83%,代价是在英语集上弱于部分压缩基线且依赖强制对齐边界。
该文在 TIMIT 音素识别上用卷积加双向长短时记忆网络的原始波形模型把总音素错误率拆到三套宽音类并统计替换混淆,最强证据是仅用 TIMIT 达 13.9%/15.3% 而 WSJ 迁移后达 11.3%/12.3% 并超过滤波器组基线,代价是增益高度集中于过渡依赖的辅音类而元音类改善有限。
针对汤戈阿岛纳卡纳曼加语究竟有一个还是两个舌冠塞音的问题,研究用词中位置的嗓音起始时间与闭塞时长测量,显示清齿塞音与浊前鼻化 postalveolar 塞音在正负嗓音起始时间和鼻口闭塞构成上稳定分离,但结论限于词中语料与强度分段口径。
针对视听目标说话人提取中深度融合会被野外噪声上限问题,论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择,在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147,代价是侵入式分离分提升不如全量微调。
针对自回归语音增强语言模型只用词元交叉熵训练、与感知评价脱节的问题,该文用组序列策略优化在线直接优化 DNSMOS 加 WER 加 UTMOS 组合奖励,在 DNS2020 和 DNS5 上提升整体质量,而单一 DNSMOS 奖励出现人评低于基线的奖励黑客代价。
针对推理时缺少说话人坐标导致地理条件适配无法启用的问题,论文用冻结编码器上的轻量坐标回归头先预测经纬度再做两遍解码,在荷兰方言上用 10 秒语音达到约 25 公里、30 秒约 16 公里定位误差,使无坐标的 CRH+GLoRIA 比同秩 LoRA 平均好 3.05% 词错误率且距真坐标上限仅 0.58%,代价是多一次编码器前向、延迟增加不到 3% 且外推区域 …
该文用 FAcodec 显式丢弃内容分量并对韵律做全局与局部多粒度混淆,在 VoxCeleb1-O 上报告等错误率 2.35% 与词错误率 98.83%,代价是短时客观可懂度仍为 0.3410 且韵律残留风险需靠听感样本佐证。
针对日语视障读屏用户在 150–500 WPM 下的理解问题,研究用贝叶斯项目反应理论同时估计题目难度和人的能力,最强证据是 300 WPM 以上可理解性系统下降且个体差异 SD 达 0.91–1.10,代价是 N=11 导致可信区间平均宽 1.29 且无法可靠估计交互作用。
针对对齐编码器顶层才突然形成对齐、在长语音上脆弱的问题,论文在中间层加细粒度对齐目标和 CTC 辅助损失,在 LibriSpeech 上把 5.0/7.8 降到 3.1/5.6,长语音增益最大,代价是多头预测器与权重调参。
针对澳大利亚高校国际学生的英语发音反馈需求,该研究从 CommonVoice 英文分区筛选三个口音组,用蒙特利尔强制对齐加三名语音学家的人工标注构建 859 条标注,并报告音段与韵律几乎各占一半的初步分布,但印尼组仅 3 名说话人带来明显的样本不平衡代价。
针对富有表现力和情感的语音伪造泛化难的问题,ProSDD 先在真实语音上学习说话人条件韵律表示、再把该目标保留为辅助任务联合训练伪造分类,在保持标准基准竞争力的同时大幅降低情感集等错误率,代价是需要构造外部韵律目标并执行两遍前向训练。
论文要解决任务动力学目标值被事先固定、缺少记忆与感知影响机制的问题,选择用耦合动态神经场生成时变声道目标并用临界阻尼振子求解轨迹,在 1 次基线加 10 次影子跟读加 1 次洗脱的简化仿真中报告跟读峰值拉向 1.56 与洗脱残留偏移负 0.29,代价是输入时序仍需手工指定且仅为一维示例。
该文把情绪、语言、病理和源滤波器做成手工特征集,用有界神经互信息估计加非参数校验量化维度间依赖,最强证据是跨维度互信息低于 0.15 纳特而源滤波器互信息为 0.47 纳特,代价是结论只对手工静态特征和六个英语语料成立。
针对无参考转录时难以判断识别假设是否忠于语音的问题,论文用现成自回归语音合成模型计算语音 token 在文本假设下的条件似然作为声学差异度,并在多系统合并与 N-best 重排上验证,最强证据是在噪声下相关性增强与最高约 20% 相对错误率下降,代价是依赖外部 TTS 知识且长争议段会退化为整句选择。
针对解耦后内容与韵律流中残留的说话人属性,该工作在训练好的匿名框架上加针孔损失微调以压低同源匿名话语的可聚类性,在三种基线与四种伪说话人策略上一致提升等错误率而词错误率与情感召回仅小幅波动。
针对只有目标域文本的跨域适配问题,论文提出把文本嵌入映射到音频提示空间的 TE2SL 精炼模块,在 SPGISpeech 上把词错误率从 11.1% 降到 8.5%,代价是需要先在源域配对数据上训练一个 18.6M 参数的 Conformer 映射器。
该文指出把声音仅当作可去标识数据的一次性合同授权无法满足知情同意,转而主张借鉴生物伦理的动态同意做持续治理,但其仅在可识别声音且权利人有谈判力的受控部署中可行。