长语音里既换声音又换说法:AegisVox 如何分开处理身份与病情
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
论文针对音频条件视觉预测中去掉音频就下结论的问题,提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断,并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。
论文以英语口音分类为对象,用 DistilHuBERT 做声学编码加分类头,在文件级与说话人隔离、平衡外部扩展和教师学生伪标签对照下,说明说话人重叠抬高库内成绩,而平衡外部训练只在部分折改善留出跨库表现且高置信伪标签并未带来提升。
该文把审美评价做成同艺人组内两两比较再汇总排序,用音频语言模型评歌曲、用视觉语言模型只看画面评 MV,发现视觉排序的模型间一致性明显高于音频,而音频与视觉共识几乎不对齐,与早期 YouTube 播放量的正相关也因艺人组而异。
论文针对音频语言模型评价生成音乐时相关性无法说明依据的问题,用去掉音频、同提示替换、成对调序和改写指令四个带对照探针检验五个公开评判模型,发现对齐评分都跟随实际播放的音频而质量评分只有部分跟随,且小模型的成对选择跟随位置而指令措辞的影响可达更换模型量级。
论文用同一句话配对比较不同位置的单字改动,说明数字与否定等任务角色比功能词更容易让结构化工具调用失败,并用跨源分组预测证明细粒度角色比二元关键性多出可验证的诊断信息。
论文解决全双工语音持续对话与复杂推理工具任务难以兼顾的问题,用六模块协作框架加模拟考试驱动的修补闭环,在保持打断响应同时提升口语知识与可执行工具分数,代价是部分暂停条件变差与额外调用增加。
论文用从消声到 12 阶镜像声源加扩散混响和阵列仿真的 20 种几何仿真训练同一多声源定位模型,在三个实测数据集上发现中等复杂度已能强泛化而更高阶与镜像源随机扰动只带来小幅提升,但阵列精细仿真代价很高。
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
论文针对音频渐变轨迹是否在感知嵌入空间中又直又均匀的问题,提出与理想线性均匀轨迹比较的索博列夫距离,并用木材到金属的物理合成控制实验说明它能区分已有指标误判的非均匀与偏离路径情形。
论文用冻结声学特征与配对拼接对照检验音素词锚点与边界一致性训练,发现锚点损害短事件定位,增强降低良性编辑误报但在部分阈值下增加合成漏检且一致性无统一增益。
论文用 163 段儿童临床互动录音检验通用大语言模型能否沿 BOSCC 决策树答题复刻两项语音编码,最强零样本平衡准确率超随机 19.3 个百分点,而说话人角色标注是最稳定的增益,音频与示例增益不一致且不足以独立使用。
论文针对用同一折选编码器层又报性能导致的乐观偏差,用朴素与嵌套选择对照、打乱标签与纯噪声控制加以量化,并在无泄漏比较下发现紧凑情感韵律特征与大模型表示相当,而代价是下游可训练参数约少一千倍。
论文在同一协议下比较交叉熵与七种辅助目标,用位移除以 spread 的尺度感知诊断显示余弦一致性的位移下降来自空间缩小而非更稳定,且四个坍缩到近常数输出的运行被等错误率和 t-SNE 掩盖,没有辅助目标在种子、架构和语料上都优于交叉熵。
该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。
针对低码率神经音频编码导致深伪检测错误上升的问题,论文用混合配对协议定位真假两侧不对称失效,再冻结 DAC 并加入码率条件残差适配器做检测器引导微调,在 ASVspoof 2019 LA 上 0.5 kbps 处把 AASIST 等效错误率大幅降低,同时只增加约 1.75% 参数并保持重建质量基本相当。
在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。
论文把跨会说话人归属做成一个全局身份映射下的转写评分问题,用同一套单通道串行评测比较五条商用链路、两条学术基线与门控证据的 ThyVoice,最强证据是 ThyVoice 在三种条件下商用最低且全组平均 47.13 对 54.75,代价是重叠与噪声仍带来显著遗漏与身份增殖。
论文引入系统级偏好准确率检验预测 MOS 能否复现人评的系统两两优劣,发现在两个增强任务上单模型最高仅 76.8%,集成与领域自适应也只在限定条件下改善,说明相关系数高不等于比选可靠。
论文用响度、内容丰富度和情感表达三组单变量受控操纵审计六个语音裁判,发现成对比较会系统性偏好更响更丰富更欢快语音而理由很少点名真正起作用的声学线索,人听校准显示部分偏好超出人类权重。