从肌肉电信号合成语音:混沌约束与轻量状态空间如何分工
论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。
论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。
MOV-AAD 用 50 人、64 通道脑电加眼动和外周生理同步记录移动双人对话下的注意选择,验证了包络重建和注意分类的可行性,但轨迹解码只在 Alpha 频段有限成立。
SimAuthor 把一次写出的仿真器当作可保留改写的对象,用标量搜索分数选改谁、用结构化差异报告指导改什么并复用机制库,在 100 次尝试内在六个心脏呼吸光电心电任务上提升分布相似度,但代价是约 3.8 倍词元开销且结论只在固定评估器和有限参考集下成立。
MyoCodec 针对肌电信号的流式与多任务需求,用因果 Transformer 编码加六级残差向量量化把 2 千赫兹肌电压成每通道 50 赫兹 2400 比特每秒的离散表示,在十二个公开数据集上训练后重建与四个下游任务上可复现地优于对照,但数据偏向打字与手势且下游结构未为离散 token 重设计。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用被试内普通话四情绪识别任务对照人声与 AI 克隆陌生或熟悉音色,报告人声在高兴、悲伤和生气上准确率更高且反应更快,而熟悉 AI 音色仅对高兴有补偿、对恐惧反而延迟,且心率变异性未区分条件。
针对只有受试者级标签的周级颈表加速度日常嗓音监测,该研究用日级分布统计的 CatBoost 分支捕捉长期低效、用 12 秒窗口门控注意力多实例分支定位短时高强度事件,再经分位数校准的逻辑回归堆叠融合,在官方测试上报告 PVH 的 AUC 为 0.891 与 NPVH 的 AUC 为 0.861,而消融显示深度分支增益很小且 NPVH 存在明显欠置信。
针对多部位听诊需要整病人作答的问题,AuscuTSLM 用轻量声学编码加 Perceiver 压缩与门控交叉注意力接入冻结 LLM,在 CaReSound 上取得 0.865 F1-macro 和 0.952 BERTScore,代价是 30 秒长上下文与多实例聚合缺一不可。
针对 10 dB 信噪比医院环境噪声下心音 S1、S2 与杂音被掩蔽的问题,CLEAR 依次用 Whisper 编码器取长程语义嵌入、掩码图注意力网络做乘性去噪、潜在生成对抗网络在嵌入空间修复连续性,最强证据是单个最优样本从 PESQ 1.0304、SI-SDR -29.3715 dB 恢复到 PESQ 4.6433、SI-SDR 64.3566 dB,代价 …
论文以同一肌电编码器比较语音合成、识别、音素分类与自监督预训练四类任务,用线性探测显示音素信息可在无音素监督时涌现,而可懂合成必须保留声学回归损失,自监督对比预训练的隐空间与音素不对齐且未改善合成与分类,代价是单说话人小数据与线性度量的局限。
针对静音肌电缺少逐帧语音监督且样本更少的问题,该研究在保留语音导出声学与音素监督的同时增加静音到有声的输出层与隐层表示对齐,在梅尔谱目标下把词错率从 26.75% 降到 25.14%、在软语音单元目标下从 27.78% 降到 26.55%,代价是只有具备同句平行肌电对的静音样本才能计算该约束且结论依赖多种子平均与显著性检验。
该研究用无线颈带双传感器在日常连续估计声压级与声门下压之比的生态发声效率,14 名女性被试显示患者日常均值更低且波动更窄、超出个性化正常范围的发声时间显著更长,但样本小且为初步结果。
论文用一周颈表加速度计的 14 维帧级嗓音特征做两类发声过度功能检测,任务 1 全部队伍超基线且最优 AUC 达 0.93,任务 2 仅四队超基线且最优 0.86,代价是对日内时变建模敏感且非创伤型更难分。
论文要解决说话时大脑、肌肉和声道运动无法同拍同看的问题,选择在 0.55T 实时磁共振里同步采脑电和表面肌电并做三级去伪迹,初步显示磁伪迹被压到接近机外水平而代价是单被试、低密度脑电和前极残留扰动。
针对静音肌电信号欠定导致可懂度低的问题,GETS 用肌电条件扩散保留韵律并在推理时引入静音语音识别文本的分类器引导,在静音测试集上报告 11.89% 词错误率,代价是依赖预训练识别与调制权重选择。
该研究用 7-10 天手表自发起生态瞬时评估结合心率与声学特征,把五级听觉吃力与 0-10 分疲劳二值化后分别以 68% 与 76% 左右准确率检出高负担状态,代价是连续评分预测不佳且约 32% 天级数据因缺失不可用。
该文把证据、可用性与质量信号拆开,用训练后冻结并打乱质量对齐的诊断检验决策层依赖,在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率,而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔,代价是需要全观测子集与标签才能计算结构诊断。
论文针对静态双人语音难以反映真实移动对话的问题,构建了 50 人、64 导脑电加眼动与多路生理同步的移动对话数据集,用重复词检测、包络与轨迹重建和被试间相关验证了注意信号可用性,代价是轨迹特征弱、个体与慢生理信号差异大。
针对无声肌电到语音映射模糊难控的问题,TAP-ETS 用帧级音素嵌入经交叉注意力直接条件化解码,并在推理时把外部文本校正重分布回肌电帧,在 Gaddy 无声测试集上把词错误率从 25.12% 降到 19.77%,代价是依赖外部语言模型校正质量与精确时长结构。
论文提出合成心音检测任务 SHAC 并构建 CARDIOFAKE 基准,用 MFCC 与 WavLM 的 Gram 最优传输融合 GROOT 在可见编解码器上达到 93.20% 准确率与 5.86% 等错误率,但跨编解码器泛化仍下降约 7 个百分点且推理开销未报告。