为全身舞蹈保留发声逻辑:1978 年 Terpsitone 的交互式数字孪生
论文以 1978-1979 年为 Lydia Kavina 制作的最后一台 Terpsitone 为对象,用实测建模的三维体、范德波尔振荡器差拍的声音引擎和头手质心映射的交互链做可演奏的虚拟现实孪生,历史考证显示至少四代形态而音量映射始终多变,当前原型已能走通动作到声音但精度与稳定性仍待验证。
论文以 1978-1979 年为 Lydia Kavina 制作的最后一台 Terpsitone 为对象,用实测建模的三维体、范德波尔振荡器差拍的声音引擎和头手质心映射的交互链做可演奏的虚拟现实孪生,历史考证显示至少四代形态而音量映射始终多变,当前原型已能走通动作到声音但精度与稳定性仍待验证。
该文把现场音色匹配做成每 0.093 秒调一次连续合成参数的强化学习控制问题,用描述符状态加五种奖励在合成器内域与跨域及真实乐器语料上验证,最强证据是同合成器内域匹配显著更准,而代价是跨域只能近似且对描述符与奖励选择高度敏感。
该文把皮肤电、动作与面部表情当作可演奏的音乐材料,用 Python 中间件加 Pure Data 两阶段映射在键盘实践中检验,报告称离散受限映射更清晰、高层和声触发更连贯,代价是即时性下降与系统复杂、学习曲线陡峭。
该文用弦两端载荷单元反推弓弦压力、用固定磁场感生弦速直方图分离粘弦速度来实时估计弓速,并把两路参数接到弓—质量摩擦模型验证可演奏性,代价是必须贴近支点与磁体运弓且力估计存在位置相关偏差。
该研究把协作节奏乐器与多人空间布局放在 PatchWorld 内共同设计,用 9 人两组迭代得出通用节奏盒与三人半圆分层舞台,并报告视觉反馈为主、归因模糊为关键代价的发现。
论文以七年四版 Bot Party 为线索,研究残障设计认识论如何把玩家间皮肤接触变成可检测、可奖励的核心机制,最强证据是触觉失效时参与迅速坍缩与触觉恢复后群体玩法的回升,代价是单设计师自述民族志与展览数据的可比性与泛化边界受限。
论文要解决肌电信号不可听不可判导致的生成模型难调试问题,选择先用含音频的七通道数据找架构再转六通道肌电的策略加两个残差向量量化变分自编码器与交叉注意力解码器 Transformer,最强证据是七通道实验中成功配置重建多样性恢复而过大隐维度配置坍缩,代价是六秒序列限制与推理仍需音频起始符。
该研究把卷笔刀嵌入吉他音箱与调音台并保留原有外观与旋钮操作,用削铅笔的摩擦振动经压电元件送入原输入链路作为声源,通过两次展览的质性观察显示违和感反而降低了参与门槛,但结论限于铅笔削笔这一特定动作而未做定量对照。
针对现场钢琴对话中缺力度、无明确轮次和输出延迟破坏节奏的问题,论文用四元组力度建模加 ggml 加速、脚踏开关标注的呼应微调与逐音符延迟补偿来回应,最强证据是逐音符补偿把节拍对齐中值提高到 0.7834 而无补偿仅 0.0678,代价是上下文能装的音符数从 341 降到 256 且风格仍局限于单人专家数据。
针对钢琴演奏中呼吸隐蔽且难以精确回忆的问题,作者用纺织集成应变腰带同步记录胸腹呼吸与演奏数据并以事后可视化界面支持三重视角反思,在一位 35 年琴龄演奏者一个月四次会话中发现吸气锚定低音等耦合模式与主客观不一致的盲区,代价是单人个案尚不能推广到群体。
该文把同时实时生成三维图像与声音的扩展现实视听乐器定义为研究对象,用九维框架梳理 13 件已有乐器,并以同一原型分化出的声音优先与视觉优先两件乐器、5 个月协作自我民族志说明模态间映射与空间使用如何主导设计分化,其代价是观众维度与协作维度未被实测。
该文以独奏班多钮琴加现场电子与机器学习为对象,提出边缘声、姿态残留与被舍弃声三组声音痕迹作为行动线索,报告微弱气声与机械噪声比主导音高更稳定可辨,最强证据来自两场实验室式演出中的持续调校,代价是放弃通用识别精度与可迁移的定量评估。
针对已熟练使用商用数字音乐工具但缺硬件原型能力的高年级本科生,论文用研究—搭建—作曲—演出—文档的全周期结构组织 15 周课程,在 16 人两学期中报告 15 人完成全流程、7 人建后改硬件,以小班与统一套件为代价换来持续迭代条件。
本文以 MAD 单簧管为个案追踪其从被动触发到算法伙伴的四代演进,核心证据是 2.1 的单向视听触发、3.0 和声器与随机系统的实时改写、New Set 中马尔可夫链的即时再 elaboration,主要代价是每代都伴随噪声、重复与需人启动的局限。
针对传统 cuíca 音色扩展受限于双手演奏的问题,Hypercuíca 用绑在鼓身的手机重力传感器驱动 Ableton Live 效果器,在四场公开演出与工作坊的非正式反馈中显示出声场可变性增强,但代价是映射透明度下降与长时间独奏易耗尽新颖性。
该工作把已训练好的三维想象运动解码器的连续速度信号作为声音手势的控制源,用分层颗粒合成做实时可听化,报告了静息、起始与持续手势的可区分听感,但尚未做闭环听觉反馈下的受试者评估。
论文以 11 位光学声电影人的访谈为材料,用转导、帧、差异、重复、化学五组装置结构做衍射式阅读,提出内在实践的特征,代价是结论依赖特定社群与手工条件而不追求可推广的量化验证。
针对铃球接住才发声带来的延迟与换球规划难题,论文用音乐 Siteswap 记谱加三维动画组件把整场演出算成可排练的事件序列,已能复现协奏曲等复杂曲目,但仍需补创作与训练环节的可用性验证。
针对光学动捕只记大位移而漏掉 popping 式收缩与紧张的问题,KinoGroove 用预录动捕加肌电在 XR 里异步作曲,以 27 相机加 41 点骨架与上半身多通道肌电为证据,代价是设备昂贵且暂无用户评估。
论文以 2021 年专辑《Amazônia Verde Viva》与 2024 年对 Thiago 的访谈为证据,说明先解码动物发声结构再作曲的 transmorphic 路线,并以常用音频软件的挪用讨论技术殖民与多物种共作的代价与边界。