SFT

📄 Pianist Transformer: Towards Expressive Piano Performance Rendering via Scalable Self-Supervised Pre-Training #音乐生成 #预训练 #自监督学习 #Transformer #SFT 8.1/10 | 创新 1.1/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.1/10 | 前25% | #音乐生成 | #预训练 | #自监督学习 #Transformer | arxiv 👥 作者与机构 第一作者：Hong-Jie You（南京大学 计算机软件新技术国家重点实验室、人工智能学院） 通讯作者：Yu-Feng Li（南京大学 计算机软件新技术国家重点实验室、人工智能学院） 作者列表：Hong-Jie You（南京大学）、Jie-Jing Shao（南京大学 人工智能学院）、Xiao-Wen Yang（南京大学 人工智能学院）、Lin-Han Jia（南京大学 人工智能学院）、Lan-Zhe Guo（南京大学 智能科学与技术学院）、Yu-Feng Li（南京大学 人工智能学院） 💡 毒舌点评 本文将一个在NLP/CV中已被验证的预训练范式成功迁移到钢琴演奏渲染这一小众领域，并用漂亮的客观/主观双料SOTA数据说明了其有效性，故事逻辑完整。但“范式转变”的帽子扣得略大，本质上仍是“Masked Token Prediction + SFT”的标准配方，且10B-token预训练带来的性能增益在消融中仅依赖“有/无预训练”的二值比较，缺乏更细致的scaling law分析，使得“10B”这个数字更像一个资源配置的结果而非深刻的科学洞察。局限性讨论过于温和，对为何在踏板维度上未能全面领先SOTA避而不谈。 ...

📄 Speech-Audio Compositional Attacks on Multimodal LLMs and Their Defense with SALMONN-Guard #音频理解 #SFT #基准测试 #内容审核 #数据集 8.3/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 🔥 8.3/10 | 前25% | #音频理解 | #SFT | #基准测试 #内容审核 | arxiv 👥 作者与机构 第一作者：Yudong Yang（清华大学） 通讯作者：Guangzhi Sun（剑桥大学）、Chao Zhang（清华大学） 作者列表：Yudong Yang（清华大学）、Xuezhen Zhang（清华大学）、Zhifeng Han（清华大学）、Siyin Wang（清华大学）、Jimin Zhuang（清华大学）、Zengrui Jin（清华大学）、Jing Shao（上海人工智能实验室）、Guangzhi Sun（剑桥大学）、Chao Zhang（清华大学） 💡 毒舌点评 本文亮点在于首次系统性地将语音-非语音音频的语义和语境组合引入多模态LLM安全红队评测，攻击方式真实且具有现实威胁性，提出的SALMONN-Guard联合模态守卫设计也展现了防御此类攻击的可行性。然而，攻击构造仍依赖人工预设的声学参数与对话脚本，缺乏自适应的攻击策略优化，使得benchmark的攻击上限不明确；防御仅使用SFT，未与对抗训练等更强基线对比，说服力不足；MSD评估将“理解错误”也计入攻击成功，该设定存在争议，可能高估了实际威胁。 ...