科学家设计AI系统从无声钢琴演奏视频中再现演奏

据外媒Ne Atlas报道，想象一下，一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的乐曲，这已不再是什么遥不可及的梦想。现在，一项名为Audeo的人工智能系统以惊人的逼真度再现了钢琴演奏的声音。

这一令人惊叹的技术由华盛顿大学的一支团队精心打造。研究人员运用了钢琴家保罗·巴顿在YouTube上的演奏视频来训练并测试这一系统。所训练的视频素材包括了巴顿演奏巴赫和莫扎特等著名古典作曲家的约17.2万视频帧。

在分析无声视频时，Audeo系统能够观察哪些琴键被按下的顺序，确定各个音符及其排列组合。令人惊奇的是，它还能感知每个键被击打的力度以及被按住的时间——这使得它能够精确计算出每个音符的强度，以及在随后的弹奏中，每个音符持续的时间长度。系统还充分考虑了钢琴独特的声学特性。接着，这些数据被转换为现有数字合成器可以理解的格式。据说，当这些合成器回放音乐文件时，它们听起来几乎与原始的钢琴音乐无异。

在对Audeo的测试中，它的任务是根据巴顿演奏的静音视频来重现钢琴音乐，而非系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现金曲时，它们能够以约86%的准确率识别出乐曲。相较之下，当这些应用分析相同视频中的原始钢琴音频时，识别准确率则高达93%。随着技术的不断进步，这一识别准确率的差距有望逐渐缩小。

“我们希望我们的研究能够开启与音乐互动的新纪元。”该研究的高级作者、Eli Shlizerman副教授表示，“比如，未来的一项应用是Audeo可以扩展至虚拟钢琴领域，摄像头只需记录一个人的手部动作。通过将摄像头放置在真实的钢琴之上，Audeo或许能以前所未有的方式协助教学，帮助学生掌握演奏技巧。”这一创新技术不仅让我们感叹人工智能的神奇之处，更让我们期待它在音乐教育领域的广泛应用与未来发展。

【来源Beta.COM】