【导读】 计算机学士服是什么颜色,下面是小编为你收集整理的,希望对你有帮助!计算机属于工科,黄色的,灰色是理科。白色是医科,粉色是文科,绿色是农科,红色是军事类的。学士服的颜色分类:一般通常是有粉色、灰色、黄色、白色、红色和绿色六种颜色,分别代表文科、理科、工科、医科、军科和......
发布时间:2023-10-15 07:59:00
金磊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
见识过「听歌识曲」,体验过 看弹奏动作识曲吗?
就像最近的一档综艺节目中,郎朗比划了几个弹钢琴的动作,他媳妇 (吉娜·爱丽丝)秒答:《柴可夫斯基第一协奏曲》!
来自华盛顿大学的研究团队提出了一种新方法 Audeo,就解锁如此神奇的操作——仅仅根据钢琴师弹奏时的动作,就能直接复现原声音乐。
先来体验下这种神奇的感觉。
下面便是钢琴师演奏时的动图,我们能看到的,仅仅就是手指在钢琴键盘上的变换。
然后,你知道这是哪首曲子吗?
大部分人 (或许郎朗级别的大神们可以)应该是猜不到的。
但AI可以,下面便是这项技术复现的原声音乐。
那么,这般神奇的操作是怎么实现的呢?
三步实现「看动作识音乐」
简单来说,Audeo方法主要包括三大步骤,分别是:
钢琴按键检测
这个步骤可以理解为一个多标签 (multi一label )分类问题。
输入是弹钢琴视频中5个连续的帧,将它们输入到 Video2Roll Net中,经过ResNet18、特征变换、特征细化 (refinement)和相关学习的处理,最后 输出中间帧的按键预测。
值得注意的是,在这个步骤中,研究人员没有直接使用ResNet18,而是在此基础上做了算法改良,提出了Video2Roll Net。
这样做的原因很简单,就是ResNet18检测到的「精度」不够细致,下面2张热力图的对比,便一目了然地展示了2种方法的效果。
生成乐谱内容
在第二个步骤中,就需要将 Roll 转换为 Midi (乐器数字接口),以便合成音乐。
但在上步生成出来的 roll ,没办法直接转换成 Midi,一个至关重要的原因就是—— Roll 不包含 时间信息。
此外,由于 Midi 比较依赖音频流,所以经常出现的一个现象就是:演奏者按一个钢琴键的时间较长时,相应频率的幅度会逐渐衰减为零,也就是在 Midi 中会被标记为零。
像下面这张图中显示的那样,就会造成 不匹配的现象。
并且,研究人员表示:
这种不匹配的现象,是经常发生的。
于是,研究人员便提出了一个叫 Roll2Midi Net的方法解决了这个问题。
主要是在二者之间加入了一个生成对抗网络 (GAN),来调节并解决上述问题。
合成音乐
最后一步,就是根据调节好的 Midi 来生成音乐,主要过程如下图所示。
将 Midi 作为输入,经过一个上采样,而后可以选择通过「Midi 合成器软件」,也可以选择使用「PerfNet+Unet+GriffinLim」的组合方式来生成音乐。
至于 Audeo 方法与其它方法的定量比较,主要集中在第二个核心步骤。
可以明显看到,研究人员在第二步骤中提出来的 Roll2Midi Net方法,在各项评测指标中,都具有一定优势。
合成音乐还可以转换成别的乐器
当然,Audeo 除了精准复现视频中的钢琴音乐外,还有一个更有意思的玩法。
它可以将钢琴原声,转换成 其他乐器的声音。
例如,可以将钢琴音乐转换成 吉他的声音。
还可以将钢琴音乐转换成日本 十三弦古筝的声音。
这个有趣的玩法,主要得益于「合成音乐」这个步骤,选择的方法不同,得到的结果便不同。
研究团队
这项研究由华盛顿大学的 三位研究人员共同完成,研究还入围了本届CVPR。
△从左至右:Kun Su、Xiulong Liu和Eli Shlizerman
论文一作是Kun Su,本科就读于美国纽约州伦斯勒理工大学 (RPI),目前在华盛顿大学攻读电子与计算机工程系攻读硕士。
△Kun Su
研究的另一位作者是Xiulong Liu,本科在上交大就读,硕士毕业于华盛顿大学,目前在OneClick.ai 担任数据科学家。
△Xiulong Liu
论文最后一位作者是Eli Shlizerman,华盛顿大学应用数学及电子与计算机工程助理教授。
目前专攻生物神经网络和人工神经网络的基本特性,通过结合时空数据分析、机器学习和动力系统理论的方法将这两个系统联系起来。
△Eli Shlizerman
那么问题来了,如果以郎朗的手速弹奏钢琴,这个AI的效果还会如此惊艳吗?
论文地址:
https://arxiv.org/abs/2006.14348
作者系网易新闻·网易号“各有态度”签约作者
— 完—
深入解析OceanBase数据库 | 免费报名
在阿里体系内,OceanBase数据库支撑了 支付宝、网商银行等重要业务,已成为世界领先的数据库产品。那么其背后有哪些核心技术?
7月2号第三期直播, 蚂蚁集团OceanBase数据库资深专家--韩富晟(颜然)将介绍数据库发展演进历史,并深入解析OceanBase实现数据库的机制。
扫码报名,可加入直播交流群,还可获取系列课程直播回放、分享PPT:
量子位 QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
喜欢就点「在看」吧 !
【导读】 泰坦尼克号电影中的“海洋之心”真的存在吗?,下面是小编为你收集整理的,希望对你有帮助!看过了电影泰坦尼克号的小伙伴们都会对电影中露丝所带过的“海洋之心”钻石项链产生了非常浓郁的好奇心,心里都会想着,世界上曾经真的存在过“海洋之心”这颗钻石吗?海洋之心钻石的美丽没有人能够低档的住它的诱惑......
发布时间:2023-10-14 15:01:08
【导读】 曲阜市美食,下面是小编为你收集整理的,希望对你有帮助!曲阜市美食有曲阜熏豆腐、曲阜煎饼、吊炉烧饼、羊肉泡粥、孔府糕点、孔府宴、水煎包、御带虾仁、孔府一品锅、带子上朝等。1、曲阜熏豆腐:曲阜熏豆腐,又称孔府熏豆腐,驰名中外,为山东独具风味的特色传统小吃。风......
发布时间:2023-10-14 14:01:08
【导读】 win10刻录光盘格式化失败,下面是小编为你收集整理的,希望对你有帮助!原因及解决方法为:1、可能是DVD刻录光驱光头功率不足,这个是硬件问题,不是软件问题;2、一般笔记本的刻录机刻录功能方面的寿命在一年左右,刻录功能不好的光驱,读压制出来的光盘没有问题,但不能读可刻光盘......
发布时间:2023-10-14 13:01:05
【导读】 博鳌在什么地方,下面是小编为你收集整理的,希望对你有帮助!博鳌在哪里海南省琼海市。位于琼海市东部海滨,万泉河入海口。东临南海、南与万宁市交界,西与琼海市朝阳乡、上甬乡相邻,北与潭门镇接壤。距离琼海市嘉积镇17千米、海口市105千米、三亚市180千米。博鳌是海......
发布时间:2023-10-14 12:56:21
【导读】 贵州千年石崖产蛋之谜,产蛋崖为什么会产石蛋(地质原因),下面是小编为你收集整理的,希望对你有帮助!小鸡产蛋非常常见,但大家见过石壁产蛋吗?在我国贵州就有这样一个奇闻,一个千年的石崖,每隔30年就会产下一些石蛋。对于千年石崖产蛋之谜,人们曾疑惑不解。但直到近年,千年石崖产蛋之谜才被揭开谜团。贵州产蛋......
发布时间:2023-10-14 12:01:06
【导读】 宣汉龙图片,下面是小编为你收集整理的,希望对你有帮助!宣汉龙在恐龙世界中,食肉恐龙总是更受人关注的,不过在目前已命名的700多种恐龙中,大家知道的食肉恐龙很少。为了丰富大家的恐龙知识,今天小编将为大家介绍宣汉龙,它是一种大型食肉恐龙,一起去认识看看。宣汉......
发布时间:2023-10-14 11:01:05
【导读】 清明节的来历简单介绍,下面是小编为你收集整理的,希望对你有帮助!1、清明节的名称来由得名于节气,《历书》:春分后十五日,斗指丁,为清明,时万物皆洁齐而清明因此得名。2、清明节,是中华民族最隆重的祭祖大节,属于礼敬祖先、慎终追远、弘扬孝道的一种文化传统节日。清明节历......
发布时间:2023-10-14 10:01:05
【导读】 外星人控制着轮回?人类的肉体只是灵体的牢笼(匪夷所思),下面是小编为你收集整理的,希望对你有帮助!导语:大家会不会有一种感觉,自己现在正在经历的事情感觉好像发生过,但是又完全不知道是什么时候发生的。这种匪夷所思的感觉有专家对此进行了解答,他称这是外星人控制着轮回,现在做的事情可能我们轮回前也做过呢......
发布时间:2023-10-14 09:01:05
【导读】 巨嘴龙:中国小型植食恐龙(长1米/上嘴壳内勾尖锐),下面是小编为你收集整理的,希望对你有帮助!巨嘴龙是一种角龙下目中的原角龙科恐龙,诞生于1亿-6500万年前的白垩纪早期,体长只有1米,属于植食性小型恐龙的一种,它和其他原角龙科恐龙最大的不同就是长有类似鹦鹉鸟喙状的庞大嘴壳,尤其是上嘴壳极度弯......
发布时间:2023-10-14 08:01:06
【导读】 傈僳族的传统节日:基本每个月都有节日度过(傈僳族介绍),下面是小编为你收集整理的,希望对你有帮助!僳族节日是非常多的,大规模活动的节日有“阔时节”、“新米节”、“刀秆节”、“火把节”、“收获......
发布时间:2023-10-14 07:01:05
【导读】 我国十大未解之谜是什么?双鱼玉佩是怎么回事?,下面是小编为你收集整理的,希望对你有帮助!在这个世界上充满着未解之谜,不是所有的事情都是能够用一种有理有据的方法才能解释的通的。而且随着时间的推移,事情的真相可能变得更加的模糊。在我国的历史当中,就存在着十大未解之谜,而这十大未解之谜当中,双......
发布时间:2023-10-14 06:01:06
【导读】 安全防范措施,下面是小编为你收集整理的,希望对你有帮助!1、落实安全责任、实施责任管理,建立、完善以项目经理为第一责任人的安全生产领导组织。承担组织、领导安全生产的责任并建立各级人员的安全生产责任制度,明确各级人员的安全责任。2、安全检查是发现危险源的重要......
发布时间:2023-10-14 05:01:04