46 / 2022-10-03 19:30:01

基于YOLOv5的虚拟钢琴

钢琴,虚拟钢琴,艺术科技,音乐,艺术,数字媒体,YOLOv5

A. 普通高校组-应用类 > A1组：文化创意（文化+科技融合、艺术+科技融合等）

      为了提高音乐兴趣，在一定程度上降低弹钢琴的要求，本作品研究设计并开发了一个虚拟钢琴应用，来解决钢琴成本较大，体积大这两点问题，虚拟钢琴可以满足于家中想要练习学习或娱乐却无法购置钢琴的人，只需要一个摄像头，一个扬声器和纸上的琴键便可以，进行弹奏，训练好的YOLOv5模型可以很快识别琴键，通过钢琴本身的特性，使用OpenCV来进行每个琴键的区分，再使用Mediapipe库来进行手部识别，提取识别到的指尖坐标来判断按键位置，再进行播放琴键的声音。从而达到钢琴的效果，可以一定程度上节约成本和空间，本作品采用了一个小节的琴键，可以制作更多琴键的数据集进行训练，做成更多音阶的虚拟钢琴供人使用，便于修改和扩充。