让乐队“坐”在钢琴旁或家中的虚拟钢琴旁，通过钢琴师与AR/VR开发人员合作，可以完成这一不可思议的活动。
已经生成了一个逼真的化身，可以“以完全的视觉和音乐度”进行表演。智能手机或平板电脑用户只需启动AR PianistiOS/Android应用程序，将该设备的后向摄像头指向任意一台钢琴，应用程序就会放在键盘前面。
该应用程序使用机器学习将虚拟表演者放置在钢琴旁边，度不到一厘米，允许设备支架在空间中移动六个自由度，并从任何角度观看他演奏。如果用户希望使用此体验向大师级大师学习，则可以将播放速度降低100倍。
播放时突出音符的乐谱也会在应用程序中滚动以帮助学习，屏幕上的视图会亮起，并为学生在钢琴上“与Jon一起弹奏”的键进行颜色编码。该应用程序使用移动设备的麦克风来听到不同的音调，并提供实时反馈。
当然，在现实世界中，钢琴的键不会移动，乐器也会保持沉默，但在屏幕上，播放区域会活跃起来，移动设备的扬声器会播放家中个人音乐会的音符。也就是说，如果用户拥有配备MIDI的原声钢琴或数字钢琴，该应用程序将无线触发音符，以便在家里的钢琴上弹奏。
视频制作经理兼官方“技术员”解释说：“任何88键键盘乐器，无论是声学乐器还是数字乐器，都可以工作，但如果一个人根本没有钢琴，这就不是一个障碍。在这种情况下，AR钢琴师将确定一个干净的地板空间或桌面，并提供雅马哈C7Neo concert竖琴的详细3D模型，这已经成为许多钢琴男孩的专辑和专辑封面的特色。”
钢琴师们选择了他们新专辑《10》中的曲目，作为他们在《AR钢琴家》上的次亮相——包括改编自贝多芬的《献给爱丽丝》，正好赶上这位古典作曲家下个月的250岁生日。该应用程序还包括一个不断增长的表演者的音乐库，但只有“献给爱丽丝”的功能是乔恩·施密特的动作捕捉3D头像。其他人则是普通表演者的。
据报道，该应用程序与过去几年发布的大多数智能手机和平板电脑兼容，但与激光雷达技术打包的应用程序将有更好的体验。
ARPianist应用程序可以免费下载，但需要每周2.99美元或每年59.99美元的订阅费，才能无限访问所有歌曲和高 级功能。该应用程序的未来计划包括一个完整的AR/VR版本，可与OculusQuest等耳机配合使用。
