Leslie先后在斯坦福大学、加州大学圣地亚哥分校、麻省理工媒体实验室接受了音乐和认知科学的教育,目前是乔治亚理工学院的副教授。她倡导以科学的方法测量音乐对人类情绪的影响,探讨音乐与情感之间的联系。她相信科技和神经科学能够使音乐表达更加直接和及时,而音乐科技的发展方向不仅仅是给人们带来新的声音,同时,也会带来新的聆听和创作方法。
长笛和即兴电子乐是Leslie非常擅长的两种表演方式,作为音乐人的她,在创作中,会直接使用科技手段收录自己演奏时的生理上的认知状态并融入到其中,让声音触及听众的环境知觉,使人们沉思,令他们康乐。她的音乐总是在微妙中逐渐生成,其中又暗含着一缕缕的回应,让人感到遥远又亲切。自2014年以来,Leslie已经发行过四张个人或合作专辑,分别是Sonic Tonic、Light Sanctuary (Grace & Max)、Vessel No. 1和Chapel。
在一些学术活动中,Leslie会向听众展示她的研究成果——情感感知音乐系统(Affectively aware music system),一边演出,一边使用脑机接口向听众揭示自己的内在心理状态。在美国、英国、澳大利亚、德国、新加坡、韩国和日本,她都做过这种分享,2016年还曾来过中国,参加深圳龙岗的国际众创周末(Global Cre8 Summit2016)。
除了音乐创作,Leslie也创作声音装置。Chambers是一个由多个回声系统组成的声音装置,通过微型麦克风,小系统们可以“听”到彼此,并利用小型电动机的敲打产生共振腔而对唱。众多声音形成了一个音乐整体。
GrainStick是她设计的一个互动装置。使用者手持能够进行姿势分析的红外仪器来控制声音变化。当两个人使用仪器对话时,会观察到彼此的肢体变化并听到声音的改变,从而形成互动和对话。
情感感知音乐系统(Affectively aware music system)原理图
2018年,Leslie来到乔治亚理工,组建了大脑音乐实验室(The Brain Music Lab),在她的研究中,脑电监测(Electroencephalogram,EEG)是必不可少的一环。通过脑电图和肢体动作,可以分析了解被试的情绪变化。研究人员根据被试的反应形成新的视听反馈,这样的反馈又反过来影响被试的脑电和肢体动作。这也是Leslie音乐创作的基石。此外,还会更进一步地对脑电图开展分析,结合机器学习对音乐进行预测/想象。
分析的另一个要素是心跳,通过让被试聆听心跳,并让他们回答所听心跳的对应情绪,去检验人们是否有能力通过心跳感受到另一个人的感受。研究给出的答案是yes。
Leslie做的事情是相当前沿的,可以说非常酷。在研究上,她深耕近年爆火的神经科学,研究音乐这一精神层面的客体在物质层面上的影响;在创作上,她使用脑电等传统音乐不会使用的声音,拓宽了音乐这一媒体。
不过,我最喜欢Leslie研究中的一点是她游刃于日常生活与高深科学的边界。脑电图、心电图能传递信息,这激发了人们想要探秘的好奇心,而她在意的是将这些信息转化成温柔的信号,激起了聆听者内心的情感。
通过检测聆听音乐时的大脑,科学家们发现,音乐对人们的影响远远超过了我们过去的认知。过去,我们常常认为音乐是感性的,左脑掌控语言,右脑掌控音乐。但事实上,音乐能够激发整个大脑。当欣赏乐曲时,整个大脑皮层都是活跃的。
当音乐达到大脑,首先激活了听觉皮层,它能够分辨音乐的音高、节奏、旋律;当人们看音乐演出时,视觉皮层同时也会被激活;当人们随着节拍手脚互动时,运动皮层也被应用到;此外,控制情绪的小脑也会有所反应,海马体会唤起相关的记忆。如此,让大脑全方位暗涌,无怪乎音乐成了人类抵御无聊的利器。
科学艺术研究中心是一家非营利机构,以“跨界促生变革”为核心,致力于打造国内首家科学艺术家们的研究与创新平台,来促进不同学科领域间的高度交叉融合。科学艺术研究中心集创作与传播为一体,推动科学知识的大众普及。