棒球击球声和观众的欢呼可以瞬间抓住球迷的注意,即使他们错过本垒打。人类虽然以视觉为主,但同样通过听觉感知世界。MIT 的 Paris Smaragdis 教授致力于让机器的听觉超越人类,以便在交通事故、地热钻探等场景中快速定位异常声音。
Smaragdis 将自己定位为“计算机视觉的听觉版”。他的团队研究声音源分离、增强现实音频以及帮助人们创作、分析和操作音乐的工具。
他在希腊长大,少年时期学习古典吉他,后因父亲带回的合成器而对声音合成产生兴趣。由于欧洲保守的音乐学院缺乏相关课程,他选择了波士顿的伯克利音乐学院,在那里学习计算机与合成器的结合,并主修贝斯以探索更少人涉足的音域。
在伯克利期间,他与电子制作教授 Richard Boulanger 合作开发了用于音乐创作的计算机工具,并与 MIT Media Lab 的 Barry Vercoe 合作开发软件合成器。随后在 Vercoe 实验室完成硕士、博士和博士后,转向机器学习来处理声音,认为传统信号处理难以捕捉人类听觉的本质。
离开实验室后,他加入三菱电机研究所,研发能够通过音轨识别视频亮点的 AI 系统,这项技术后来被用于个人录像、交通监控和手机中。随后在 Adobe 组建音频研究团队,打造面向艺术家的易用音频工具。
在伊利诺伊大学厄巴纳‑香槟分校,他将最新的神经网络用于音频混合分离,并帮助《披头士:回到过去》纪录片清理存档音频,因而获得 2022 年艾美奖音效编辑奖。
2025 年,他回到 MIT,聚焦两大方向:一是为音乐家提供能够聆听并给出反馈的智能系统,二是研发突破传统采样率、帧长等限制的灵活音频处理算法,并探索将大语言模型用于语音识别和音频增强。
他热衷于把学生从理论带到实践,让他们亲耳听到方程的声音。课余他弹爵士贝斯,参与波士顿的音乐社区,并执教水下曲棍球——这项他在伊利诺伊大学创立的冷门运动,正准备在 MIT 复活。
Smaragdis 认为,追求未被探索的声音本身就是对创造力的深度检验。