本地新型AI音乐生成模型 为作曲家一分钟内提供“初稿”

名为Mustango的人工智能软件,由新加坡科技设计大学两位助理教授波里安(Soujanya Poria,左)和埃勒曼(Dorien Herremans,右)带领的六人科研团队研制而成。(新加坡科技设计大学提供)
名为Mustango的人工智能软件,由新加坡科技设计大学两位助理教授波里安(Soujanya Poria,左)和埃勒曼(Dorien Herremans,右)带领的六人科研团队研制而成。(新加坡科技设计大学提供)

字体大小:

本地开发首款“可控文本提示”人工智能音乐生成模型,专家认为将大大提升音乐谱曲的效率,为谱曲人快速提供高质量的“初稿”。

这款名为Mustango的人工智能软件,由新加坡科技设计大学两位助理教授波里安(Soujanya Poria)和埃勒曼(Dorien Herremans)带领的一个六人科研团队,用了大约半年的时间于11月研制而成,可根据使用者输入的专业音乐文本提示,快速生成符合特定和弦、节拍、速度和音调等要求的音乐作品。

该项目是从波里安早前研发的一款名叫TANGO的人工智能软件开发出来的。TANGO可以在数秒钟内,根据文本的信息转换成语言、音乐等声音。在此基础上,研究团队利用了一种独创的“数据增强方法”,建立了一个名叫MusicBench的音乐数据集(dataset)。然后,研究人员通过自创的音乐信息检索方法,提取出数据库中的音乐特征,并将这些特征与文本描述建立关联,让Mustango能在一分钟以内根据文本信息创作出音乐。

波里安说:“这款人工智能软件特别关注使用的可控性,让用户能够输入指定的和弦序列、节奏偏好,为作曲者、声音设计师和播客提供前所未有的灵活性。”

新科大的这项成果已刊登在论文预先发表网站arXiv,可以随时与同行分享并得到反馈。同时,这项研究也已经通过开放性数据和机器学习平台Hugging Face向公众开放。目前,该平台上已有多个通过“D小调”“广板(Largo)”等专业音乐术语组成的文本提示样本。

国大助理教授:或适用于为社媒广告及电影和游戏创建音乐片段

新加坡国立大学杨秀桃音乐学院助理教授(乐理,作曲)陈长毅对Mustango进行了测试后指出,大多数生成的片段听起来相当准确,与文本提示里所含有的音色、风格和情感等信息基本相符。

“我的第一反应是,这款人工智能软件可能适用于为社交媒体、广告以及电影和游戏创建音乐片段。”

从作曲家的角度来看,他认为,该软件使用方便,且涵盖各种音乐风格、派别、声音的混合,可以帮助作曲家很快创作出一部作品的“初稿”。同时,这款软件也可以帮助作曲家通过输入非常具体的文本提示,了解目标作品的大致效果,从而加快作曲家在创作之前的准备工作。

“如果好好利用这款软件,可以达到与传统谱曲技能相得益彰的效果。”

LIKE我们的官方脸书网页以获取更多新信息