Meta AI 首译闽南语 打通非书写语沟通障碍

Meta通过语音翻译工具,帮助不同文化的人沟通。(iStock图片)
Meta通过语音翻译工具,帮助不同文化的人沟通。(iStock图片)

字体大小:

Meta最近发布闽南语翻译系统,让闽南语用户能与英语用户对话,虽然目前一次只能翻译一个完整的句子,但研究团队继续积极训练AI模型,他们相信在两到五年后,系统可以支援更多语言,并显著提升翻译素质。

脸书母公司Meta最近发布了闽南语(本地称福建话)翻译系统,以人工智能(AI)翻译非书写语言,让闽南语用户能与英语用户对话,是世界首创。

Meta研发出的翻译系统称为“通用语音翻译工具”(Universal Speech Translator,简称UST),利用AI使没有文字书写记录的语言,透过语音对语音方式直接翻译。Meta选择以闽南语作为此技术的第一个对应语言,因为它是中文语系中的代表语言之一,目前东亚地区使用闽南语的人口约有4600万人,在中国大陆有约2800万人说闽南语,台湾约1350万人,新加坡和马来西亚则各有100万至200万人。

来自台湾的Meta软件工程师陈鹏仁是闽南语翻译系统团队的领导。他最近跟脸书创办人马克扎克伯格(Mark Zuckerberg)一起出现在视频中,示范了这套闽南语翻译系统,翻译过程相当顺畅。

扎克伯格(上图)、陈鹏仁在视频中示范闽南语翻译系统。(Meta提供)

37岁的陈鹏仁在台北出生长大,台湾大学资讯工程学硕士毕业,在台湾工作一年后到美国加入Meta。他的父亲来自台湾南部,习惯说闽南语,陈鹏仁希望这项技术可以帮助更多像他父亲一样的人,以自己熟悉的语言与其他人沟通。

陈鹏仁接受《联合早报》访问时说:“我们先研发闽南语翻译系统的另一个主要原因,是因为团队有几名同事会讲闽南语,对于研究进展很有帮助。”被问及成功开发出闽南语翻译系统的感受,他回答:“第一次听到开发的系统能够说出自己熟悉的语言非常感动!很开心能够跟家人在开发专案上互动,过程中和家人一起测试,爸爸说中间有几个字听不懂,过了几个礼拜,爸爸对系统的进展很感兴趣,会追问有没有改进。”

陈鹏仁希望在美国长大的女儿(左)能通过闽南语翻译系统跟台湾家人沟通。(Meta提供)

面对三大挑战

以往的AI翻译工具,必须利用大量的书写文字训练AI模型,闽南语虽然是华裔族群广泛使用的语言,但大多以口语沟通,缺乏标准的书写文字系统,无法以传统的方式打造翻译工具。Meta开发闽南语翻译系统时主要面临三大挑战,分别是资料搜集、模型设计,以及准确度评估。

闽南语是所谓的“资源匮乏”语言,意味着与西班牙文或英文等语言相比,没有足够的训练资料。将英语翻译成闽南语的翻译人员相对来说很少,因此更难搜集资料并加上注解来训练AI模型。

Meta团队利用资源充足且相似度高的中文作为中间语言,先将英语(或闽南语)语音翻译成中文文字,接着再翻译成闽南语(或英语),然后新增至训练资料中。此方法利用了资源充足的相似语言的资料,借此大幅改善模型成效。

另一个产生训练资料的做法是“语音探勘”,研发团队使用预先训练好的语音编码器,系统会自动分析闽南语语音,并和相似语意的英文语音、文字配对。

在模型设计方面,传统翻译系统大多依赖“语音转文字”系统,但由于闽南语并没有标准书写文字形式,研发团队采用“语音转单元翻译”(speech-to-unit translation,S2UT)系统,将语音转换成一系列的声学单元并生成波形后,再进行解码与翻译。

准确度评估方面,研发团队使用Meta开发的台罗(Tai-lo)系统,将闽南语语音转译成标准化的拼音符号,以音节为单位来评估翻译准确度。Meta团队根据名为“Taiwanese Across Taiwan”的闽南语语音语料库,建立第一个闽南语与英语双向的语音翻译基准资料集。Meta将开放此基准资料集的原始码,鼓励其他研究人员合作进行闽南语语音翻译,一同在该领域取得进一步进展。

闽南语翻译系统目前一次只能翻译一个完整的句子,陈鹏仁说对于语音内容的翻译,模型设计已可以达到很好翻译,最大困难是合成闽南语语音的部分,“闽南语有许多不同的声调,以及非常复杂的变调规则,这个部分还需要研究上的突破。另一个是对于不同口音的支持,困难点落在语料收集上,必须包含完整的口音分布。再提升的瓶颈会在语料的搜集上,包含更多的口音以及更广泛的内容等。”

两到五年后,支援更多语言

Meta首创用于闽南语的各项技术,未来可以扩展至其他有书写系统和无书写系统的语言。Meta将公开资料探勘技术支援的“大型语音翻译语料库”,方便其他研究人员建立自己的语音翻译系统。

Meta研究科学家范蕙蕙说:“翻译系统还面对一些问题,例如速度慢,无法表达语音情感,无法支援休闲用语等。我们还在积极研究,相信在两到五年后,可以支援更多语言并显著提升翻译素质。”

范蕙蕙认为UST能帮人们以熟悉的语言接触线上资讯。(Meta提供)

范蕙蕙认为UST未来能消除语言隔阂,让全球数亿人通过自己熟悉的语言接触线上资讯。“目前网络资讯被几种语文主导,人工智能翻译系统不但能帮助那些不说这些语言的人,也会彻底改变全球人沟通和分享资讯的方式。”

LIKE我们的官方脸书网页以获取更多新信息