（圖片來(lái)源@視覺(jué)中國(guó)）

鈦媒體App獲悉，當(dāng)?shù)貢r(shí)間8月22日，科技巨頭Facebook母公司Meta 對(duì)外發(fā)布了一款最新人工智能（AI）翻譯引擎SeamlessM4T，可以更輕松地跨文本語(yǔ)音翻譯和轉(zhuǎn)錄近100種語(yǔ)言。

同時(shí)，Meta還公布了新的開(kāi)源翻譯數(shù)據(jù)集 SeamlessAlign，將44.3萬(wàn)小時(shí)的語(yǔ)音與文本、2.9萬(wàn)小時(shí)的語(yǔ)音轉(zhuǎn)錄數(shù)據(jù)進(jìn)行對(duì)齊，教會(huì)SeamlessM4T如何將語(yǔ)音轉(zhuǎn)錄為文本、翻譯文本、從文本生成語(yǔ)音。

(資料圖)

Meta表示，SeamlessM4T將與SeamlessAlign一同開(kāi)源。SeamlessM4T代表了 AI 技術(shù)驅(qū)動(dòng)的“語(yǔ)音到語(yǔ)音”和“語(yǔ)音到文本”領(lǐng)域的“重大突破”。

據(jù)悉，作為最早投資AI的大型科技企業(yè)之一，Meta于2013年成立了 AI 基礎(chǔ)研究實(shí)驗(yàn)室，聘請(qǐng)了AI領(lǐng)域的頂級(jí)學(xué)者，有大量社交與元宇宙算法，推出Pytorch框架、Zion等軟硬件產(chǎn)品。不過(guò)，雖然Meta在AI領(lǐng)域也取得了一些進(jìn)展，但它落后于OpenAI、微軟、谷歌等公司。

隨著ChatGPT風(fēng)靡全球，Meta AI團(tuán)隊(duì)正在加緊追趕，以及重新組合其關(guān)于語(yǔ)言、對(duì)話等領(lǐng)域與大模型相關(guān)的研究。

去年底之后，Meta陸續(xù)發(fā)布No Language Left Behind（不留語(yǔ)言）文本到文本的機(jī)器翻譯模型，支持200種語(yǔ)言，以及開(kāi)發(fā)多語(yǔ)言數(shù)據(jù)集SpeechMatrix、生成文本到聲音的AudioCraft等。另外在今年7月，Meta還發(fā)布開(kāi)源對(duì)話大模型Llama 2，引發(fā)廣泛討論和關(guān)注。

此次公布的SeamlessM4T，建立在Meta AI翻譯模型的技術(shù)能力基礎(chǔ)上，并重新設(shè)計(jì)Fairseq序列建模工具包，以創(chuàng)建更輕量級(jí)的模型和處理更多信息。Meta表示，SeamlessM4T從“爬取的網(wǎng)頁(yè)數(shù)據(jù)的公開(kāi)可用存儲(chǔ)庫(kù)中”收集了400萬(wàn)小時(shí)的“原始音頻”，該模型可以在近100種語(yǔ)言之間進(jìn)行文本到語(yǔ)音的翻譯，并支持35種語(yǔ)言的完全語(yǔ)音到語(yǔ)音翻譯。

對(duì)于安全性和脫敏性，Meta表示，在開(kāi)發(fā)SeamlessM4T時(shí)，團(tuán)隊(duì)構(gòu)建了一個(gè)可以識(shí)別敏感詞系統(tǒng)，目標(biāo)是能夠過(guò)濾了訓(xùn)練數(shù)據(jù)中不平衡的數(shù)據(jù)信息，從而檢測(cè)和輸出正確的翻譯內(nèi)容。而且，Meta研究人員還嘗試清理誤譯一些臟話的數(shù)據(jù)集，以便更準(zhǔn)確地檢測(cè)何時(shí)使用。

Meta研究科學(xué)家負(fù)責(zé)人Paco Guzman表示，SeamlessM4T的一大突破是它不依賴中間模型來(lái)產(chǎn)生結(jié)果，這使得它更加靈活，甚至支持動(dòng)態(tài)更改語(yǔ)言。這將促進(jìn)更多人使用其進(jìn)行日程對(duì)話。

不過(guò)，Meta建議不要使用SeamlessM4T進(jìn)行長(zhǎng)篇翻譯，政府專用的認(rèn)證翻譯，以及不鼓勵(lì)出于醫(yī)療或法律目的部署該模型，原因或與專業(yè)領(lǐng)域的翻譯準(zhǔn)確度有關(guān)?？萍季W(wǎng)站《對(duì)話》（theconversation）最近表示，AI 翻譯有許多缺陷，包括不同形式的性別錯(cuò)誤和偏見(jiàn)、語(yǔ)音識(shí)別算法偏差等。

據(jù)報(bào)道稱，Meta后續(xù)將把這些翻譯和轉(zhuǎn)錄方面的 AI 進(jìn)展，整合到Facebook、Instagram、WhatsApp、Messenger和Threads等產(chǎn)品當(dāng)中。

（本文首發(fā)鈦媒體App，作者｜林志佳，編輯｜馬金男）

關(guān)鍵詞：