跟隨科技圈“潮流”，微軟宣布將于2023年3月底之前在全球裁員1萬人，約占員工總數(shù)的5%。這次裁員規(guī)模之大，被微軟視為應(yīng)對(duì)宏觀經(jīng)濟(jì)狀況和客戶優(yōu)先事項(xiàng)變化的措施。但這種做法似乎不影響這家企業(yè)有足夠的資金對(duì)OpenAI進(jìn)行新一輪投資。

據(jù)外媒Semafor報(bào)道，微軟將以100億美元投資OpenAI，并且將獲得OpenAI 75%的利潤(rùn)份額，直到收回投資資金，之后微軟將持有OpenAI 49%的股份。

投資OpenAI，其源動(dòng)力是ChatGPT帶來的一系列業(yè)內(nèi)反響，ChatGPT一方面正為微軟補(bǔ)強(qiáng)其在搜索領(lǐng)域的壁壘，另一方面也為自身在通用型AI和NLP領(lǐng)域塑造商業(yè)化能力，而這原本是一個(gè)由谷歌AI主導(dǎo)的大市場(chǎng)。

(資料圖)

ChatGPT于2022年11月30日面向客戶端進(jìn)行發(fā)布，兩個(gè)月后，該模型驅(qū)動(dòng)的工具平臺(tái)月活用戶估計(jì)已達(dá)1億。近日，ChatGPT還宣布了Plus增值版，每月收費(fèi)20美元，面向更多有需要的企業(yè)和學(xué)生提供會(huì)員服務(wù)。摩根士丹利的一份報(bào)告正研究ChatGPT是否對(duì)谷歌構(gòu)成威脅，“該語言模型可能會(huì)占據(jù)一定市場(chǎng)份額，并且破壞谷歌作為互聯(lián)網(wǎng)用戶入口的地位。”

深受深度學(xué)習(xí)的影響，NLP領(lǐng)域近年來的科研成果是可見的，也解鎖了很多新的應(yīng)用場(chǎng)景，但仍然沒有迎來關(guān)鍵的商業(yè)化破局。而OpenAI與微軟土財(cái)主的這次合力“氪金”，顯然激起了新一輪NLP技術(shù)企業(yè)的集體焦慮。

ChatGPT的過去與現(xiàn)在

從技術(shù)原理解釋，ChatGPT是由微調(diào)后的GPT3.5模型提供。與早期的ELMO，谷歌的BERT、ALBERT，百度的ERNIE，達(dá)摩院的M6一樣，它們均為NLP預(yù)訓(xùn)練大模型的典型代表。這意味著像知識(shí)檢索、人機(jī)交互、語言翻譯、文學(xué)創(chuàng)作這些活兒，預(yù)訓(xùn)練模型好像都能干。

但不同的是，ChatGPT這次還提供了客戶端界面，用戶可直接通過客戶端基于模型訓(xùn)練出的“機(jī)器人”進(jìn)行交互，并且實(shí)現(xiàn)WebUI免費(fèi)版。這種做法也讓許多C端用戶可以迅速調(diào)用ChatGPT，如構(gòu)思小說框架、寫論文、輔助課程設(shè)計(jì)、為程序debug等操作花樣百出。

在GPT3.5之前，OpenAI已經(jīng)連續(xù)發(fā)布三個(gè)版本的GPT模型，尤其以GPT-3最為著名。在此期間，GPT模型就開始瘋狂通過增加可訓(xùn)練參數(shù)、增加訓(xùn)練樣本等方式進(jìn)行改進(jìn)。但暴力拆解方式下，GPT-3依然會(huì)經(jīng)常產(chǎn)生錯(cuò)誤，曾有專家指出，“如果沒有大量復(fù)雜的工程調(diào)試，GPT-3還無法真正投入使用?！?/p>

另一方面，GPT-3，其參數(shù)量就已經(jīng)達(dá)到1750億，并使用了45TB的訓(xùn)練樣本。這意味著當(dāng)AI任務(wù)訓(xùn)練效果提升的同時(shí)，也對(duì)模型訓(xùn)練成本和時(shí)間帶來了巨大挑戰(zhàn)。業(yè)內(nèi)有人曾估計(jì)僅訓(xùn)練GPT-3模型就需要1200萬美元，如果用一塊非常先進(jìn)的英偉達(dá)GPU訓(xùn)練GPT-3，大概需要100年。

在Transformer思潮的推動(dòng)下，語言模型進(jìn)入“巨量”時(shí)代，大模型已經(jīng)在產(chǎn)業(yè)界帶來了一系列連鎖變化。而NLP領(lǐng)域又并非是一個(gè)獨(dú)立的技術(shù)范疇，依然需要有底層算力、大數(shù)據(jù)、知識(shí)圖譜、遷移學(xué)習(xí)等核心技術(shù)的支撐。

如果GPT按照以往的發(fā)展邏輯，將會(huì)逐漸通過開源方式讓科研與工程界共享技術(shù)紅利。但在商業(yè)世界，絕非如此簡(jiǎn)單。

微軟的神來一筆

2019年，在聯(lián)合創(chuàng)始人馬斯克轉(zhuǎn)身離開后，OpenAI宣布重組，成為有利潤(rùn)上限的盈利機(jī)構(gòu)，股東的投資回報(bào)被限制為不超過原始投資金額的100倍。同年7月，微軟以10億美元注資，并獲得了OpenAI GPT-3的獨(dú)家授權(quán)，而OpenAI則可借助微軟的Azure云服務(wù)平臺(tái)解決商業(yè)化問題，緩解高昂的成本壓力。

過去幾年，OpenAI與微軟的合作節(jié)奏逐漸加快。2021年，OpenAI與代碼托管平臺(tái)Github（被微軟收購(gòu)）合作推出Copilot AI智能代碼生成平臺(tái)，可將文字語言提示詞轉(zhuǎn)化為代碼，目前是為了提升開發(fā)者編碼效率。

2022年，OpenAI先后推出圖像生成器DALL-E 2和文本生成器ChatGPT，微軟也迅速將其整合到自身產(chǎn)品套件，如搜索引擎Bing、Office辦公全家桶、會(huì)議視頻產(chǎn)品Teams Premium均已經(jīng)計(jì)劃應(yīng)用ChatGPT。

而如今，微軟不僅希望進(jìn)行新一輪百億美金投資，還表示將在Azure云平臺(tái)中整合ChatGPT，實(shí)現(xiàn)Azure OpenAI服務(wù)全面上市，通過該服務(wù)可訪問OpenAI開發(fā)的AI模型，屆時(shí)微軟的每個(gè)產(chǎn)品都將具備相同的AI能力。

與OpenAI的合作，成為微軟到迄今為止在AI領(lǐng)域一筆成功的買賣，對(duì)微軟在搜索引擎、辦公、會(huì)議視頻，以及云市場(chǎng)引發(fā)了強(qiáng)烈沖擊，而這也讓外界“期待”有望在2023年發(fā)布的GPT-4。

熱鬧的背后

據(jù)外媒CNBC爆料，谷歌最近正在加快研發(fā)一個(gè)名為“學(xué)徒巴德”（Apprentice Bard）的聊天機(jī)器人，其基于LaMDA語言模型。顯然，谷歌于去年12月針對(duì)ChatGPT的“紅色警報(bào)”已經(jīng)拉響。而除了LaMDA之外，谷歌也已經(jīng)計(jì)劃將圖像生成模型Imagen對(duì)抗OpenAI的DALL·E 2。

而據(jù)百度披露，今年1月初，百度搜索將升級(jí)“生成式搜索”能力，基于百度自研的生成式模型能力，為用戶開放式的搜索提問或定制化的信息需求“創(chuàng)作答案”。此外據(jù)路透社報(bào)道，百度曾計(jì)劃于3月將該服務(wù)作為獨(dú)立應(yīng)用推出，再逐步將其集成到搜索引擎中。

無論在當(dāng)下關(guān)注度較為集中的搜索領(lǐng)域，還是其他潛在領(lǐng)域，受ChatGPT的強(qiáng)烈刺激，包括谷歌、百度在內(nèi)的AI主力梯隊(duì)已經(jīng)快速跟進(jìn)起來。不過，源自GPT本身涉及的倫理問題與技術(shù)難點(diǎn)依然存在。

如Stack Overflow已經(jīng)宣布禁止將ChatGPT所產(chǎn)生的問題用于回答社區(qū)問題，并給出違規(guī)者最多可被封禁30天的懲戒措施。當(dāng)不少大學(xué)生開始用ChatGPT寫作業(yè)，紐約大學(xué)等高校的教授及學(xué)者們也發(fā)出警告，將AI視為作弊行為。

在技術(shù)層面，GPT-3曾經(jīng)會(huì)犯的錯(cuò)誤，在ChatGPT上也并未解決掉，如只能計(jì)算精通十以內(nèi)的加減法，甚至還會(huì)“一本正經(jīng)地胡說八道”。這與ChatGPT的訓(xùn)練語料庫(kù)有一定關(guān)系，其喂養(yǎng)的數(shù)據(jù)還是來自2021年前來自互聯(lián)網(wǎng)的數(shù)十億個(gè)文本示例。例如在專業(yè)知識(shí)領(lǐng)域或者信息更新快的IT領(lǐng)域，模型訓(xùn)練任務(wù)和訓(xùn)練效果往往會(huì)受其制約。

而在訓(xùn)練成本上，小冰公司CEO李笛此前表達(dá)，“ChatGPT主要是研究性質(zhì)上的突破。它有非常好的創(chuàng)新，即證明了在原有的大模型基礎(chǔ)之上，進(jìn)行一些新的訓(xùn)練方法，可以更好地提高對(duì)話質(zhì)量。但如果小冰用ChatGPT的方式來運(yùn)行系統(tǒng)，現(xiàn)在小冰每天承載的交互量就需要花近3億人民幣的對(duì)話成本，即使ChatGPT可以把成本優(yōu)化到現(xiàn)在的10%，也賺不回來?！?/p>

據(jù)外媒披露，微軟此前的融資就以現(xiàn)金+Azure云算力的方式作為兌付，模型訓(xùn)練最消耗的也恰恰是算力成本。這也難怪分析機(jī)構(gòu)預(yù)測(cè)，ChatGPT使用量的快速增長(zhǎng)可能使英偉達(dá)在12個(gè)月內(nèi)銷售額達(dá)到30億至110億美元。長(zhǎng)期來看，這也將是微軟應(yīng)對(duì)算力高投入與ChatGPT高增長(zhǎng)可預(yù)見收益下的一種對(duì)沖策略。

其實(shí)，ChatGPT出現(xiàn)之前，基本國(guó)內(nèi)大的AI玩家就已經(jīng)在涉足構(gòu)建出類似于GPT、但主要基于中文語料庫(kù)的預(yù)訓(xùn)練大模型。大模型在落地過程中呈現(xiàn)出了與以往模型不同的技術(shù)特征，也帶來了更好的智能化水平。

“但是大模型想要在某個(gè)方向上訓(xùn)練得更好，智能化水平更高，需要在具體落地場(chǎng)景引入額外的領(lǐng)域知識(shí)，才能解決實(shí)際問題。AI大模型有其自身特點(diǎn)，訓(xùn)練時(shí)使用的數(shù)據(jù)集主要來自互聯(lián)網(wǎng)，在通用知識(shí)和領(lǐng)域知識(shí)的分布上存在不均，會(huì)影響其在具體行業(yè)的應(yīng)用?！崩顺毙畔I軟件研發(fā)總監(jiān)吳韶華對(duì)鈦媒體App表示。

對(duì)于更多的創(chuàng)業(yè)公司而言，大模型做微調(diào)或二次開發(fā)的方式，且不說仍需要大量算力的支持，在實(shí)際場(chǎng)景中，能不能等到成熟落地也需要時(shí)間成本。

在ChatGPT之后，勢(shì)必會(huì)有更多的AI團(tuán)隊(duì)試圖給出算法更加精準(zhǔn)、訓(xùn)練成本更低、對(duì)于用戶而言調(diào)取更方便的模型，它可能依然會(huì)結(jié)合Transformer，也可能運(yùn)用新的機(jī)器學(xué)習(xí)方法，提出對(duì)語言翻譯、文本生成、甚至情感分析等NLP通用場(chǎng)景下的解決思路。

尤其對(duì)于中國(guó)的AI團(tuán)隊(duì)，也會(huì)在ChatGPT的這場(chǎng)狂歡中繼續(xù)回答一個(gè)老問題：當(dāng)技術(shù)的風(fēng)口再次來了，如何避免走過去商業(yè)目標(biāo)不清晰的老路？（本文首發(fā)鈦媒體APP 作者 | 楊麗）

關(guān)鍵詞： openai chatgpt 華為開發(fā)者大會(huì)