發(fā)布僅5天就收獲100萬(wàn)用戶，ChatGPT大概是歷史上躥紅最快的互聯(lián)網(wǎng)產(chǎn)品。

最早，谷歌對(duì)ChatGPT不屑一顧，但很快谷歌CEO Sundar Pichai 在公司內(nèi)部發(fā)布了“紅色警報(bào)” ，認(rèn)為OpenAI旗下的ChatGPT 真的對(duì)谷歌的主營(yíng)業(yè)務(wù)帶來(lái)了巨大的壓力。

(資料圖)

美國(guó)時(shí)間2月6日，彭博社稱谷歌投資人工智能初創(chuàng)企業(yè)Anthropic 近4億美元，同時(shí)，谷歌內(nèi)部也同步研發(fā)了很多大模型產(chǎn)品，以此來(lái)加固自己的護(hù)城河。

Anthropic成立于2021年，其創(chuàng)始人Dario Amodei曾經(jīng)擔(dān)任OpenAI 研究副總裁，因?yàn)閷?duì)OpenAI發(fā)展方向有分歧而選擇自立門戶。

ChatGPT到底會(huì)不會(huì)沖擊到谷歌搜索？本期節(jié)目，《硅谷101》邀請(qǐng)到了AI研究員余家輝和心識(shí)宇宙MindVerse創(chuàng)始人陶芳波來(lái)討論他們對(duì)于ChatGPT的看法。

01ChatGPT的第一印象：做了十年AI仍覺得驚艷

《硅谷101》：家輝跟芳波，你們有一直在做 AI 方向的前沿研究，看到 ChatGPT，你們的第一感覺是怎么樣的？你們覺得是驚艷還是沒有想象中好？

余家輝：我第一次看到 ChatGPT 是某天早上收到一個(gè)email， OpenAI 推送發(fā)布了ChatGPT。一開始沒有特別驚訝，因?yàn)?OpenAI 在語(yǔ)言生成模型上已經(jīng)耕耘了很多年，往對(duì)話方向上做，是一個(gè)非常自然的步驟。之后看到社交媒體上的一些對(duì)話，意識(shí)到整個(gè) ChatGPT 給人的感覺還是非常不一樣。

《硅谷101》：芳波的印象是怎么樣的？

陶芳波：我的印象和對(duì)ChatGPT 的感受，和很多對(duì)于 AI 沒有那么了解的人是一樣的。ChatGPT 這次的表現(xiàn)，對(duì)于哪怕是在 AI 做了超過(guò) 10 年的人而言，也是非常驚艷的。大兩年前 GPT-3 出來(lái)，它今天把它調(diào)制到一個(gè)真正可以解決非常廣泛?jiǎn)栴}的程度，而且是以一種非常規(guī)范的方式來(lái)解決。同時(shí)，除了解決自然語(yǔ)言的問(wèn)題，ChatGPT 還可以生成代碼，并且是迭代式的去改造自我的代碼。這樣的方式，將來(lái) ChatGPT 可能成為數(shù)字世界的一個(gè)通用的接口，讓人可以通過(guò)它來(lái)改造數(shù)字世界，來(lái)使用數(shù)字世界。這是我看到的一個(gè)巨大的成為未來(lái)的基礎(chǔ)設(shè)施的潛力。

02回答中庸，刻意為之

《硅谷101》：這次 ChatGPT，它跟 GPT-3 相比技術(shù)上的一些提高跟區(qū)別在哪里？我有問(wèn)它一些稍微刁鉆一點(diǎn)的問(wèn)題，它給我的回答我感覺都非常的中庸。這種中庸指的是正面一點(diǎn)點(diǎn)，反面一點(diǎn)點(diǎn)，非常像一個(gè)八股文。或者說(shuō)，它的很多文章，如果從我們寫文章的人來(lái)看，就非常像一種官宣的文章，或者馬屁文章這樣的感覺。從技術(shù)上看，它跟 三年前發(fā)布的GPT3 的區(qū)別到底在哪里 ？

余家輝：能寫官宣的文章也是一種能力，對(duì)吧？他們做了一些人工標(biāo)注，我猜可能在做的過(guò)程中也會(huì)篩選出那些不過(guò)于極端化的，不過(guò)于 aggressive 的回答。把那些回答篩選掉之后，所以給你的一個(gè)主觀的感覺是好像很中庸，好像沒有什么鮮明的觀點(diǎn)，可能這是設(shè)計(jì)者想讓它成為這樣的回答方式。

《硅谷101》：所以設(shè)計(jì)者有對(duì)它調(diào)教過(guò)。

余家輝：對(duì)。剛才問(wèn)到的問(wèn)題是技術(shù)上有哪些提高和區(qū)別？ChatGPT 本身還是基于 GPT-3，更準(zhǔn)確地說(shuō)是 基于 GPT-3. 5 模型。在我的理解里，GPT-3.5 跟原來(lái)的 GPT-3 比用了一些新的數(shù)據(jù)，又做了一些人工的標(biāo)注調(diào)教。

他們運(yùn)用到的所謂 RLHF，也就是 reinforce learning with human feedback 的方式，使得這個(gè)模型能輸出更多人想要的或者人想看到的這種答案，而不是簡(jiǎn)單地輸出這種互聯(lián)網(wǎng)上沒有篩選過(guò)的文字。

03?相比于GPT-3的提高：反饋函數(shù)與人工標(biāo)注

《硅谷101》：所以總結(jié)來(lái)說(shuō)，我覺得它中庸的那一部分，其實(shí)是模型故意這樣調(diào)的，它想讓我看到這樣的一個(gè)答案。

余家輝：跟你問(wèn)的問(wèn)題也有關(guān)系，你特別想知道它的某些觀點(diǎn)，它反而就不想告訴你了。我看到的絕大多數(shù)問(wèn)題，它的回答的結(jié)果都還不錯(cuò)。當(dāng)你對(duì)話的變長(zhǎng)的時(shí)候，它還是能去比較好地理解到前面說(shuō)了什么，前面有什么樣的上下文，這是一些比較新的能力。

《硅谷101》：什么叫人工標(biāo)注，能跟大家解釋一下嗎？

陶芳波：我簡(jiǎn)單補(bǔ)充一下家輝的觀點(diǎn)。家輝剛才提到一個(gè)概念叫 reinforcement learning with human feedback。我覺得你說(shuō)的那一點(diǎn)是對(duì)的。我覺得它的中庸，包括它不愿意去表達(dá)觀點(diǎn)，是刻意為之。因?yàn)镃hatGPT 跟 GPT-3，包括 GPT-3. 5 有一個(gè)很大的不同，它嘗試把強(qiáng)化學(xué)習(xí)引入其中。強(qiáng)化學(xué)習(xí)本質(zhì)上是要有一個(gè)反饋函數(shù)的，在反饋函數(shù)的制定當(dāng)中，它加入了很多 OpenAI 認(rèn)為一個(gè)聊天任務(wù)型機(jī)器人應(yīng)該具有的一些特點(diǎn)。比方說(shuō)，它應(yīng)該很安全，他的表達(dá)應(yīng)該比較標(biāo)準(zhǔn)，不要太跳脫，不要去隨意的評(píng)論別的觀點(diǎn)。

我認(rèn)為它在設(shè)計(jì)獎(jiǎng)勵(lì)模型的時(shí)候，就已經(jīng)能把這樣的一些偏見規(guī)避嵌入到其中了。這個(gè)就是你剛才提的人工標(biāo)注。

因?yàn)槲覀円郧霸诖竽Ｐ陀?xùn)練的時(shí)候，往往是用微調(diào)的方法，也就是用新的大模型的文本數(shù)據(jù)去讓大模型學(xué)會(huì)新的說(shuō)法。而ChatGPT是相當(dāng)于構(gòu)造了一個(gè)類似于判定的老師，這個(gè)老師的判定是有一些標(biāo)準(zhǔn)的，然后它不斷地去告訴那個(gè)老師，不斷地跟老師去battle，來(lái)調(diào)整自己的行為模式和說(shuō)話方式，使得它最終能夠符合老師的標(biāo)準(zhǔn)。

這是一個(gè)比較有意思的創(chuàng)新，使得它目前的表現(xiàn)，無(wú)論從內(nèi)容的扎實(shí)度，回答的有效性，還有像你說(shuō)的，比較中庸的說(shuō)話方式，都會(huì)受到 reward model 的影響。這就是人工標(biāo)注的一種全新的使用方式。這給很多做大模型訓(xùn)練的人打開了一個(gè)新的空間和一個(gè)新的可能性。

《硅谷101》：人工標(biāo)注是不是指，比如我來(lái)問(wèn)它一些問(wèn)題，當(dāng)大家回答的時(shí)候，你來(lái)告訴它哪一種回答是最好的。

陶芳波：它有兩種標(biāo)注方法。第一種標(biāo)注方法是直接讓真人去寫答案，直接喂給它，讓它去學(xué)會(huì)當(dāng)遇到這樣的問(wèn)題的時(shí)候，真人應(yīng)該怎么回答。有點(diǎn)像是中國(guó)的那種填鴨式教育，在背的過(guò)程當(dāng)中，讓你學(xué)會(huì)怎么去回答問(wèn)題。另外一種就是你剛才提到的，我去訓(xùn)練一個(gè)判斷的模型。判斷的模型會(huì)說(shuō)你給我這 3 個(gè)答案里面，哪一個(gè)答案是我最想要的？把模型訓(xùn)練好了之后，ChatGPT 就可以不斷地產(chǎn)生新的答案。針對(duì)不同的問(wèn)題，判斷的模型會(huì)不斷地給它反饋我到底想要哪個(gè)答案。最后它不斷地調(diào)整自己，使得它找到適合最終他想要展現(xiàn)的那種判斷方法。

《硅谷101》：我覺得訓(xùn)練 AI 的方法還挺有意思的，跟訓(xùn)練小朋友也是有一點(diǎn)點(diǎn)像的。芳波我們之前有聊到，OpenAI在大概2022年 3 月份的時(shí)候發(fā)了一個(gè) GPT-3的論文，之后發(fā)了一個(gè) instruct GPT 的一個(gè)論文。

陶芳波：ChatGPT, 就像家輝剛才講的，因?yàn)樗澈筮€是基于 GPT 來(lái)訓(xùn)練的，尤其是基于 GPT-3.5 來(lái)訓(xùn)練的。 GPT-3.5你可以理解為是比 GPT3 又加入了代碼的能力。所以它會(huì)用所有的互聯(lián)網(wǎng)上的文本數(shù)據(jù)，加上它能找到的所有的代碼的數(shù)據(jù)，一塊來(lái)訓(xùn)練它。因此它本身的模型里面已經(jīng)擁有了幾乎全部的常識(shí)。所有的大模型訓(xùn)練好之后就已經(jīng)擁有常識(shí)了。而 ChatGPT，包括 instruct GPT，做的是如何構(gòu)造一種理解的方式，讓 ChatBot 可以更好地去使用這些常識(shí)，理解這些常識(shí)。但它的訓(xùn)練，哪怕它的微調(diào)的部分?jǐn)?shù)據(jù)量很少，也不影響它背后的知識(shí)是無(wú)窮大的。

余家輝：你可以理解為 instruct GPT 相當(dāng)于提供一種方法。當(dāng)然，芳波也提到了這個(gè)概念相當(dāng)于：第一步是做一些標(biāo)注，比如給你一些問(wèn)題，然后人工地去給一些答案；第二步就是這種判別式地給一些標(biāo)注，就是說(shuō)，現(xiàn)在機(jī)器或者大模型給你一些答案，然后人來(lái)判斷哪個(gè)好哪個(gè)差，整個(gè)方法應(yīng)該是不變的。但是具體上，對(duì)于每一個(gè)步驟，比如生成性的這種標(biāo)注，大概用了多少人工人力，多少的數(shù)據(jù)量，其實(shí)都還不知道。

陶芳波：對(duì)，相比之下，最后用來(lái)做人工標(biāo)注的部分，比起它一開始的訓(xùn)練，數(shù)據(jù)，肯定是少得多的。因?yàn)橐婚_始的數(shù)據(jù)是非標(biāo)注的，它可以拿互聯(lián)網(wǎng)上所有的數(shù)據(jù)。你可以理解為幾十億的人類在過(guò)去幾十年積累的文本數(shù)據(jù)來(lái)訓(xùn)練它。而在 ChatGPT 自己公開的一個(gè)介紹里面會(huì)說(shuō)，它大概用了一個(gè) 40 人左右的標(biāo)注團(tuán)隊(duì)來(lái)完成對(duì)它的數(shù)據(jù)的打標(biāo)和微調(diào)。所以 40 個(gè)人的數(shù)據(jù)相比于整個(gè)人類社會(huì)的互聯(lián)網(wǎng)數(shù)據(jù)，再多也只是九牛一毛而已。這個(gè)是比較有意思的一個(gè)點(diǎn)，就是在不成比例的數(shù)據(jù)情況下，還是可以給它帶來(lái)很大的性能上的變化。我覺得這個(gè)是ChatGPT 這次給我們展示的一個(gè)很有意思的地方。

04對(duì)比Siri：底層能力不一樣

《硅谷101》：我接下來(lái)問(wèn)一個(gè)特別小白的問(wèn)題，我覺得可能不是很了解聊天機(jī)器人的人會(huì)關(guān)心 ChatGPT 跟蘋果的 Siri 有什么不一樣。

陶芳波：從我的角度來(lái)講， ChatGPT 的優(yōu)勢(shì)是在于它有一個(gè)無(wú)限的開放域，它可以在一種通用的描述下去完成通用的任務(wù)。它相比于傳統(tǒng)的聊天機(jī)器人，比方說(shuō)Siri，比方說(shuō)我們知道的Alexa，甚至包括天貓精靈，這樣不同的一個(gè)工作特點(diǎn)。因?yàn)樗澈蟮拇竽Ｐ驮谧龅米銐虼笾?，它就具有通用性的解決問(wèn)題的能力了，并且可以使用整個(gè)通用的互聯(lián)網(wǎng)的常識(shí)來(lái)解決。

而傳統(tǒng)的聊天機(jī)器人，因?yàn)橐呀?jīng)存在很久了，它并不是一個(gè)新的概念。它們往往有幾個(gè)特點(diǎn)。它首先是垂直的，意思是它可能只能解決一個(gè)行業(yè)的問(wèn)題。第二，它可能需要為一個(gè)行業(yè)特定的問(wèn)題去做專門的訓(xùn)練。比方，我需要先訓(xùn)練一個(gè)分類模型來(lái)理解一個(gè)用戶這句話的意圖，然后再把它導(dǎo)到一個(gè)合適的處理模塊里面。所以它整個(gè)部署的成本和它使用的通用性會(huì)比 ChatGPT 這種要少很多。但是它也有它的優(yōu)勢(shì)。

今天 ChatGPT 雖然你看到了一些小缺點(diǎn)，比如你剛才提到了一個(gè)它目前比較中庸的問(wèn)題，但其實(shí)它還有一些更大的缺點(diǎn)——由于它依賴的是背后的常識(shí)，而沒有辦法使用真正的，公開的數(shù)據(jù)去驗(yàn)證它的正確性，所以它有的時(shí)候會(huì)經(jīng)常說(shuō)一些錯(cuò)誤的事實(shí)。比方如果你問(wèn)它，為什么 CPU 會(huì)比 GPU 更快，更有利于去做 AI 的推理，它會(huì)說(shuō)是的，我認(rèn)為 CPU 會(huì)比 GPU 更快，因?yàn)槭裁词裁词裁?。它?huì)順著你說(shuō)，編造一個(gè)它覺得合理的邏輯。但事實(shí)上，它所說(shuō)的事實(shí)本身就是錯(cuò)誤的。我看到的一個(gè)趨勢(shì)是未來(lái)可以把這兩個(gè)東西結(jié)合的更好一些，也就是說(shuō)既能夠有這種開放域通用問(wèn)題的處理能力，但同時(shí)又可以對(duì)這種事實(shí)性的或者專業(yè)技能型的東西有更好的融入。

余家輝：我覺得芳波的總結(jié)是非常到位的。ChatGPT是基于大語(yǔ)言模型的。蘋果 Siri 或者其他聊天機(jī)器人，可能絕大多數(shù)上還是 search based和 rule based。這里也不好說(shuō)誰(shuí)好誰(shuí)壞。這里要解決的問(wèn)題也是像芳波所提到的，是不是足夠的準(zhǔn)確，是不是尊重事實(shí)。這是作為聊天機(jī)器人真正商業(yè)化的時(shí)候必不可少的一些能力。

05ChatGPT與AlphaCode會(huì)不會(huì)取代程序員

《硅谷101》：我看見最近不僅僅是 ChatGPT，其實(shí)還有谷歌的 Alpha code，連續(xù)登上了最好的兩本雜志，一本是《科學(xué)》，一本是《自然》。像 Alphacode，它已經(jīng)在一個(gè)國(guó)際的編程大賽中大概是達(dá)到了 1238 分。這個(gè)意味著什么？換句話說(shuō)，它在人類的參與者中排名占到 了54. 3%，相當(dāng)于它是一個(gè)人類中等偏上的程序員的水平了。自然雜志就更直接了，他用的標(biāo)題就是《 ChatGPT 跟 Alpha code，它們未來(lái)會(huì)不會(huì)取代程序員？》你們?cè)趺纯催@個(gè)問(wèn)題？你覺得它會(huì)取代程序員嗎？

余家輝：先說(shuō)一個(gè)簡(jiǎn)單回答，取代程序員現(xiàn)在來(lái)看還是有點(diǎn)早。我能想象，不管是ChatGPT 或者像是 AlphaCode，很多時(shí)候它能幫已有的程序員去優(yōu)化一些現(xiàn)有的步驟。比如我們平時(shí)寫 code 的過(guò)程中，也是有人寫，也有人看，看寫的到底是不是對(duì)的。在這個(gè)過(guò)程中，比如像 AlphaCode 或者 GPT-3.5，它能寫一部分的code，然后程序員來(lái)做review。這種是可行的，但這并不意味著它能取代程序員。如果是完全取代程序員，可能會(huì)帶來(lái)一些問(wèn)題，比如讓整個(gè)系統(tǒng)出現(xiàn)一些問(wèn)題。《硅谷101》：是不是有可能會(huì)把整個(gè)系統(tǒng)寫垮，對(duì)嗎？

余家輝：對(duì)，寫垮或者系統(tǒng)癱瘓的時(shí)候，你也不知道怎么debug。如果最后還是人來(lái)debug的話，可能一下子也找不到它寫的代碼哪里有問(wèn)題。

陶芳波：我說(shuō)一個(gè)比較有意思的事情，就是 ChatGPT 出來(lái)大概 10 天的時(shí)間，我對(duì)它還是比較樂(lè)觀的。但是我同意家輝講的，對(duì)于真正的復(fù)雜的系統(tǒng)架構(gòu)的設(shè)計(jì)，包括整個(gè)代碼結(jié)構(gòu)的一些設(shè)計(jì)，可能真人，無(wú)論是初級(jí)程序員還是高級(jí)程序員，對(duì)于它的理解能力都還是會(huì)比 ChatGPT 更強(qiáng)。

但我已經(jīng)可以看到 ChatGPT 能夠提升效率了。所以從 2022年12 月開始，我們公司已經(jīng)在嘗試，去探索一下 ChatGPT 到底怎么樣能夠引入到我們的整個(gè)開發(fā)流程當(dāng)中。我們想看看它到底可以在哪些功能的模塊，哪些環(huán)節(jié)提升我們對(duì)于開發(fā)的效率。

至少我覺得，因?yàn)?ChatGPT 的代碼訓(xùn)練中，很多數(shù)據(jù)來(lái)自于類似Stack Overflow這樣一些代碼問(wèn)答的網(wǎng)站，所以我們會(huì)發(fā)現(xiàn)它做簡(jiǎn)單的任務(wù)其實(shí)做得還蠻好的。包括一種新的語(yǔ)言里面某個(gè)庫(kù)應(yīng)該怎么去使用，以前我們可能要查很多 post 才可以總結(jié)出來(lái)，現(xiàn)在它可以直接根據(jù)你大概的需求幫你寫好。這個(gè)方面我覺得肯定是可以提效的。

但是如果最后所有的程序員都依賴于現(xiàn)在這個(gè)版本的 ChatGPT ，它對(duì)于系統(tǒng)的穩(wěn)定性還是有很大的挑戰(zhàn)。

06AI大模型為何崛起？

《硅谷101》：我們剛剛其實(shí)有聊到 ChatGPT 最近非常非常的火爆。其實(shí)不僅僅只是 ChatGPT ，包括我們之前聊到的 AIGC ，包括 OpenAI 的DALL·E 2。我很好奇這一輪整個(gè) AI 大模型，它的浪潮是怎么樣發(fā)展起來(lái)的？因?yàn)榧逸x我知道你也在做這方面的研究，最開始你是怎么注意到這個(gè)浪潮的？為什么現(xiàn)在生成式 AI 突然火起來(lái)了？

余家輝：這個(gè)是一個(gè)很好的問(wèn)題。如果你形容它是浪潮，前面有不少這種鋪墊。

首先，互聯(lián)網(wǎng)上有大量的數(shù)據(jù)。比如在社交媒體或者Reddit 這種論壇上，大家都開始發(fā)表自己的一些觀點(diǎn)。在大語(yǔ)言模型下面，這些都相當(dāng)于是養(yǎng)料，它能拿這些數(shù)據(jù)做訓(xùn)練。所以數(shù)據(jù)是幾十年來(lái)一直在積累的一個(gè)東西。

第二就是計(jì)算，計(jì)算包括 GPU 和 TPU，這些計(jì)算其實(shí)也是必不可少的一部分。很多時(shí)候我們看到的機(jī)器學(xué)習(xí)的任務(wù)都是模型在小規(guī)模上就已經(jīng)能處理，比如說(shuō) 80% 的task。然后把模型變大一點(diǎn)，計(jì)算資源更多一點(diǎn)，就發(fā)現(xiàn)能處理到 80% 的準(zhǔn)確率。

Emerging capability（展現(xiàn)出來(lái)的潛在能力） 的意思是，這個(gè)模型它一開始不能處理任務(wù) ，很差很差，比如 2% 的成功率。當(dāng)這個(gè)模型大到一定程度的時(shí)候，突然它具備了這種能力。在某個(gè)特定的模型大小下面，成功率也是指數(shù)級(jí)上升的。有了這個(gè)發(fā)現(xiàn)之后，大家就開始嘗試去擴(kuò)大模型。剛好計(jì)算資源也在這個(gè)時(shí)間點(diǎn)上已經(jīng)足夠去 支持這種大語(yǔ)言模型的訓(xùn)練。這個(gè)也是必不可少的一點(diǎn)。

第三個(gè)是 neural architecture(神經(jīng)網(wǎng)絡(luò)架構(gòu))。比較火的是 Transformer （Transformer是神經(jīng)網(wǎng)絡(luò)架構(gòu)中的一種）的這一類架構(gòu)。但其實(shí) Transformer 之前也有不少的這種積累，比如像 ResNet。Transformer 的這種架構(gòu)也非常方便，非常容易去擴(kuò)張，它沒有特別嚴(yán)重的優(yōu)化問(wèn)題。有了這種神經(jīng)網(wǎng)絡(luò)架構(gòu)之后，我們才能看到語(yǔ)言模型具備這樣能力。

陶芳波：其實(shí)我覺得家輝講得很好，包括 transformer 架構(gòu)的價(jià)值，和整個(gè)模型達(dá)到一定程度涌現(xiàn)出來(lái)的一些可以解決通用問(wèn)題的能力，基本上就是大模型本身發(fā)展的背后的幾個(gè)技術(shù)基礎(chǔ)。

我稍微再加蠻有意思的兩點(diǎn)。第一個(gè)是因?yàn)槲覀冏约菏亲瞿X啟發(fā) AI 的一家公司，我們會(huì)經(jīng)常去結(jié)合腦科學(xué)來(lái)看 AI 的一些技術(shù)。然后你會(huì)發(fā)現(xiàn) transformer 它的結(jié)構(gòu)和人腦里面的整個(gè) neocortex （新皮層）一個(gè) 6 層的神經(jīng)元之間的結(jié)構(gòu)是有一定相似度的。

這種結(jié)構(gòu)本質(zhì)上具有一個(gè)通用性，就像今天Transformer，既可以用來(lái)處理視覺的數(shù)據(jù)，也可以用來(lái)處理文本的或者其他模態(tài)的數(shù)據(jù)。我們?nèi)四X里面的新皮層的部分也是不同的腦區(qū)的心皮層本質(zhì)上結(jié)構(gòu)沒有區(qū)別，只是在任務(wù)上做了分塊而已。所以這個(gè)是很有意思的。等于說(shuō)我們找到了一個(gè)類似于人腦新皮層那樣的通用的神經(jīng)網(wǎng)絡(luò)架構(gòu)來(lái)處理、承載不同的任務(wù)類型。

第二個(gè)， OpenAI 這個(gè)組織在生成式大模型是有大貢獻(xiàn)的，因?yàn)槲矣X得沒有 OpenAI 就不會(huì)有現(xiàn)在的 generative AI（生成式AI）。它通過(guò) DALL·E 也好，通過(guò) GPT-3 也好，本質(zhì)上它能力非常強(qiáng)，能把技術(shù)通過(guò)一套很好的工程的體系去實(shí)施出來(lái)交付出來(lái)。

所以 OpenAI 它和其他的公司和其他的學(xué)術(shù)的組織最大的區(qū)別就是他非常注重engineering，包括 ChatGPT這件事情，它也知道怎么樣去控制數(shù)據(jù)的質(zhì)量，怎么樣去把每一個(gè)環(huán)節(jié)做到非常好，再用一種科學(xué)的方法，通過(guò)工程師的放大的效應(yīng)，放大了杠桿，把它的效果做到極致。這是它獨(dú)特的價(jià)值。

所以 ChatGPT今天出來(lái)了之后，我其實(shí)是會(huì)懷疑另外一家公司有沒有可能像它那樣，可以更快地把這件事情給做出來(lái)。

《硅谷101》：你指的另一家公司是誰(shuí)？是 DeepMind 嗎？

陶芳波：有很多，包括Facebook，包括Google，包括DeepMind，包括國(guó)內(nèi)的阿里騰訊。因?yàn)榇竽Ｐ捅旧砟壳皝?lái)看還是大玩家的一個(gè)角力場(chǎng)，這些大玩家肯定每一家都希望有自己的一整套世界領(lǐng)先的大模型的架構(gòu)。它背后如果沒有一套很強(qiáng)的工程能力在支撐，只是靠大力出奇跡，我覺得也是不一定能達(dá)到這樣的效果。

07“大力出奇跡”不完全適用，OpenAI的四大優(yōu)勢(shì)

《硅谷101》：因?yàn)橹霸诜窒?GPT3 的時(shí)候就說(shuō)了，最開始 GPT-3 證明了對(duì)足夠多的數(shù)據(jù)與算力，我們就可以大力出奇跡。所以現(xiàn)在你覺得，并不是比如像谷歌或者M(jìn)eta，或者阿里或者騰訊這樣的公司去做了，就可以大力出奇跡，而是還有一些技巧在里面的是嗎？我在想，OpenAI的核心競(jìng)爭(zhēng)力是什么呢？

陶芳波：對(duì)，我是認(rèn)同這一點(diǎn)的。我一直在看一個(gè)事情，就是谷歌在推自己的LaMDA。LaMDA 本身也不只是今年才出來(lái)的，它之前已經(jīng)有好幾年一直在做這個(gè)事情。它的目標(biāo)我覺得和 ChatGPT 是類似的。谷歌可能也從某種程度上希望自我迭代，把它的搜索能力借由這樣的大模型來(lái)提升。但是從公開出來(lái)的信息和它的使用的樣例來(lái)看，其實(shí) ChatGPT 的在對(duì)大模型的使用上比 LaMDA 是要強(qiáng)的。而它背后，大家的路線其實(shí)還是比較類似的，因此還是有一整個(gè) engineering Excellence 在里面。

《硅谷101》：LaMDA 現(xiàn)在應(yīng)該是沒有開源的對(duì)吧？

陶芳波：對(duì)，沒有開放。

《硅谷101》：對(duì)，準(zhǔn)確的說(shuō)應(yīng)該是沒有開放。我記得之前谷歌在 Google I/O 上有展示用 LaMDA 去訂餐，對(duì)面其實(shí)是一個(gè)人工智能的助手接起來(lái)的。它的模擬場(chǎng)景就非常像一個(gè)真實(shí)的人，你可以點(diǎn)餐，可以說(shuō)你要什么，它可以跟你share。但這只是一個(gè) demo 的場(chǎng)景，它并沒有真實(shí)地發(fā)生。

陶芳波：對(duì)，我理解是這樣的。但是 LaMDA 做了其他的事情，是真的把外部的信息接入了。所以根據(jù)它的文章里面的描述，LaMDA 的使用的過(guò)程當(dāng)中是可以在互聯(lián)網(wǎng)上拿實(shí)時(shí)的信息來(lái)幫助它提升它的回答質(zhì)量。這點(diǎn)可能 ChatGPT 沒做好。

《硅谷101》：對(duì)，因?yàn)楣雀杷吘惯€是有一個(gè)搜索的入口的。如果谷歌來(lái)做這件事情，你會(huì)覺得它比 OpenAI 更有優(yōu)勢(shì)嗎？

陶芳波：我的觀點(diǎn)是這樣的 OpenAI 今天想要完全去替代掉谷歌，世界上最大的搜索引擎，那么它的成熟度還有很大的差距，因?yàn)樗阉鬟@件事情對(duì)產(chǎn)品的成熟度要求很高。比方說(shuō)更多模態(tài)的搜索的內(nèi)容，而這些事情只有谷歌能做到。GPT 還是一個(gè)對(duì)話引擎，它做不到這些。但是目前來(lái)看，我認(rèn)為它在通過(guò)對(duì)于大模型的使用和它這回答的整個(gè)調(diào)優(yōu)上面，ChatGPT 是有優(yōu)勢(shì)的，而且這種優(yōu)勢(shì)并不是簡(jiǎn)單的 follow 他的方法就可以做到的。因?yàn)榧逸x也說(shuō)了，它并沒有公開它的細(xì)節(jié)。

在這件事情上，如果它的優(yōu)勢(shì)可以保持足夠長(zhǎng)的時(shí)間，再加上 WebGPT 的能力，以及把一些多模態(tài)的信息整合進(jìn)到它的回答里面，可能它會(huì)在更大程度上去代替谷歌能做到的事情。直到有一天，我們覺得也許它們真的是可以對(duì)比，甚至是在使用的時(shí)候會(huì)真的值得在兩者之間選擇。

余家輝：對(duì)，這里補(bǔ)充一點(diǎn)，我講到了OpenAI的優(yōu)勢(shì)除了數(shù)據(jù)和算力之外，還有一個(gè)是對(duì)工程的感覺。

對(duì)于 OpenAI 來(lái)講，首先它有一定時(shí)間的積累。最早 OpenAI 其實(shí)是做了很多強(qiáng)化學(xué)習(xí)的。它們有機(jī)器人團(tuán)隊(duì)，但后面就解散了?，F(xiàn)在你又能看到在大語(yǔ)言模型里面，它們重新把強(qiáng)化學(xué)習(xí)利用起來(lái)。這些時(shí)間和這些經(jīng)驗(yàn)的積累，是一些其他的公司都還比較缺少的。這是第一點(diǎn)優(yōu)勢(shì)。

第二，他們的成功需要一個(gè)人才積累。這個(gè)人才積累，并不是說(shuō)錢給夠了，人就會(huì)來(lái)。是不是有足夠好的領(lǐng)導(dǎo)力，是不是這些人以前有沒有一個(gè)成功的經(jīng)歷，我覺得也是必不可少的。

如果你說(shuō)現(xiàn)在我們有了數(shù)據(jù)，有了算力，剛成立起來(lái)做一個(gè)團(tuán)隊(duì)，其實(shí)很難去吸引到這樣的人才。還有一點(diǎn)優(yōu)勢(shì)有點(diǎn)像是組織邏輯的積累。OpenAI 背后在思考這些團(tuán)隊(duì)之間應(yīng)該怎么去組織，使得整個(gè)公司的這樣一個(gè)使命更加的高效去把這個(gè)東西做出來(lái)。這也是需要一定的積累的。

最后還有一點(diǎn)，在我看來(lái)是這種自信的積累。OpenAI 在整個(gè) AI 往前去推動(dòng)的過(guò)程中，有一個(gè)很好的成功的積淀。我們提到的 GPT-3，它已經(jīng)是第三個(gè)版本了，最早有 GPT，GPT 2， 然后是 GPT-3 和 GPT-3.5。GPT-3.5 完了之后，它有一些往應(yīng)用上發(fā)展的工作。像我們剛才所提到的 ChatGPT， WebGPT，還有傳說(shuō)里的 GPT-4。

這些成就也是一定程度上一邊做一邊積累了自信，從而可以更好地延續(xù)這種成功。所以對(duì)于原先的問(wèn)題，是不是有足夠多的數(shù)據(jù)和算力就能訓(xùn)練這樣的模式，我覺得是遠(yuǎn)遠(yuǎn)不夠的。比如我只要堆數(shù)據(jù)，堆算力，就可以成功，但其實(shí)真的做起來(lái)的時(shí)候，發(fā)現(xiàn)全部都是問(wèn)題。這是我的觀點(diǎn)。

《硅谷101》：我總結(jié)一下，說(shuō)的特別好，時(shí)間跟經(jīng)驗(yàn)的積累，人才積累、組織積累，還有自信的積累。也就是說(shuō)，即使一個(gè)公司有數(shù)據(jù)跟算力，最后它的效果能不能達(dá)到 OpenAI 的效果，或者花幾年的時(shí)間，它能不能追趕得上，可能都是一個(gè)問(wèn)題。

陶芳波：家輝講得特別好。除了剛才你提到的，還有一個(gè)認(rèn)知的積累。OpenAI 在推動(dòng)大模型，尤其是自回歸的大語(yǔ)言模型的使用上面，在不斷地嘗試定義它自己的問(wèn)題。

比方 Alignment research（是指引導(dǎo)人工智能系統(tǒng)的行為，使其符合設(shè)計(jì)者的利益和預(yù)期目標(biāo)），這其實(shí)是他們花大精力投入的，而很多其他的機(jī)構(gòu)沒有在投入，或者說(shuō)我不相信會(huì)有像他們那樣的投入。比方說(shuō)，他們?yōu)槭裁磿?huì)引入強(qiáng)化學(xué)習(xí)，是因?yàn)樗麄冋J(rèn)識(shí)到了大模型雖然知識(shí)面很廣，能力很強(qiáng)，很通用，但并不知道怎么去更好地把新的標(biāo)注清晰，把人的監(jiān)督的信號(hào)更好地融入進(jìn)去，所以他們才會(huì)再重新?lián)炱饛?qiáng)化學(xué)習(xí)來(lái)做這件事情。因此這些創(chuàng)新性的方法，代表了它背后其實(shí)不斷地在認(rèn)知上去探索大模型的使用邊界。這個(gè)不是一家跟隨他們公司可以很短期內(nèi)追得上的。也許我們可以抄到他們的做法，但是抄不到他背后的整個(gè)思考。

《硅谷101》：你怎么看像 Google 或者 Meta 這樣一直有在研究的公司呢？像Meta，它前一段時(shí)間也放出來(lái)消息說(shuō)它可以自動(dòng)生成視頻。谷歌里面有DeepMind這樣的的組織，也是非常類似于 OpenAI 的機(jī)構(gòu)，同時(shí)它也有各種圖片生成式的研發(fā)，包括 LaMDA 這種聊天機(jī)器人的。這樣的研發(fā)，它其實(shí)方方面面都有觸及到。你覺得它跟 OpenAI比的話，它能跟得上嗎？

余家輝：大公司比較成熟的這種 Research Lab（研發(fā)實(shí)驗(yàn)室），我覺得對(duì)他們來(lái)說(shuō)，其實(shí)真正重要的并不是能跟隨整個(gè)研究，而應(yīng)該是怎么繼續(xù)去推進(jìn)前沿或者去思考下一個(gè) 里程碑在什么地方，他們應(yīng)該要去看這種問(wèn)題。這個(gè)方面來(lái)說(shuō)，我覺得 OpenAI 是有一定的優(yōu)勢(shì)。在目前，OpenAI在一定程度上不斷地在創(chuàng)建下一個(gè)里程碑。

《硅谷101》：剛剛芳波你在回答問(wèn)題的時(shí)候，你有提到OpenAI，它能不能替代谷歌，你覺得在現(xiàn)階段可能它還是挺難的。我說(shuō)一下我自己的幾個(gè)小體驗(yàn)。我之前有在谷歌上搜索，比如一個(gè) 2 歲的兒童，他應(yīng)該每天攝入多少脂肪。谷歌搜索給我的一些答案都是一些非常泛泛而談的新聞稿，比如 0.5 歲，或者是1 到 2 歲，各自應(yīng)該攝入多少。這些結(jié)果是一個(gè)非常泛的東西，我并不能從他的文章中得到我需要給一個(gè) 2 歲的兒童每天攝入多少脂肪的信息。但是我在 ChatGPT 上問(wèn)了一下這個(gè)問(wèn)題，它給我的回答非常好，大概分了幾個(gè)層次告訴我，你應(yīng)該根據(jù)小朋友的體重，有一個(gè)數(shù)據(jù)公式給你去計(jì)算，最后得到的是應(yīng)該攝取的脂肪量。然后它還告訴我通用的標(biāo)準(zhǔn)是什么。

我當(dāng)時(shí)看了以后，我不能確定他的回答是正確還是不正確，因?yàn)榫拖衲阏f(shuō)的，它有時(shí)候的回答是錯(cuò)誤的。所以我又問(wèn)了 ChatGPT 一個(gè)問(wèn)題，一個(gè)女性每天應(yīng)該攝入多少糖。它同樣也是除了告訴我一個(gè)通用的數(shù)據(jù)以外，還有一套方法怎么樣去計(jì)算女性的攝入的糖數(shù)。因?yàn)槲沂侵琅鷳?yīng)該攝入多少糖的，所以我知道這個(gè)問(wèn)題的答案。因此我覺得他的回答是正確的。反推到上一個(gè)問(wèn)題，我好像可以相信他。從這個(gè)點(diǎn)上，我會(huì)覺得好像 ChatGPT 會(huì)比谷歌在使用上更容易，但是同時(shí)它可能也會(huì)有不精準(zhǔn)，或者有很多實(shí)時(shí)信息，沒有辦法去更新的問(wèn)題。

08ChatGPT pk Google：降維打擊

《硅谷101》：你們覺得站在現(xiàn)在的角度看，ChatGPT還不能替代谷歌。但是站在未來(lái)的角度看，它有更多的數(shù)據(jù)，更精準(zhǔn)的調(diào)配，和包括大家提到的WebGPT 的加入。那么我們從更長(zhǎng)遠(yuǎn)的一點(diǎn)角度看，你們覺得他會(huì)是谷歌的一個(gè)競(jìng)爭(zhēng)對(duì)手嗎？

陶芳波：我簡(jiǎn)單說(shuō)一下，剛才我也提到過(guò)了，如果我們把一個(gè)人對(duì)于信息的需求，尤其是主動(dòng)式的信息需求分為幾個(gè)步驟，第一步就是意圖的理解，第二步去尋找合適的信息，第三步可能就是尋找完合適的信息之后做理解和整合，第四步可能就是回答。谷歌以前做得很好的幾個(gè)點(diǎn)包括意圖的理解，包括信息的匹配和尋找，包括它的呈現(xiàn)。其實(shí)這幾步它做的都很好，但它其實(shí)一直在嘗試對(duì)信息的理解和整合這步做的更多。你有的時(shí)候可以看到谷歌可以直接回答一些簡(jiǎn)單的問(wèn)題，而這些答案會(huì)放在所有的頁(yè)面之前。或者它右邊有一個(gè)叫 entity panel （knowledge panel）的部分，可以直接把相關(guān)的知識(shí)用結(jié)構(gòu)化的方式呈現(xiàn)出來(lái)。

其實(shí)谷歌在做這件事情上面花的時(shí)間會(huì)更長(zhǎng)，只不過(guò)今天技術(shù)的發(fā)展讓大家覺得其實(shí)對(duì)于知識(shí)的理解和整合這件事情其實(shí)用大模型來(lái)做會(huì)更好，而且它的效率會(huì)遠(yuǎn)遠(yuǎn)高于其他以前的技術(shù)。比如，相比于對(duì)于問(wèn)題分類，如果是個(gè)天氣問(wèn)題，我就去查天氣這種傳統(tǒng)的對(duì)話機(jī)器人的方法，大數(shù)據(jù)模型會(huì)好很多。這就是ChatGPT 今天的優(yōu)勢(shì)。

所以 OpenAI 和谷歌可以理解為是在整個(gè)人對(duì)于信息需求的幾個(gè)環(huán)節(jié)里面，各自占有一些優(yōu)勢(shì)。至于未來(lái)要發(fā)展的話，谷歌肯定也會(huì)更多的往理解的層面去走，ChatGPT 可能也會(huì)更多的往信息的匹配角度去走，比如說(shuō)把 WebGPT 的東西融合進(jìn)來(lái)，誰(shuí)能更快，誰(shuí)能把串在一起的體驗(yàn)做到更極致，我相信它未來(lái)有機(jī)會(huì)成為下一代的信息檢索引擎中的一個(gè)。或者說(shuō)，它都不應(yīng)該叫信息檢索引擎了，而應(yīng)該叫做個(gè)人助理。

余家輝：芳波提到的最后一句，也說(shuō)的非常好，它到底是不是還能叫做信息檢索的引擎？有可能我們換一個(gè)角度來(lái)思考這個(gè)問(wèn)題，我們應(yīng)該考慮的并不是 ChatGPT 是不是顛覆這種搜索引擎的問(wèn)題，而是應(yīng)該思考 ChatBot 和這種搜索引擎之間的關(guān)系會(huì)是怎么樣。

一定程度上，我在想， chat 或者對(duì)話這個(gè)東西本身它是一個(gè)比較完備的載體，你能從一定程度上做你想做的幾乎所有事情，而這其中包括搜索引擎上的事。但它其實(shí)也不局限于搜索引擎上。因?yàn)閯偛陪岬降陌咐€是一問(wèn)一答的這么一個(gè)情況，而它其實(shí)能做的更多，它可以提供追問(wèn)的答案。

現(xiàn)在的搜索引擎不具備這種體驗(yàn)。所以我們?cè)诒容^的時(shí)候，一定程度上是有一點(diǎn)在小看ChatBot 所能帶來(lái)的顛覆。我自己對(duì) ChatBot 的整個(gè)未來(lái)的應(yīng)用場(chǎng)景是非?？春玫摹?/strong>當(dāng)然它現(xiàn)在的狀態(tài)還是需要提高。

余家輝：技術(shù)上還是需要提高，但是 ChatBot 這個(gè)東西或者載體，它是非常有應(yīng)用場(chǎng)景的。一定程度上它的應(yīng)用遠(yuǎn)大于一問(wèn)一答式的，或者搜索式的。ChatBot，能做得比這遠(yuǎn)多得多的。我們?cè)谟懻摰牟⒉皇悄懿荒茴嵏睪oogle，而是它到底能帶來(lái)怎么樣的一個(gè)用戶體驗(yàn)，或者能解決用戶剩下的哪些還沒被解決的一些痛點(diǎn)？

《硅谷101》：你們覺不覺得有一點(diǎn)像高維打低維？

陶芳波：我很同意。

余家輝：對(duì)，降維打擊，ChatBot 確實(shí)是有這種能力。

陶芳波：對(duì)。我稍微補(bǔ)充一個(gè)觀點(diǎn)，我看泓君也問(wèn)了一個(gè)很有意思的問(wèn)題，跟創(chuàng)業(yè)機(jī)會(huì)有關(guān)的。今天我們看到，更多的人是在說(shuō)他到底能不能替代谷歌，但是從整個(gè)互聯(lián)網(wǎng)的角度來(lái)講，你會(huì)發(fā)現(xiàn)谷歌也只是其中一個(gè)很重要的信息服務(wù)，但不代表互聯(lián)網(wǎng)全體，對(duì)吧？移動(dòng)互聯(lián)網(wǎng)里面每一個(gè)特殊的場(chǎng)景，我們都有各自的APP，我們有各種各樣的網(wǎng)站來(lái)解決人的各種各樣的信息需求，服務(wù)需求，甚至陪伴需求。我看到的其實(shí)更多的是后者滿足的需求。

如果我們說(shuō) AI 可以是一個(gè)比互聯(lián)網(wǎng)更大的機(jī)會(huì)，我相信被它重做的東西絕對(duì)不只是谷歌而已，而是我今天所有的軟件的服務(wù)。無(wú)論它是用 APP 的形式，還是用一個(gè)網(wǎng)頁(yè)的形式，它可能都可以被這種交互式的、角色式的能力給包起來(lái)，然后更自然地提供它的那些服務(wù)。這種能力的出現(xiàn)，其實(shí)是有可能重塑整個(gè)互聯(lián)網(wǎng)行業(yè)的。所以這兩天我聽到有一個(gè)投資人在說(shuō)，ChatGPT的出現(xiàn)，讓他覺得他做 TMT 的投資可以再做 15 年。他說(shuō)這話的原因也在這里。

可能以前我們對(duì)于人需求的滿足，都是用一個(gè) APP 或者一個(gè)軟件來(lái)用信息化的方式更好地滿足它。但也許今天我們到了一個(gè)新的拐點(diǎn)，可以把信息化再提升到一種基于對(duì)話為中心的服務(wù)上面。所以這里面機(jī)會(huì)是巨大的，而谷歌只是其中很小的一部分而已。它底下會(huì)有產(chǎn)生很多平臺(tái)級(jí)的機(jī)會(huì)，甚至可以產(chǎn)生它自己的安卓系統(tǒng)，是非常令人興奮的。

《硅谷101》：所以類似于像 ChatGPT，尤其是像 OpenAI 大模型這樣的公司，它會(huì)成為未來(lái)的一個(gè)平臺(tái)跟一個(gè)基礎(chǔ)建設(shè)。