歐洲中期天氣預(yù)報中心（ECMWF）是全球權(quán)威的國際性天氣預(yù)報研究和業(yè)務(wù)機構(gòu)，該中心于1979年6月首次做出了實時的中期天氣預(yù)報，現(xiàn)在，華為盤古氣象大模型，為世界展現(xiàn)了另一種可能。

盤古氣象大模型研發(fā)團隊核心成員對鈦媒體App表示，之前大家不相信AI方法能夠?qū)崿F(xiàn)更高的精度和更好的效率，ECMWF也在探索用AI預(yù)測天氣，但是規(guī)劃的時間表以十年計算，他們認(rèn)為，AI方法存在很多現(xiàn)階段難以突破的問題。

(資料圖片僅供參考)

例如分辨率不夠，省級和區(qū)級的天氣預(yù)報，數(shù)據(jù)量相差很大，如果要做到更高的分辨率，數(shù)據(jù)量要達到上千TB，這比其他AI應(yīng)用數(shù)據(jù)量要大得多，大數(shù)據(jù)意味著消耗大算力，這部分問題能夠通過堆硬件、工程化解決。

再如現(xiàn)有的 AI 預(yù)報方法精度大部分顯著低于數(shù)值預(yù)報方法，這也是很多人都不相信AI能夠超過數(shù)值預(yù)測方法的主要原因，現(xiàn)有的 AI 氣象預(yù)報模型都是基于 2D 神經(jīng)網(wǎng)絡(luò)，無法很好地處理不均勻的 3D 氣象數(shù)據(jù)，同時AI 方法缺少數(shù)學(xué)物理機理約束，因此在迭代過程中會不斷積累迭代誤差。

華為云提出了3D Earth-Specific Transformer方法，在每一個視覺transformer模塊中新引入和緯度、高度相關(guān)的絕對位置編碼，從而更好地處理復(fù)雜的3D氣象數(shù)據(jù)，并且拆分各個不同的時間段模型分散訓(xùn)練，減少單個模型迭代的次數(shù)，從而減少迭代誤差。

“我們不僅做出來一個精度超過歐洲氣象中心數(shù)據(jù)預(yù)報的模型，而且我們迅速讓這個模型落地，其中克服了很多問題，讓氣象專家實測驗證模型結(jié)果，他們沒有理由否認(rèn)AI方法的先進性?！比缟先耸勘硎尽?/p>

氣象大模型的打造成為一個實證，華為云不僅能有意愿打造行業(yè)大模型，并且有將其付諸實踐的工具和能力。對應(yīng)華為盤古大模型，L0是科學(xué)計算基礎(chǔ)大模型，L1是氣象行業(yè)大模型，L2就是氣象預(yù)測等應(yīng)用。

大模型回答了“一個模型能否解決通用問題”以及“模型本身是否有價值”的關(guān)鍵問題，但是要想真正構(gòu)建完整的業(yè)務(wù)鏈條，還需要從商業(yè)化層面跟進，為了加速和簡化行業(yè)大模型從開發(fā)到落地，華為云提供了盤古大模型工程化平臺，覆蓋了數(shù)據(jù)處理、模型訓(xùn)練和應(yīng)用開發(fā)三大環(huán)節(jié)。

在數(shù)據(jù)平臺方面，相比傳統(tǒng)標(biāo)注平臺（能提供的例如自動數(shù)據(jù)清洗等功能），華為云數(shù)據(jù)工程平臺專門為SFT訓(xùn)練提供了基于模板的Prompt在線輔助撰寫功能，為RLHF訓(xùn)練提供了多人Rank在線標(biāo)注和任務(wù)分撥功能；對比離線進行這兩種任務(wù)，實測效率可提升3倍。

有了高質(zhì)量的數(shù)據(jù)如何產(chǎn)生高質(zhì)量的模型，還需要確保模型開發(fā)的過程準(zhǔn)確無誤，在模型訓(xùn)練方面，大模型開發(fā)套件提供了自監(jiān)督預(yù)訓(xùn)練，有監(jiān)督SFT訓(xùn)練，強化學(xué)習(xí)訓(xùn)練3種工作流，覆蓋了從數(shù)據(jù)集創(chuàng)建，超參配置到模型訓(xùn)練、評估、部署的全流程，凝結(jié)了大模型專家的實踐經(jīng)驗，把復(fù)雜的大模型開發(fā)，流程化，標(biāo)準(zhǔn)化，簡單化，幫助行業(yè)用戶一鍵啟動，一站式開發(fā)。

之后，開發(fā)好的盤古大模型要想在行業(yè)發(fā)揮作用，離不開下游應(yīng)用，在模型開發(fā)方面，華為云提供盤古應(yīng)用開發(fā)套件，將傳統(tǒng)軟件工程與大模型相結(jié)合，提供多種API和工具可調(diào)用，支撐企業(yè)分鐘級構(gòu)建大模型原生應(yīng)用。

例如，基于盤古語言大模型和視覺大模型的基礎(chǔ)能力，以及盤古大模型工程化平臺，在學(xué)習(xí)了超過20萬條政務(wù)數(shù)據(jù)，包括政策文件、政務(wù)百科等公開政務(wù)知識，以及12345熱線場景等專有政務(wù)知識后，深圳市福田區(qū)政府打造了具備豐富法律法規(guī)、辦事流程等行業(yè)知識的福田政務(wù)大模型。

據(jù)了解，參照GPT-3完成一個千億行業(yè)模型端到端開發(fā)，基于盤古大模型工程化平臺，開發(fā)大模型從過去需要5個月縮短到現(xiàn)在1個月，整體速度提升5倍。

AI世界的另一極

人工智能已經(jīng)成為國家戰(zhàn)略競爭焦點，AGI（通用人工智能）可能改變甚至顛覆世界運轉(zhuǎn)的原有邏輯，國家層面強調(diào)：“人工智能是引領(lǐng)這一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)，具有溢出帶動性很強的‘頭雁’效應(yīng)?！?/p>

人工智能與實體經(jīng)濟的結(jié)合，行業(yè)大模型扮演著重要作用，行業(yè)重塑、技術(shù)扎根、開放同飛，是華為云的差異化優(yōu)勢。

行業(yè)大模型以行業(yè)數(shù)據(jù)和know-how為重中之重，華為云AI的優(yōu)勢在于，在各行業(yè)已有數(shù)百個項目，基于對行業(yè)的深入理解，沉淀行業(yè)核心know-how，華為云盤古大模型能夠更好地落地在行業(yè)客戶的主業(yè)務(wù)場景。

盤古大模型已經(jīng)學(xué)習(xí)10多個行業(yè)公開數(shù)據(jù)，涵蓋金融、政務(wù)、氣象、醫(yī)療、健康、互聯(lián)網(wǎng)、教育、汽車、零售等。華為云和伙伴還聯(lián)合打造了工業(yè)、供熱、政務(wù)、煤礦、教育、電力、公路7大行業(yè)aPaaS，為盤古大模型了構(gòu)建最深厚的行業(yè)積累。

墻高基下，雖得必失，人工智能產(chǎn)業(yè)需要從最底層夯實基礎(chǔ)，張平安提到，其他人都可以依賴行業(yè)最成熟的AI算力和AI生態(tài)，但是華為只能依靠自己的AI根技術(shù)。

中國工程院院士鄭緯民此前表示，大模型是新型關(guān)鍵基礎(chǔ)設(shè)施的底座之一，大模型的競爭也是國家科技戰(zhàn)略的競爭，中國一定要布局全棧自主創(chuàng)新的大模型產(chǎn)品，同時要構(gòu)建國產(chǎn)化算力，也要解決算力能耗與國家“雙碳”戰(zhàn)略的平衡。

為此，華為構(gòu)建了最深的AI堆棧根技術(shù)，在最底層構(gòu)建了以鯤鵬和昇騰為基礎(chǔ)的AI算力云平臺，構(gòu)建了昇騰的計算引擎CANN、AI框架MindSpore，以及AI開發(fā)平臺ModelArts，為大模型開發(fā)和運行提供分布式并行加速，算子和編譯優(yōu)化，集群級通信優(yōu)化等關(guān)鍵能力。

“現(xiàn)在基于華為的AI堆棧，我們的大模型訓(xùn)練效能不僅不落后，在大模型場景下我們的訓(xùn)練效能是業(yè)界主流GPU的1.1倍”，他說。

與此同時，華為云提供了易用可靠的大模型工具套件、匯聚海量多行業(yè)場景API的開天aPaaS，以及包含豐富優(yōu)質(zhì)課程和技術(shù)認(rèn)證的大模型專屬社區(qū)，幫助開發(fā)者一站式完成入門到專家。

華為也積累了高密度的大模型人才：盤古團隊中大概50%以上是博士，還有很多名“天才少年”，上述氣象大模型的核心成員便是之一，大模型在訓(xùn)練過程中，會遭遇各種各樣的困難和挑戰(zhàn)，一個技術(shù)過硬、敢于創(chuàng)新的團隊，才是大模型能夠練成的核心保障，也是華為對外輸出大模型能力的依托。

在安全方面，華為云提供公有云、混合云、大模型專區(qū)三種模式，保障安全部署；建立長效機制，確保大模型安全合規(guī)：包括數(shù)據(jù)集來源和使用合規(guī)、數(shù)據(jù)全生命周期安全、構(gòu)建完整的數(shù)據(jù)標(biāo)注以及審核機制、構(gòu)建模型合規(guī)使用政策、確保模型使用邊界。

AI大模型時代，面臨自下而上自主創(chuàng)新的宏大命題，華為正在打造世界AI另一極。

關(guān)鍵詞：