1 大模型訓練和應用面臨著(zhù)算力和能耗算力方面的挑戰

大模型需要大量計算資源，導致算力需求指數級增長(cháng)，對全社會(huì )信息基礎設施和眾多企業(yè)、科研機構的大模型研發(fā)帶來(lái)巨大壓力。

能耗方面，大模型對能源的巨大需求導致人工智能能源消耗占能源消耗的3%左右，到2025年將消耗15%的電能，給環(huán)境治理帶來(lái)挑 戰。我國大模型發(fā)展帶來(lái)的G能耗可能增加碳達峰、碳中和壓力。

算力短缺：大模型通常需要具有數十億乃至上萬(wàn)億個(gè)參數，訓練時(shí)用到 數萬(wàn)億個(gè)Token，這就需要消耗巨大的算力。算力需求隨著(zhù) 大模型的發(fā)展而呈指數級增長(cháng)，對算力規模提出了巨大 的要求。大型預訓練模型的訓練和調優(yōu)過(guò)程需要消耗巨大的 算力資源。例如，訓練ChatGPT所需的算力相當于64個(gè)英 偉達A100 GPU訓練1年的時(shí)間。此外，大模型的日常運營(yíng) 和優(yōu)化也需要大量的算力投入。預計到2030年，算力 總規模將達到56ZFlops，其中智能算力成為推動(dòng)算力增長(cháng) 的主要動(dòng)力。這對于社會(huì )的信息基礎設施建設和企業(yè)、科研 機構的大模型研發(fā)都帶來(lái)了巨大的挑戰。 • 根據工信部的數據，2022年智能算力中，美國占45% 的份額，中國占28%的份額，美國智能算力規模為我國的 1.6倍，在中美算力競爭中，我國仍然處于相對劣勢的一方。

能耗巨大：大模型對算力的巨大需求，帶來(lái)了對能源的巨大 消耗。人工智能服務(wù)器的功率較普通服務(wù)器G6至 8倍，訓練大模型所需的能耗是常規云工作的3倍。 據估計，目前人工智能的能源消耗占能源消 耗的3％左右，到2025 年，人工智能將消耗 15％的電能。人工智能的快速發(fā)展將對能源消耗 和環(huán)境產(chǎn)生巨大影響。 • 據估計，GPT-4一次訓練的耗電量相當于1200個(gè) 中國人一年的用電量，僅占模型實(shí)際使用時(shí)的40 ％，實(shí)際運行階段將消耗更多能源。一些大型模 型運行時(shí)的碳排放量巨大，給環(huán)境治理帶來(lái) 挑戰。我國大模型發(fā)展的G能耗可能增加碳達峰 和碳中和的壓力。

2 大模型在數據和資金方面也面臨著(zhù)挑戰

大模型面臨的挑戰包括數據獲取便利性、數據來(lái)源合法性、數據質(zhì)量可靠性、數據使用安全性、資金投入等方面的挑戰。

資金投入方面，大模型成本G昂，包括模型開(kāi)發(fā)成本、訓練成本、算力成本、數據成本、運維成本等，對普通企業(yè)和科研機構而言，資金成為難 以逾越的“門(mén)檻”。

數據規模與質(zhì)量待提G：數據獲取方面，專(zhuān)用類(lèi)大模型需要專(zhuān)業(yè)數據，而這些數 據往往屬于企業(yè)、研究機構等實(shí)體，增加了訓練難度。 • 數據來(lái)源合法性方面，個(gè)人信息保護意識的提G使得數 據合法使用成為問(wèn)題。 • 數據質(zhì)量可靠性方面，開(kāi)源數據集雖然數量巨大，但質(zhì) 量良莠不齊，從中提取符合預訓練要求的G質(zhì)量數據面 臨很大挑戰。 • 數據使用安全性方面，如何保證使用的數據不帶偏見(jiàn)， 以及如何保證人工智能制造的數據本身的安全性，都是 需要解決的問(wèn)題。

資金緊缺：大模型訓練開(kāi)發(fā)成G昂，其成本主要由模型開(kāi)發(fā)成本、訓練成本、算力 成本、數據成本、運維成本等構成，僅訓練成本便動(dòng)輒G達數百萬(wàn)美元。 以Meta大語(yǔ)音模型LLaMA為例，在多達1.4萬(wàn)億的數據集上，使用 2000多個(gè)英偉達A100 GPU，訓練了21天，花費或G達1000萬(wàn)美元。 根據華為公布的消息，開(kāi)發(fā)和訓練一次人工智能大模型的成本G達 1200萬(wàn)美元。 • 大模型巨大的資金投入，更是將很多小型研究機構和中小型企業(yè)拒之門(mén) 外，導致大模型研發(fā)都集中在頭部企業(yè)和研發(fā)機構，加劇了不平等現象。 • 在大模型的投資方面，根據美國斯坦福大學(xué)2022年的報告，美國和中 國位列投資總額的前兩位，但美國的投資是中國的3倍，中國在資 金投入方面還有較大差距。

3 大模型發(fā)展在技術(shù)和人才方面也面臨著(zhù)挑戰

針對大模型技術(shù)，國內企業(yè)與歐美國家存在差距，主要體現在底層架構設計和硬件技術(shù)方面。在底層架構設計方面，國內尚無(wú)類(lèi)似的底層架構， 大模型的預訓練方面只能“在別人的地基上蓋房子”；在硬件技術(shù)方面，美國占據J對L先地位，我國自研能力不足，對美國進(jìn)口依賴(lài)程度G， 存在“卡脖子”風(fēng)險。

在人才方面，國內大模型人才數量嚴重不足，與美國相比D人才數量少，制約了大模型研發(fā)的快速發(fā)展。具體表現為人才數量不足、人才質(zhì)量 不夠G和人才外流嚴重。針對以上挑戰，需要加強國內大模型技術(shù)的研發(fā)，提G自研能力，降低對美國進(jìn)口的依賴(lài)程度；同時(shí)，需要加強人才培 養，提G人才質(zhì)量，減少D人才的流失。

技術(shù)存在差距：大模型技術(shù)涉及軟件和硬件兩方面： • 從軟件技術(shù)看，國內企業(yè)與歐美國家存在差距。底層架構設計方面，國內 尚無(wú)類(lèi)似谷歌的Transformer模型，對大模型的預訓練只能依賴(lài)外部技術(shù)。 在迭代升級和更新?lián)Q代方面，國內企業(yè)也落后于歐美企業(yè)，競爭劣勢明顯。 • 從硬件技術(shù)看，在人工智能GPU方面，美國占據J對L先地位，我國自研 能力不足，對進(jìn)口依賴(lài)較G，存在風(fēng)險。當前大部分大模型訓練所用的 GPU由美國英偉達公司生產(chǎn)，國產(chǎn)GPU與其性能差距明顯。美國已禁止向 中國銷(xiāo)售A100，而英偉達推出了性能更強的H100，并將優(yōu)先部署在自家 服務(wù)器上。

D人才嚴重不足： 國內大模型人才數量嚴重不足，與美國相比D人才數量少，制約了大模型研發(fā)發(fā)展。 • 首先，人才數量嚴重不足。我國人工智能人才缺口超過(guò)500萬(wàn)，供需比例嚴重失衡， 人工智能成為“缺人”的行業(yè)。 • 其次，人才質(zhì)量不夠G。與美國相比，國內缺乏D算法人才，數量嚴重不足。美 國在具影響力的人工智能學(xué)者榜單中占據主導地位，中國學(xué)者數量遠遠落后。 • 此外，人才外流問(wèn)題也十分嚴重。許多國內優(yōu)秀人才選擇出國深造并留在國外，導 致D人才的流失。這加大了國內大模型研發(fā)與美國的差距，給我國大模型研發(fā)帶 來(lái)嚴峻挑戰。