OpenAI 等基于大量工程實(shí)驗和反復驗 證提出縮放定律，揭示了模型能力與計算能力、參數量和數據量間 的定量關(guān)系，業(yè)界也遵循該定律指導資源要素投入、推動(dòng)模型創(chuàng )新 發(fā)展，近年來(lái)在模型技術(shù)能力、通用泛化水平等方面取得一系列突 破性進(jìn)展。目前，大模型支持模態(tài)已逐步從自然語(yǔ)言處理拓展到多 模態(tài)理解和生成等場(chǎng)景。

從 2023 年至今的基準測試結果來(lái)看，大模型能力已經(jīng)出現 階躍式提升。語(yǔ)言大模型能力提升主要體現為以下四方面。

一是上下文窗口長(cháng)度擴展，提升全局能力。大模型的上下文窗口長(cháng)度是指 模型在執行文本生成任務(wù)時(shí)，能夠處理的前置文本的數量或長(cháng)度， 決定了模型對信息的理解深度和廣度，對于理解和生成連貫、一致 且準確的文本具有重要意義。當前，國內外主流大語(yǔ)言模型均具備 128k 以上的上下文長(cháng)度處理能力，可一次性處理數十萬(wàn)單詞或漢字。

二是知識密度增強，儲存更多知識。隨著(zhù)數據、算力、算法協(xié)同發(fā) 展，大模型知識密度持續增強，平均每 8 個(gè)月翻一番。2020 年 6 月 發(fā)布的 GPT-3 大模型有 1750 億個(gè)參數，2024 年 2 月面壁智能發(fā)布 MiniCPM-2.4B 模型在實(shí)現同等性能的同時(shí)，參數規模降至 24 億， 相當于知識密度提G了約 86 倍。

三是 MoE 混合專(zhuān)家架構能夠容納更多知識，準確刻畫(huà)任務(wù)。MoE 稀疏激活多個(gè)專(zhuān)家子模型支路，加權 融合多個(gè)子模型結果，實(shí)現更加準確的輸出，提G推理計算效率。 目前，谷歌的 Gemini-1.5 Pro、Mistral AI 的 8x7B 與 8x22B、阿里云 Qwen-1.5 MoE、階躍星辰 Step-2 等頭部大模型均采用 MoE 架構， 已 成 為 當 前 大 模 型 的 重 要 演 進(jìn) 趨 勢 。

四 是通過(guò)強化學(xué)習 （Reinforcement Learning，RL）將思維鏈（Chain of Thought，CoT） 內化進(jìn)模型，提升復雜推理能力。2024 年 9 月 OpenAI 發(fā)布的 o1 系 列模型在后訓練（Post-Training）階段采用強化學(xué)習和思維鏈的技術(shù)方案，不僅在“慢思考”后回答復雜問(wèn)題的表現優(yōu)異（尤其是在 STEM L域的推理能力顯著(zhù)增強），還具有了自我反思與錯誤修正能力， 使自博弈強化學(xué)習有望成為提升語(yǔ)言大模型邏輯推理能力的技術(shù)新范式。