大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化：超參最佳實(shí)踐與規(guī)模律
從理論分析入手把握大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化的規(guī)律，可以指導(dǎo)實(shí)踐中的超參數(shù)選擇。反過來，實(shí)踐中的超參數(shù)選擇也可以指導(dǎo)理論分析。本篇文章聚焦于大語言模型，介紹從 GPT 以來大家普遍使用的訓(xùn)練超參數(shù)的變化。
規(guī)模律研究的是隨著神經(jīng)網(wǎng)絡(luò)規(guī)模的增大，超參數(shù)、性能是如何改變的。規(guī)模律是對模型、數(shù)據(jù)、優(yōu)化器關(guān)系的深刻刻畫，揭示大模型優(yōu)化時(shí)的普遍規(guī)律。通過規(guī)模律，我們可以用少量成本在小模型上驗(yàn)證超參數(shù)的選擇和性能的變化情況，繼而外推到大模型上。
在 LLM 中規(guī)模性常常變換模型大小和數(shù)據(jù)規(guī)模，進(jìn)行大量調(diào)參而保持優(yōu)化器不變。故對于大模型優(yōu)化器而言，規(guī)模性是其性能很好的展現(xiàn)（性能上限）。設(shè)計(jì)更好的優(yōu)化器（用更少的數(shù)據(jù)達(dá)到相同的性能）就是在挑戰(zhàn)現(xiàn)有的規(guī)模律。
神經(jīng)網(wǎng)絡(luò)規(guī)模律
大語言模型規(guī)模律
對不同的 沒有嘗試使用不同的學(xué)習(xí)率調(diào)整策略（正確的學(xué)習(xí)率調(diào)整策略對訓(xùn)練影響很大） [KMH+20] 使用的 較小。規(guī)模性存在曲率，導(dǎo)致用太小的得到的結(jié)論不準(zhǔn)確。（規(guī)模性存在曲率也說明了最終該規(guī)律會失效）
5. 模型的遷移泛化能力與在訓(xùn)練數(shù)據(jù)集上的泛化能力正相關(guān)。
6. 更大的模型收斂更快（更少的數(shù)據(jù)量達(dá)到相同的損失）
大語言模型規(guī)模律拾遺
3.1 涌現(xiàn)是指標(biāo)選擇的結(jié)果，連續(xù)指標(biāo)與參數(shù)規(guī)模符合冪律分布
3.2 大模型需要更小的學(xué)習(xí)率
通過上文中的大模型參數(shù)經(jīng)驗(yàn)，我們很容易就發(fā)現(xiàn)大模型需要更小的學(xué)習(xí)率。[YHB+22] 在下左圖中展示了這點(diǎn)。其認(rèn)為這是為了控制總方差在一定值（方差隨參數(shù)量以 增大）。對于這點(diǎn)筆者暫未找到詳細(xì)的理論解釋。[YHB+22] 中還提出了一種新的初始化和參數(shù)設(shè)置方法以保證不同規(guī)模的模型可以使用相同的學(xué)習(xí)率，這里不再展開。
3.3 使用重復(fù)數(shù)據(jù)訓(xùn)練時(shí)（multi-epoch），應(yīng)該用更多的輪次訓(xùn)練較小的模型
3.4 使用重復(fù)數(shù)據(jù)訓(xùn)練對訓(xùn)練幫助很小
3.5 訓(xùn)練比 Chinchilla 規(guī)模律更小的模型
Chinchilla 規(guī)模律的出發(fā)點(diǎn)是給定計(jì)算量，通過分配參數(shù)量和數(shù)據(jù)量最小化損失值。換言之，給定要達(dá)到的損失值，最小化計(jì)算量。然而在實(shí)際中，訓(xùn)練一個(gè)小模型能帶來計(jì)算量（代表訓(xùn)練開銷）以外的收益：
小模型部署后進(jìn)行推理成本更小 小模型訓(xùn)練所需的集群數(shù)量更少
訓(xùn)練所需的數(shù)據(jù)量不夠（正如 [XFZ+23] 指出的，我們正在用盡互聯(lián)網(wǎng)上所有的 tokens）。 小集群上訓(xùn)練小模型需要更長的訓(xùn)練時(shí)間（Llama2 500k its）；如果使用大集群訓(xùn)練則更困難（比如要使用更大的批量大小才能提高效率）。
LLM 的超參選擇
4.1 GPT（117M）：
Adam lr：2.5e-4 sch: warmup linear 2k, cosine decay to 0 bs: 32k=64x512 its: 3M (100e) L2: 0.01 init: N(0, 0.02)
Adam(0.9,0.999) lr: 1e-4 sch: warmup 10k, linear decay to 0 bs: 128k=256x512 its: 1M (40e) L2: 0.01 dropout: 0.1
4.3 Megatron-LM（GPT2 8.3B & Bert 3.9B）：
Adam lr: 1.5e-4 sch: warmup 2k, cosine decay to 1e-5 bs: 512k=512x1024 its: 300k L2: 0.01 dropout: 0.1 gradient norm clipping: 1.0
AdaFactor lr: 1e-2 sch: warmup constant 10k, sqrt decay bs: 65k=128x512 its: 500k (1e)
Adam(0.9, 0.95, eps=1e-8) lr & final bs: 
sch: warmup linear 375m tokens, cosine decay to 0.1xlr 260b tokens, continue training with 0.1xlr bs sch: 32k to final bs gradually in 4-12B tokens seq length: 2048 data: 680B gradient norm clipping: 1.0
Adam (Adafactor unstable beyond 7.1B) lr & final bs: 
sch: warmup 1.5k, cosine decay to 0.1xlr gradient norm clipping: 0.25 for 7.1B & 280B, 1.0 for the rest
AdamW lr: 1e-4 bs: 1.5M to 3M others follow Gopher
Adam(0.9, 0.95) (SGD plateau quickly) lr & bs: 
sch: warmup linear 2k, decay to 0.1xlr L2: 0.1 dropout: 0.1 gradient norm clipping: 1.0 init: N(0, 0.006), output layer N(0, 0.006*）
Adafactor(0.9, 1-) lr 1e-2
bs: 1M (<50k), 2M (<115k), 4M (<255k)
dropout: 0.1 gradient norm clipping: 1.0 its: 255kinit: N(0, embedding N(0,1)
AdamW(0.9, 0.95) lr & bs: 
sch: warmup 2k, decay to 0.1xlr L2: 0.1 gradient norm clipping: 1.0
AdamW(0.9, 0.95, eps=1e-5) lr 
sch: warmup 2k, decay to 0.1xlr L2: 0.1 gradient norm clipping: 1.0
參考文獻(xiàn)
[ADV+23] Why do we need weight decay in modern deep learning?
[CGR+23] Broken neural scaling laws
[HBM+22] Training Compute-Optimal Large Language Models
[KMH+20] Scaling Laws for Neural Language Models
[SMK23] Are Emergent Abilities of Large Language Models a Mirage?
[YHB+22] Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer
[MRB+23] Scaling Data-Constrained Language Models
[XFZ+23] To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis
[H23]Go smol or go home
原文標(biāo)題：大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化：超參最佳實(shí)踐與規(guī)模律
文章出處：【微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2914文章
44955瀏覽量
377250
原文標(biāo)題：大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化：超參最佳實(shí)踐與規(guī)模律
文章出處：【微信號：tyutcsplab，微信公眾號：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
LSTM神經(jīng)網(wǎng)絡(luò)的調(diào)參技巧
長短時(shí)記憶網(wǎng)絡(luò)（Long Short-Term Memory, LSTM）是一種特殊的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），它能夠?qū)W習(xí)長期依賴信息。在實(shí)際應(yīng)用中，LSTM網(wǎng)絡(luò)的調(diào)參是一個(gè)復(fù)雜且關(guān)鍵的
神經(jīng)網(wǎng)絡(luò)優(yōu)化器有哪些
神經(jīng)網(wǎng)絡(luò)優(yōu)化器是深度學(xué)習(xí)中用于調(diào)整網(wǎng)絡(luò)參數(shù)以最小化損失函數(shù)的重要工具。這些優(yōu)化器通過不同的策略來更新網(wǎng)絡(luò)權(quán)重，以提高訓(xùn)練效率和模型性能。以下
BP神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的區(qū)別
BP神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，簡稱ANNs）之間的關(guān)系與區(qū)別，是神經(jīng)網(wǎng)絡(luò)領(lǐng)域中一個(gè)基礎(chǔ)且重要的話題。本文將從定義、結(jié)構(gòu)、算法、應(yīng)用及未來發(fā)展等多個(gè)方面，詳細(xì)闡述BP
rnn是遞歸神經(jīng)網(wǎng)絡(luò)還是循環(huán)神經(jīng)網(wǎng)絡(luò)
RNN（Recurrent Neural Network）是循環(huán)神經(jīng)網(wǎng)絡(luò)，而非遞歸神經(jīng)網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有時(shí)間序列特性的神經(jīng)網(wǎng)絡(luò)，能夠處理序列數(shù)據(jù)，具有記憶功能。以下是關(guān)于循環(huán)
遞歸神經(jīng)網(wǎng)絡(luò)是循環(huán)神經(jīng)網(wǎng)絡(luò)嗎
遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡稱RNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡稱RNN）實(shí)際上是同一個(gè)概念，只是不同的翻譯方式
循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別
循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是深度學(xué)習(xí)領(lǐng)域中兩種非常重要的神經(jīng)網(wǎng)絡(luò)
深度神經(jīng)網(wǎng)絡(luò)與基本神經(jīng)網(wǎng)絡(luò)的區(qū)別
在探討深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Networks, DNNs）與基本神經(jīng)網(wǎng)絡(luò)（通常指傳統(tǒng)神經(jīng)網(wǎng)絡(luò)或前向神經(jīng)網(wǎng)絡(luò)）的區(qū)別時(shí)，我們需要從多個(gè)維度進(jìn)行深入分析。這些維度包括
神經(jīng)網(wǎng)絡(luò)優(yōu)化算法有哪些
神經(jīng)網(wǎng)絡(luò)優(yōu)化算法是深度學(xué)習(xí)領(lǐng)域中的核心技術(shù)之一，旨在通過調(diào)整網(wǎng)絡(luò)中的參數(shù)（如權(quán)重和偏差）來最小化損失函數(shù)，從而提高模型的性能和效率。本文將詳細(xì)探討神經(jīng)網(wǎng)絡(luò)
反向傳播神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別
反向傳播神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network，簡稱BP神經(jīng)網(wǎng)絡(luò)）是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過反向傳播算法來調(diào)整網(wǎng)絡(luò)中的權(quán)重和偏置，以達(dá)到最小化誤差的
bp神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)區(qū)別是什么
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN）是兩種不同類型的人工神經(jīng)網(wǎng)絡(luò)，它們在
卷積神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別
卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，簡稱CNN）和BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Networks，簡稱BPNN）是兩種
如何訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域的重要分支，廣泛應(yīng)用于圖像識別、自然語言處理、語音識別等多個(gè)領(lǐng)域。然而，要使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中取得良好效果，必須進(jìn)行有效的訓(xùn)練和優(yōu)化。本文將從神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程
電機(jī)控制系統(tǒng)的神經(jīng)網(wǎng)絡(luò)優(yōu)化策略
電機(jī)控制系統(tǒng)作為現(xiàn)代工業(yè)自動化的核心組成部分，其性能直接影響到整個(gè)生產(chǎn)線的效率和穩(wěn)定性。隨著人工智能技術(shù)的快速發(fā)展，神經(jīng)網(wǎng)絡(luò)在電機(jī)控制系統(tǒng)中的應(yīng)用越來越廣泛。神經(jīng)網(wǎng)絡(luò)優(yōu)化策略通過模擬人腦神經(jīng)
【大規(guī)模語言模型：從理論到實(shí)踐】- 閱讀體驗(yàn)
注意力機(jī)制提高了模型在處理長序列數(shù)據(jù)時(shí)的性能，但在某些任務(wù)上，傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）可能仍然具有優(yōu)勢。此外，注意力機(jī)制本身也可能存在某些性能瓶頸，需要進(jìn)一步的研究和優(yōu)化
發(fā)表于 06-07 14:44
名單公布！【書籍評測活動NO.30】大規(guī)模語言模型：從理論到實(shí)踐
和強(qiáng)化學(xué)習(xí)展開，詳細(xì)介紹各階段使用的算法、數(shù)據(jù)、難點(diǎn)及實(shí)踐經(jīng)驗(yàn)。
預(yù)訓(xùn)練階段需要利用包含數(shù)千億甚至數(shù)萬億單詞的訓(xùn)練數(shù)據(jù)，并借助由數(shù)千塊高性能GPU 和高速網(wǎng)絡(luò)組成的超級計(jì)算機(jī)，花費(fèi)數(shù)十天完成深度神經(jīng)網(wǎng)絡(luò)
發(fā)表于 03-11 15:16
工商網(wǎng)監(jiān)
評論