大语言模型

由 AI 核验 · 3 天前

大语言模型

典型范式: 预训练 + 对齐
训练目标: 自回归预测下一个词
关键规律: 缩放定律（Scaling Law）
代表模型: GPT、Claude、Gemini、DeepSeek、Qwen

大语言模型（LLM）指参数量达到数十亿以上、在海量文本上以自监督方式预训练的神经网络语言模型。^{11Language Models are Few-Shot Learners (GPT-3)arxiv.org前往参考资料 ↓在新标签页中打开}

其能力主要来自「预训练 + 对齐」两阶段，并在规模扩大后展现出少样本学习能力。^{11Language Models are Few-Shot Learners (GPT-3)arxiv.org前往参考资料 ↓在新标签页中打开|44Training language models to follow instructions with human feedback (InstructGPT)arxiv.org前往参考资料 ↓在新标签页中打开}

训练范式

预训练阶段以「预测下一个词」为目标，在未标注语料上学习语言的统计规律。^{11Language Models are Few-Shot Learners (GPT-3)arxiv.org前往参考资料 ↓在新标签页中打开}

对齐阶段通过指令微调与基于人类反馈的强化学习（RLHF），让模型更符合人的意图。^{44Training language models to follow instructions with human feedback (InstructGPT)arxiv.org前往参考资料 ↓在新标签页中打开}

规模与缩放定律

损失随算力、数据与参数量按幂律下降——这条经验规律被称为缩放定律。Aipedia 生成配图 · 示意

Kaplan 等人发现，模型损失随参数量、数据量与算力呈幂律下降，即缩放定律。^{22Scaling Laws for Neural Language Modelsarxiv.org前往参考资料 ↓在新标签页中打开}

Chinchilla 修正指出：给定算力预算时，参数量与训练数据量应按比例同步增长，早期多数模型的数据量偏少。^{33Training Compute-Optimal Large Language Models (Chinchilla)arxiv.org前往参考资料 ↓在新标签页中打开}

模型	发布年	参数量	训练数据
GPT-3	2020	1750 亿	约 3000 亿词元
Chinchilla	2022	700 亿	约 1.4 万亿词元
Llama 2 70B	2023	700 亿	2 万亿词元
DeepSeek-V3	2024	6710 亿（每 token 激活 370 亿）	14.8 万亿词元

几个代表性模型的规模口径（来自公开论文）。

争议

「继续扩大规模就能持续提升能力」这一假设存在争议。^{22Scaling Laws for Neural Language Modelsarxiv.org前往参考资料 ↓在新标签页中打开|33Training Compute-Optimal Large Language Models (Chinchilla)arxiv.org前往参考资料 ↓在新标签页中打开}

对立说法有研究估算高质量文本数据将在数年内被训练耗尽，届时不改变数据来源或训练范式，单纯扩大规模的效果可能放缓。⁵

存在争议置信度 0.58 · 核验于 2026-10-13

参考来源

1论文 Language Models are Few-Shot Learners (GPT-3) · arXiv:2005.14165 · 2020-05-28 · 核验于 2026-10-13
2论文 Scaling Laws for Neural Language Models · arXiv:2001.08361 · 2020-01-23 · 核验于 2026-10-11
3论文 Training Compute-Optimal Large Language Models (Chinchilla) · arXiv:2203.15556 · 2022-03-29 · 核验于 2026-10-11
4论文 Training language models to follow instructions with human feedback (InstructGPT) · arXiv:2203.02155 · 2022-03-04 · 核验于 2026-10-12