PAPERS & KNOWLEDGE

大模型论文与知识库

把大模型的技术脉络拆成两条线:一条讲清原理与机制,一条沉淀论文精读与行业判断。所有文档都来自公开资料,标注出处,便于追溯。

10关键阶段 2017—2026
2内容模块
10篇公开文档
EVOLUTION

大模型十年:从注意力机制到任务闭环

不是年表罗列,而是每个阶段「解决了什么问题、付出了什么代价、留下了什么」。点开每一年,看到的是技术选择的因果链。

2017
架构原点

用纯注意力替代循环结构,序列建模第一次可以完全并行

  • 自注意力让任意两个位置的路径长度降到 O(1),长距离依赖不再衰减
  • 多头机制、缩放点积、正弦位置编码、残差 + LayerNorm 构成此后所有模型的骨架
  • 8 块 P100 训练 3.5 天取得 WMT 英德 SOTA,证明并行化比结构精巧更关键
代表Attention Is All You Need
2018
预训练范式

「预训练一次,微调多任务」取代了每个任务单独训一个模型

  • BERT 用双向掩码语言模型把理解类任务整体抬高,11 项基准刷新
  • GPT 走自回归路线,用单向语言模型做生成,为后续大模型定下范式
  • ELMo 证明上下文相关表示的价值,静态词向量时代结束
代表BERT · GPT-1 · ELMo
2019
规模化前夜

模型开始「一个顶多个」,统一建模成为主流选择

  • GPT-2 1.5B 展示 zero-shot 多任务能力,通用模型的雏形出现
  • T5 把翻译、分类、问答全部改写为 text-to-text,统一范式被验证
  • RoBERTa / XLNet 修正 BERT 的训练细节,指标继续提升但架构未变
代表GPT-2 · T5 · RoBERTa
2020
少样本涌现

不改参数,只改提示词就能做新任务——上下文学习登场

  • GPT-3 175B 提出 in-context learning:几个示例写进提示词即可完成任务
  • Kaplan 缩放定律给出幂律曲线,行业形成「堆参数」的共识
  • Prompt engineering 成为一个工种,提示词模板开始产品化
代表GPT-3 · Scaling Laws
2021
对齐与多模态

从「会续写」到「会按指令办事」,视觉与语言进入同一语义空间

  • 指令微调(FLAN / T0)用多任务指令数据显著提升零样本泛化
  • CLIP 用图文对比学习对齐视觉与语言,成为多模态的基础组件
  • Codex 证明代码可以作为「可执行推理」的载体,为工具调用埋下伏笔
代表FLAN · CLIP · Codex
2022
对话与思维链

对齐工程化 + 推理显式化,大模型走进公众视野

  • InstructGPT 用 SFT + 奖励模型 + PPO,让 1.3B 在人类偏好上胜过 175B
  • Chain-of-Thought 证明让模型写出中间步骤能大幅提升多步推理
  • Chinchilla 修正缩放配比:每参数约 20 token,此前的大模型普遍训练不足
  • ChatGPT 上线,两个月用户破亿,交互形态从 API 变成对话框
代表InstructGPT · CoT · ChatGPT · Chinchilla
2023
开源与工具

能力继续上探,同时开源、微调、检索三条落地路径同时成熟

  • GPT-4 支持图像输入,专业考试类基准大幅提升
  • LLaMA / Llama 2 开源,私有化部署与端侧模型成为可能
  • LoRA / QLoRA 把微调成本降到单卡可承受,垂直模型大量出现
  • RAG 成为企业落地标准姿势;Function Calling 让模型能真正调用系统
代表GPT-4 · Llama 2 · LoRA · RAG
2024
效率与长上下文

参数与算力解耦、上下文拉长、推理时计算成为新变量

  • MoE 成为主流架构(Mixtral、DeepSeek-V2),总参数与激活参数分离
  • 上下文窗口从 32K 推到百万级,长文档与代码库级理解进入实用
  • 多模态原生:图像、语音、视频在同一模型内统一建模
  • o1 用推理时计算(长思维链 + 强化学习)把数学与代码推上新台阶
代表Mixtral · DeepSeek-V2 · GPT-4o · o1
2025
推理模型与智能体工程

推理能力被低成本复现,工具与智能体开始有统一协议

  • DeepSeek-R1 用 RLVR(可验证奖励)复现推理能力,训练成本大幅下降
  • 测试时计算成为第二条缩放曲线:同一模型,思考越久效果越好
  • MCP / A2A 等协议统一工具接入与智能体互联,生态开始标准化
  • Agent 从演示走向工程:DAG 编排、重试降级、审计与权限成为必备
代表DeepSeek-R1 · MCP · o3
2026
闭环落地

评价标准从「模型多强」转向「这段流程能不能真的交给它」

  • 企业关注端到端任务成功率、人工介入率、错误可回滚,而非榜单分数
  • 私有化 + 可控智能成为硬门槛:字段级权限、动态脱敏、全量审计
  • 多角色协同与仲裁机制用于高风险决策,冲突显式暴露而非平均掉
  • 知识中枢与工具链取代「模型选型」,成为企业自己的护城河
代表企业 Agent 平台 · 私有化推理 · 多角色协同

想看看它在你所在行业怎么落地?

留个联系方式,产品专家会在 1 个工作日内与您联系,结合业务场景做一次针对性演示。

邮件咨询