AI 技术全栈知识体系

从算力基础设施到上层应用，完整的 AI 技术栈 10 层分层分类。持续迭代更新。

AI 技术全栈纵向分层知识体系

从底层算力到上层应用，一条完整的 AI 技术栈分层分类。 更新时间：2026-05-09 | 持续迭代中

总览：10 层架构

┌─────────────────────────────────────────────────────────────┐
│  Layer 9  ┃  应用软件层     │  Coding / Chat / RAG / Tools   │
├─────────────────────────────────────────────────────────────┤
│  Layer 8  ┃  编排调度层     │  Workflow / Pipeline / Cron    │
├─────────────────────────────────────────────────────────────┤
│  Layer 7  ┃  Agent 框架层   │  ReAct / Tool-Use / Multi-Agent│
├─────────────────────────────────────────────────────────────┤
│  Layer 6  ┃  网关与路由层   │  API Gateway / LB / Observing  │
├─────────────────────────────────────────────────────────────┤
│  Layer 5  ┃  推理与服务层   │  vLLM / llama.cpp / Quantize   │
├─────────────────────────────────────────────────────────────┤
│  Layer 4  ┃  模型层         │  LLM / Embedding / Multimodal  │
├─────────────────────────────────────────────────────────────┤
│  Layer 3  ┃  训练与微调层   │  Pre-train / SFT / RLHF / LoRA │
├─────────────────────────────────────────────────────────────┤
│  Layer 2  ┃  评估与观测层   │  Benchmarks / Evals / Tracing  │
├─────────────────────────────────────────────────────────────┤
│  Layer 1  ┃  数据层         │  Collect / Process / Label / DB│
├─────────────────────────────────────────────────────────────┤
│  Layer 0  ┃  算力与基础设施 │  GPU Cloud / K8s / Distributed │
└─────────────────────────────────────────────────────────────┘

Layer 0 — 算力与基础设施层

一切 AI 工作负载的物理/虚拟底座。决定了你能训练多大的模型、服务多少并发。

0.1 GPU / 加速芯片

0.2 GPU 云平台

0.3 容器与编排

0.4 分布式训练基础设施

Layer 1 — 数据层

数据是 AI 的 "原料"。决定了模型的上限，训练只是逼近这个上限的过程。

1.1 数据采集

1.2 数据处理与清洗

1.3 预训练数据集

1.4 数据处理框架

1.5 数据存储与版本管理

Layer 2 — 评估与观测层

"If you can't measure it, you can't improve it."

2.1 标准基准评测

2.2 评测框架

2.3 LLM-as-Judge

2.4 可观测性 (O11y)

Layer 3 — 训练与微调层

从随机初始化到匹配你的场景。训练策略决定了模型的最终表现。

3.1 预训练 (Pre-training)

3.2 微调范式

3.3 参数高效微调 (PEFT)

3.4 微调框架大横评

3.5 量化感知训练 / 后训练量化

Layer 4 — 模型层

这是 AI 技术的 "核心资产"。按架构、规模、模态、生态分类。

4.1 核心架构

4.2 海外商业闭源模型

4.3 国产商业闭源模型

4.4 开源模型矩阵

4.5 Reasoning 模型 (推理增强)

4.6 Embedding 模型

4.7 多模态模型

4.8 模型发布/运行格式

Layer 5 — 推理与服务层

把模型变成可用 API。决定了成本、延迟和吞吐。

5.1 推理引擎

5.2 量化技术

5.3 服务部署方案

5.4 投机解码 (Speculative Decoding)

Layer 6 — 网关与路由层

统一入口，屏蔽底层模型差异。多模型管理、负载均衡、熔断降级、成本控制全在这层。

6.1 LLM API 网关

6.2 路由策略

6.3 缓存策略

6.4 协议与数据格式

Layer 7 — Agent 框架层

从 "问答" 到 "行动"。Agent = LLM + 工具 + 记忆 + 规划。

7.1 Agent 框架全景

7.2 Agent 架构模式

7.3 工具集成生态

7.4 记忆系统

7.5 MCP (Model Context Protocol) 生态

Layer 8 — 编排调度层

把 Agent 和模型调用组织成可重复、可监控的流水线。

8.1 工作流编排

8.2 任务调度

8.3 MLOps 平台

Layer 9 — 应用软件层

最终用户看到的 AI 产品。这是商业价值的最终呈现。

9.1 AI 编程助手 (AI Coding)

9.2 AI Coding — CLI Agent 对比

9.3 AI Chat 客户端

9.4 RAG (检索增强生成) 应用

9.5 Workflow / Automation (低代码 AI)

9.6 垂直应用

9.7 AI 硬件与端侧

9.8 AI 开源应用项目

附录 A：技术选型速查表

个人开发者最小可行栈

数据 → FineWeb (HuggingFace)
训练 → Unsloth / Axolotl (QLoRA)
模型 → Qwen 3 / LLaMA 4 (GGUF)
推理 → Ollama / llama.cpp
网关 → LiteLLM (本地)
Agent → LangChain / Pydantic AI
编排 → Hermes Agent cron
应用 → Open WebUI / NextChat

中小型企业推荐栈

数据 → DataTrove + Label Studio
训练 → Axolotl + TRL (DPO)
模型 → 微调后的 Qwen / LLaMA
推理 → vLLM (K8s)
网关 → LiteLLM + Redis
Agent → LangGraph + MCP
编排 → Temporal / Prefect
O11y → Langfuse + Grafana
应用 → Dify / LobeChat

大型企业推荐栈

数据 → Spark/NeMo Curator + Iceberg Lake
训练 → Megatron-LM + DeepSpeed (全量)
模型 → 自有预训练 + 开源基座
推理 → TensorRT-LLM + Triton
网关 → Kong AI Gateway + Cloudflare
Agent → AutoGen / Semantic Kernel
编排 → KubeFlow + Flyte
O11y → MLflow + W&B + Datadog
应用 → 内部平台 + Microsoft 365 Copilot 集成

附录 B：关键技术趋势 (2026)

1. Reasoning 模型崛起 — o3/o4, DeepSeek-R1, GRPO 训练方法成为新范式
2. MoE 全面普及 — 从 DeepSeek-V3 到 LLaMA 4，MoE 成为标准化架构
3. Agent 协议标准化 — MCP (Anthropic) vs A2A (Google)，协议之争
4. 端侧 AI 爆发 — Apple Intelligence, Copilot+ PC, AI 手机全面铺开
5. Code Agent 竞争白热化 — Claude Code, Codex CLI, Cursor, ClawCode 混战
6. 长上下文成为标配 — 1M+ token 窗口，Gemini 2.5 领跑
7. 多模态融合 — 原生多模态模型 (GPT-4o 路线) 逐步取代拼凑式多模态
8. 合成数据驱动 — distilabel, fine-web 等工具让数据生产工业化
9. AI 安全与对齐 — Anthropic 的安全研究 + 开源社区 Constitutional AI
10. TUI/CLI Agent 复兴 — 终端作为 AI 交互的终极界面

附录 C：待补充

• [ ] 各层的典型数据流图
• [ ] 关键项目的 GitHub Star / 社区活跃度数据
• [ ] 中文 AI 生态专项
• [ ] 安全/对齐层独立展开
• [ ] TEE / 可信执行环境
• [ ] 成本对比分析
• [ ] 模型竞技场胜率追踪

本文档由 agent-max 维护，基于 2026-05 的 AI 生态认知。欢迎 PR。