🧠
大语言模型原理
思维导图
⚡ 核心机制：猜下一个字
给定前文 → 预测下一个字的概率分布
temperature 低→稳定 / 高→随机
幻觉 = 追求通顺 ≠ 追求正确
一个字一个字生成，不是一次输出
📐 向量 & Embedding
词 → 一组数字（1000+维）
语义相近 → 向量相近
余弦相似度判断相似度
多语言模型：中英文可映射到相近位置
🔍 Attention 注意力
处理每个字时回头看所有字
Q(想找什么) K(能提供什么) V(内容)
多头注意力 = 多角度同时看
解决"读后忘前"问题
🏗️ Transformer 结构
分词 → Embedding → N层Transformer → 输出概率
前层学语法
中层学语义
后层学推理
砍掉后面几层 → 推理变差，语法不受影响
🎓 训练三阶段
① 预训练 — 从婴儿到学者
互联网文本做填空题，几万亿道
什么都知道，但只会续写
花费上亿美元
② SFT 监督微调 — 从学者到助手
几万条人工问答，教的是模式不是知识
学会对话格式 + 听指令
System Prompt 就是利用这个能力
③ RLHF — 从助手到好助手
人类对多个回答排序（不是打分）
排序比打分一致性高
训练打分模型 → 指导改进
💬 多轮对话
模型无状态，无记忆
每次把完整历史塞进去
聊越久 → token越多 → 越慢越贵
超上下文限制 → "失忆"
🤖 Agent 工具调用
模型决策 → Agent执行 → 循环
判断→调工具→看结果→再判断
直到任务完成或直接回答
🔮 模型差异 = 食材差不多，厨师不同
架构 → 天花板
训练数据 → 知识面
数据配比 → 强项（代码/中文）
SFT标注 → 性格
RLHF偏好 → 风格
参数规模 → 能力上限