AI 模型微调入门教程：从数据集准备到 LoRA 训练完整指南
先讲一个真实场景：你给公司做客服机器人，直接用 GPT-4o 或 Claude，通用回答没问题，但遇到自家产品术语就乱讲，语气也总带着"官方腔"。你可以继续堆提示词，也可以把几百条真实客服对话拿来微调一个小模型，让它内部跑、响应更快、还不用按 token 计费。这篇文章就是讲第二条路：从整理数据集到用 LoRA 把模型跑起来。
通用大模型在特定领域的表现往往不尽如人意。微调（Fine-tuning）让开发者可以用自己的数据将通用模型定制化，大幅提升特定场景的表现。
先搞清楚：微调 / 提示工程 / RAG 怎么选
| 方法 | 原理 | 适用场景 | 成本 |
|---|---|---|---|
| 提示工程 | 精心设计输入提示 | 简单任务、临时需求 | 极低 |
| RAG | 检索外部知识辅助生成 | 需要实时/私有知识 | 低 |
| 微调 | 在特定数据上继续训练 | 固定风格/领域/格式 | 高 |
判断要不要微调，先问三个问题：输出是不是有稳定的"风格或格式要求"？知识会不会频繁变化？数据量够不够（至少几百条）？如果答案是"风格要固定、知识稳定、数据够"，微调才划算；如果知识经常变，RAG 更合适；只是偶尔调调说法，提示工程就够了。
数据集准备：决定成败的一步
微调的上限由数据决定。最常见的是对话/指令格式：
{
"messages": [
{"role": "system", "content": "你是 XX 电器的售后客服，回答简洁，先给结论再给步骤。"},
{"role": "user", "content": "空调遥控器没反应怎么办？"},
{"role": "assistant", "content": "请先确认电池正负极是否装反，换新电池后按复位键，若仍无反应再联系 400 客服。"}
]
}
关于数量：不是越多越好，几百条高质量、覆盖主要分支的对话，常常比上万条低质量数据效果好。重点检查四件事：
- 准确性：每条都要人工审，错答案会被模型"学进去"并放大；
- 一致性：system 提示、语气、格式全库统一；
- 多样性：覆盖常规问题、边界情况、拒绝回答的"兜底话术"；
- 平衡：别让某一类问题占 80%，否则模型会被带偏。
数据不够时先别急着放弃：可以人工改写已有对话（同义改写、补充步骤），或把历史工单里的问答对抽出来清洗，中英互译做回译也是常见的扩增手段。
全参数 / LoRA / QLoRA：三条路线怎么选
| 方法 | 原理 | 显存需求（7B） | 适用 |
|---|---|---|---|
| 全参数微调 | 更新所有权重 | 4×A100 80GB | 预算足、要极致效果 |
| LoRA | 冻结原权重，只训低秩矩阵 | 单卡 24GB | 大多数场景 |
| QLoRA | 量化 + LoRA | 单卡 12GB | 个人/实验 |
LoRA 的核心是把权重更新拆成低秩矩阵：
W' = W + BA
W 冻结，只训练 BA，参数量通常只有全模型的 0.1%–1%。所以一张 24GB 的消费级显卡就能训 7B 模型，训练时长也从"几天"缩到"几小时"。
实战：用 LoRA 微调 Llama 3
以 meta-llama/Llama-3.1-8B 为例。先装依赖：
pip install torch transformers datasets peft accelerate bitsandbytes
加载模型并配置 LoRA：
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import get_peft_model, LoraConfig, TaskType
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B")
tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B")
lora_config = LoraConfig(
r=16,
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.1,
task_type=TaskType.CAUSAL_LM,
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters() # 通常只显示 0.x% 可训练参数
训练超参的几个经验值：学习率 2e-4 附近、r 取 8–16、lora_alpha 一般是 r 的两倍、训练 1–3 个 epoch。批次太小就加 gradient_accumulation_steps，显存不够先开 fp16 或 bf16：
training_args = TrainingArguments(
output_dir="./fine-tuned-model",
num_train_epochs=3,
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-4,
fp16=True,
save_steps=500,
logging_steps=50,
)
trainer = Trainer(model=model, args=training_args, train_dataset=dataset)
trainer.train()
训完的 LoRA 权重只占几百 MB，可以单独保存，部署时再合并：
from peft import PeftModel
model = PeftModel.from_pretrained(base_model, "./lora-checkpoint")
merged_model = model.merge_and_unload()
merged_model.save_pretrained("./final-model")
一个完整的案例：客服机器人的微调路径
回到开头的客服机器人。假设你用 QLoRA 在一张 12GB 显卡上微调 Qwen2.5-7B-Instruct：
- 从历史工单里清洗出 800 条问答对，按"产品咨询 / 故障排查 / 售后政策 / 无法回答"四类均衡分配；
- 用上面 QLoRA 配置训练 2 个 epoch，约 2–3 小时；
- 先在 50 条留出的测试集上人工打分，重点看"是否按 system 提示的格式回答""有没有编造政策"；
- 效果达标后合并权重，用 vLLM 或 Ollama 部署到内网服务器。
实测这类"固定话术 + 稳定领域"的场景，微调后的 7B 模型常常能接近通用大模型的水平，而单次推理成本可能只有后者的十分之一。这也解释了为什么很多公司宁可花几天微调，也不愿意长期为每次调用付费。
评估与迭代
微调完别急着上线，用下表至少过一遍：
| 维度 | 评估方法 |
|---|---|
| 输出质量 | 人工打分 + 与基线模型对比 |
| 指令遵循 | 自动化测试集（覆盖格式要求） |
| 领域准确性 | 专家审核关键回答 |
| 安全性/幻觉 | 红队测试 + 对未知问题的兜底 |
更系统的评估方法可参考AI 模型评估指南；想跑得更省，可看本地部署 Ollama 指南。
常见坑
- 过拟合：数据太少或 epoch 太多，症状是"背答案"——换个说法就答不上来；
- 灾难性遗忘：模型丢掉预训练学到的通用能力，减少 epoch、混合少量通用数据可以缓解；
- 格式不一致：训练数据里 system 提示不统一，推理时模型就"精神分裂"；
- 把微调当万能药：知识频繁变化、数据太少时，先用 RAG 和提示工程。
参考：Hugging Face PEFT 文档 https://huggingface.co/docs/peft/；LoRA 论文 https://arxiv.org/abs/2106.09685；QLoRA 论文 https://arxiv.org/abs/2305.14314