机器学习总览

这一组笔记覆盖机器学习的核心知识，从经典算法到现代 LLM 相关技术，偏工程落地视角。

这个主题解决什么问题

机器学习在工程实践里有三个核心问题：

第一，怎么选模型——不是"哪个最强"，而是哪个在当前场景的约束下最合适。

第二，怎么训好模型——数据处理、特征工程、超参调优、训练稳定性。

第三，怎么让模型在生产里跑得稳——MLOps、监控、回滚、漂移检测。

先把边界说清楚

这套笔记不追求数学推导的完整，而是讲清楚每个方法的工程边界：什么情况下该用它、它的核心弱点是什么、生产落地要注意什么。

阅读路径

第一层：经典机器学习

监督学习基础

• 线性回归 / 逻辑回归（Andrew Ng 课程级别，这里不重复）
• 决策树 / 随机森林
• XGBoost / LightGBM / CatBoost

无监督与降维

• 聚类（K-means / DBSCAN / 层次聚类）
• PCA / t-SNE / UMAP
• 异常检测

集成学习核心概念

• Bagging vs Boosting
• GBDT 的梯度提升机制
• Stacking / Blending

第二层：深度学习

神经网络基础

• 反向传播 / 激活函数 / 归一化
• 正则化（Dropout / L2 / Early Stopping）

现代架构

• Transformer / Self-Attention
• CNN / RNN / LSTM（了解即可）
• Diffusion Models（生成模型）

第三层：LLM 与 Fine-tuning

基础概念

• Pre-training / SFT / RLHF / DPO 的关系
• Prompt Engineering vs Fine-tuning

Fine-tuning 方法

• LoRA / QLoRA / DoRA
• RLHF（PPO）/ DPO / ORPO
• DeepSpeed + ZeRO

模型压缩

• 剪枝（结构化 vs 非结构化）
• 知识蒸馏
• 量化（INT8 / GPTQ / AWQ / llama.cpp）

第四层：MLOps 与工程实践

实验管理

• MLflow / Weights & Biases
• Ray / Ray Tune

模型部署

• TorchServe / Triton Inference Server
• Feature Store（Feast）
• 推理优化（ONNX / TensorRT / KV Cache）

模型监控

• 数据漂移 / 概念漂移
• 线上指标监控
• A/B Testing

第五层：模型评估

分类指标

• AUC-ROC / AUC-PR
• Calibration（温度 Scaling）
• LogLoss / Brier Score

排序与推荐指标

• MRR / HitRate / NDCG

模型选择

• 交叉验证策略
• Grouped / Stratified Split

核心概念

• Bias-Variance Tradeoff：模型容量与泛化能力的根本矛盾
• 过拟合 vs 欠拟合：用验证集曲线判断，优先处理过拟合
• 梯度提升：串行建弱分类器，每个新分类器去修正残差
• Attention 机制：Query-Key-Value 矩阵乘法，O(n²) 复杂度
• ZeRO：分布式训练显存优化，分 stage 0/1/2/3
• LoRA：低秩适配，冻结原权重，训练低秩矩阵
• 量化感知训练 vs 训练后量化：前者精度更高，后者更简单

经典笔记存档

以下文件保留为原始课堂笔记参考：

• 机器学习.md — Andrew Ng Coursera ML 课程完整笔记
• 常用算法和总结.md — 算法要点速查
• 统计学方法.md — 统计学基础方法