数学基础：线性代数与概率论
💡 本章重点：掌握机器学习所需的核心数学概念，包括向量、矩阵运算和概率分布。
线性代数基础
向量与矩阵
在机器学习中，数据通常以向量和矩阵的形式表示：
# 向量示例
import numpy as np
# 特征向量
x = np.array([1.2, 2.5, 3.1, 0.8])
print(f"特征向量: {x}")
# 权重矩阵
W = np.array([[0.1, 0.2],
[0.3, 0.4],
[0.5, 0.6],
[0.7, 0.8]])
print(f"权重矩阵形状: {W.shape}")
ℹ️ 向量：一维数组，表示数据的特征
矩阵：二维数组，表示多个向量或变换关系
重要运算
1. 点积（内积）
点积是机器学习中最基础的运算：
点积公式：a · b = Σ(aᵢ × bᵢ)
# 点积计算
a = np.array([1, 2, 3])
b = np.array([4, 5, 6])
dot_product = np.dot(a, b) # 结果: 32
print(f"点积结果: {dot_product}")
2. 矩阵乘法
神经网络的前向传播本质上就是矩阵乘法：
# 矩阵乘法
X = np.array([[1, 2], [3, 4]]) # 输入
W = np.array([[0.1, 0.2], [0.3, 0.4]]) # 权重
result = np.matmul(X, W)
print(f"矩阵乘法结果:
{result}")
概率论基础
概率分布
机器学习中常见的概率分布：
✅ 正态分布：连续型，钟形曲线，参数μ(均值)和σ(标准差)
✅ 伯努利分布：二元分布，用于二分类问题
✅ 多项式分布：多元分布，用于多分类问题
贝叶斯定理
贝叶斯定理是概率推理的核心：
P(A|B) = P(B|A) × P(A) / P(B)
— 贝叶斯定理
在机器学习中的应用：
- P(类别|特征)：给定特征下的类别概率
- P(特征|类别)：给定类别下的特征概率
- P(类别)：类别的先验概率
实际应用示例
线性回归中的数学
# 线性回归的矩阵形式
# y = Xw + b
import numpy as np
from sklearn.linear_model import LinearRegression
# 生成示例数据
X = np.array([[1], [2], [3], [4], [5]]) # 特征
y = np.array([2, 4, 6, 8, 10]) # 目标值
# 训练模型
model = LinearRegression()
model.fit(X, y)
print(f"权重: {model.coef_}")
print(f"偏置: {model.intercept_}")
关键公式记忆
重要的数学公式：
统计量公式
梯度公式
⚠️ 学习建议：数学基础很重要，但不要被复杂的公式吓倒。重点理解概念，公式可以在实践中逐步掌握。
练习题
- 计算向量 [1, 2, 3] 和 [4, 5, 6] 的点积
- 解释贝叶斯定理在垃圾邮件分类中的应用
- 编写代码计算一组数据的均值和标准差
下一章我们将学习监督学习算法...