线性代数复习

向量运算

1. 内积（点乘）

如果内积为0，代表两个向量正交，
内积大于0，两向量夹角小于90
内积小于0，两向量夹角大于90小于180

2. 外积（叉乘）

线性 无关/有关

线性无关

一组向量是线性无关的，如果它们不能通过线性组合（即加权和）来表示为零向量
（一组向量里面，没有一个可以被其他人联合表示）

线性相关

如果一组向量可以通过非零权重的线性组合得到零向量，那么这组向量就是线性相关的。

线性 无关/ 相关 两者都不包含 所有权重都为0 的情况

线性变换

线性代数中的线性变换是一种将向量从一个向量空间映射到另一个向量空间的函数。

它满足两个基本属性：加法的保持性和标量的乘法保持性。

矩阵

每个线性变换都可以用一个矩阵来表示
如果矩阵里面的列是线性相关的（共线的话），这个矩阵就是一个高维到低维的线性变换。

矩阵向量乘法

逆矩阵
AB = E (B为A的逆矩阵，E为单位矩阵，即对角线全为1，其他位置全为0)

转置矩阵
把矩阵的行和列交换产生的矩阵是A的转置矩阵，记作$A^T$
矩阵A的转置AT的秩与A的秩是一样的

对角矩阵

对角矩阵只在对角线上含有非0元素，其它位置都为0

单位矩阵

对角线（称为主对角线）上的元素均为1。除此以外全都为0。
任何矩阵与单位矩阵相乘都等于本身

正交矩阵
$A^-1 = A^T$ : A即为正交矩阵

相似矩阵

矩阵A和B相似：$P^{-1}AP = B$

若矩阵A和B相似，则R(A) = R(B),且特征值也相同

相似矩阵的本质就是在不同的基向量下表达同一个线性变换

行列式

几何意义
在二维中，行列式的值就是由基所围成的平行四边形的面积
det(A) = S(A)

行列式为0（代表这个矩阵所对应的线性变换将空间压缩到更小的维度上）的矩阵为奇异矩阵

非0的为非奇异矩阵

矩阵可逆和矩阵满秩的充分必要条件都是 det不为0

线性变换定义：
线性变换是指一个函数 ( T: V \rightarrow W )，它将一个向量空间 ( V ) 中的向量 ( v ) 映射到另一个向量空间 ( W ) 中的向量 ( w )，且满足以下两个条件：

• 加法保持性：对于任意向量 ( u, v \in V )，有 ( T(u + v) = T(u) + T(v) )。
• 标量乘法保持性：对于任意向量 ( v \in V ) 和任意标量 ( a )，有 ( T(av) = aT(v) )。

几何意义：
线性变换可以看作是一种在空间中的“拉伸”或“压缩”，甚至可以是“旋转”或“反射”。 在二维空间中，线性变换可以想象为一个网格被均匀地拉伸或压缩，而不会发生撕裂或折叠。

线性组合

多个数乘向量的和

n个线性无关的向量可以通过线性组合张成一个n维空间，这样的向量我们就可以称为基向量（线性相关的一组向量则不行）

向量组可以张成的空间的维度也叫做秩

线性空间

m个相互正交的向量，做加法和数乘，可以组成线性空间

矩阵乘法

矩阵乘法 是对空间的线性变换

基向量

1. 基向量（或简称基）是构成向量空间的一组线性无关向量
2. 向量空间中的任意向量都可以表示为基向量的线性组合
3. 每个基向量集合的向量数量必须与向量空间的维数相同

线性变换的含义

矩阵的秩

1. 矩阵中线性无关向量的个数。
2. 矩阵的秩 为 变换后空间的维度
3. 取子矩阵（方阵）的行列式，最大子矩阵维度 使得行列式 ≠ 0（没有对空间进行压缩）

矩阵的秩的含义

它描述了矩阵中线性独立行或列的最大数目

一个向量组A: a1,a2,…,am

线性相关的充分必要条件就是 R(A) < m;

线性无关的充分必要条件就是 R(A) = m;

1. 线性独立性：矩阵的秩是矩阵中线性独立行或列的最大数目。如果一个矩阵的秩为 ( r )，那么矩阵中至少有 ( r ) 行（或列）是线性独立的。

2. 行最简形：通过行简化（如行交换、行倍加等操作），可以将矩阵转换为行最简形。在行最简形中，非零行的数目等于矩阵的秩。

3. 列最简形：同样地，通过列简化，可以将矩阵转换为列最简形。在列最简形中，非零列的数目也等于矩阵的秩。

4. 零空间：矩阵的零空间（或核）是所有映射到零向量的向量集合。矩阵的秩与零空间的维数有直接关系。具体来说，如果一个矩阵 ( A ) 的秩为 ( r )，那么 ( A ) 的零空间的维数为 ( n - r )，其中 ( n ) 是矩阵的列数。

5. 线性方程组解的个数：矩阵的秩与线性方程组解的个数有关。如果系数矩阵的秩等于增广矩阵的秩，并且等于未知数的个数，那么方程组有唯一解；如果系数矩阵的秩小于未知数的个数，那么方程组有无穷多解；如果系数矩阵的秩大于增广矩阵的秩，那么方程组无解。

6. 矩阵的可逆性：如果一个方阵的秩等于其阶数（即行数和列数），那么这个矩阵是可逆的。换句话说，只有满秩的方阵才是可逆的。

7. 子空间的维数：矩阵的秩还可以描述其行空间或列空间的维数。行空间和列空间是矩阵行向量或列向量生成的向量空间，其维数等于矩阵的秩。

计算方法

矩阵的秩可以通过多种方法计算，常见的有：

• 高斯消元法：通过行操作(初等行变换)将矩阵转换为行最简形，然后计算非零行的数目。

• 奇异值分解（SVD）：通过分解矩阵为三个矩阵的乘积，其中包含一个对角矩阵，其非零元素的数目即为矩阵的秩。

奇异值分解视频

满秩矩阵也为可逆矩阵，满秩矩阵detA≠0（detA 就是矩阵A的行列式的值）

不满秩矩阵就是奇异矩阵，奇异矩阵detA=0

由行列式性质知道，矩阵A的转置AT的秩与A的秩是一样的

线性方程组有解（一个/多个）和无解的条件

线性方程组

线性方程组什么时候无解？多个解？唯一解？

特征值和特征向量的含义

矩阵向量乘积 = 向量数乘（A为矩阵，$\mathbf{v}$为向量，$\lambda$为标量）
[
A\mathbf{v} = \lambda \mathbf{v}
]

从直观理解上看，由于矩阵的乘法实际上是对向量进行坐标旋转变换,它使得左乘 𝐴 后的向量依然与 𝑥 共线

几何意义：
特征向量：是线性变换下保持方向不变的向量，
特征值：则表示这个方向上的伸缩比例。 在二维空间中，可以想象一个线性变换将一个向量“拉伸”或“压缩”成另一个向量，而特征向量就是在这个过程中方向不变的向量。

计算方法：
式Av=λv也可写成( A-λE)v=0，并且|λE-A|叫做A 的特征多项式。当特征多项式等于0的时候，称为A的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解。

特征值（Eigenvalue）

特征值是与线性变换相关联的标量，满足以下性质：

• 对于给定的线性变换 ( T ) 和非零向量 ( \mathbf{v} )，如果存在标量 ( \lambda ) 使得：
  [
  T(\mathbf{v}) = \lambda \mathbf{v}
  ]
  那么 ( \lambda ) 就是 ( T ) 的一个特征值。

求解特征值：
求特征方程 det(A−λI)=0 的解，即为特征值

特征向量（Eigenvector）

特征向量是与特征值相关联的非零向量，满足以下性质：

• 如果 ( \lambda ) 是线性变换 ( T ) 的特征值，那么满足 ( T(\mathbf{v}) = \lambda \mathbf{v} ) 的非零向量 ( \mathbf{v} ) 就是 ( \lambda ) 的特征向量。

计算

特征值和特征向量的计算通常通过求解特征方程 ( T(v) = \lambda v ) 来完成，即：

[ (T - \lambda I)v = 0 ]

其中，( T ) 是线性变换的矩阵表示，( I ) 是单位矩阵，( \lambda ) 是特征值，( v ) 是特征向量。

性质和应用

1. 不变性：特征向量在 ( T ) 的作用下被拉伸或压缩，但方向不变。这是“特征”（eigen，德语中意为“自身”）一词的由来。

2. 计算：特征值和特征向量可以通过解特征方程来找到。对于矩阵 ( A )，特征方程为：
   [
   \det(A - \lambda I) = 0
   ]
   其中 ( \det ) 表示行列式，( I ) 是单位矩阵。解这个方程可以得到 ( A ) 的特征值 ( \lambda )，然后通过解线性方程组 ( (A - \lambda I) \mathbf{v} = 0 ) 找到对应的特征向量。

3. 主成分分析（PCA）：在统计学和机器学习中（如PCA主成分分析法），特征值和特征向量用于降维和数据压缩，通过识别数据中的主要变化方向

在线性代数中，矩阵根据其特性可以被分为多种类型，每种类型都有其特定的性质和应用。以下是对称矩阵、置换矩阵、正交矩阵和正定矩阵的解释：

矩阵类型

对称矩阵（Symmetric Matrix）

1. 定义：如果矩阵( A )的转置( A^T )等于其本身，即( A^T = A )，则称矩阵( A )为对称矩阵。
2. 性质：对称矩阵的对角线以外的元素都是对称的，即( a_{ij} = a_{ji} )。
3. 应用：在物理学中，对称矩阵常用于表示守恒定律；在优化问题中，对称矩阵用于表示二次型。

置换矩阵（Permutation Matrix）

1. 定义：置换矩阵是一种特殊类型的方阵，它的每一行和每一列都恰好有一个非零元素（通常是1），其余元素都是0。置换矩阵代表了一种排列或置换。
2. 性质：置换矩阵的乘积可以表示更复杂的排列；它们在数学上用于重新排列集合中的元素顺序。
3. 应用：在组合数学中，置换矩阵用于表示元素的重新排序；在计算机科学中，用于实现数据结构中的排序算法。

正交矩阵（Orthogonal Matrix）

1. 定义：如果矩阵( A )的转置乘以( A )等于单位矩阵，即( A^TA = AA^T = I )，则称矩阵( A )为正交矩阵。
2. 性质：正交矩阵的列向量和行向量都是单位向量，并且两两正交（即内积为0）。
3. 应用：在几何变换中，正交矩阵用于表示保持长度和角度不变的变换，如旋转和反射。

正定矩阵（Positive Definite Matrix）

1. 定义：对于任意非零向量( \mathbf{x} )，如果( \mathbf{x}^T A \mathbf{x} > 0 )，则称矩阵( A )为正定矩阵。
2. 性质：正定矩阵是对称矩阵的一种特殊类型，它的所有特征值都是正数；对角线上的元素也都是正数。
3. 应用：正定矩阵在优化问题中非常重要，因为它们保证了函数的局部最小值也是全局最小值；在统计学中，正定矩阵用于表示协方差矩阵。

其他相关矩阵

• 半正定矩阵（Positive Semidefinite Matrix）：如果( \mathbf{x}^T A \mathbf{x} \geq 0 )对所有非零向量( \mathbf{x} )都成立，则矩阵( A )是半正定的。
• 负定矩阵（Negative Definite Matrix）：如果( \mathbf{x}^T A \mathbf{x} < 0 )对所有非零向量( \mathbf{x} )都成立，则矩阵( A )是负定的。
• 不定矩阵（Indefinite Matrix）：如果矩阵既不是正定的也不是负定的，则称该矩阵为不定矩阵。

理解这些矩阵类型的特性对于解决线性代数问题和应用矩阵理论在各个领域中非常重要。

线性代数的应用

• 机器学习：在机器学习中，特征值和特征向量被用于主成分分析（PCA）等降维技术，以及谱聚类等聚类算法。
• 深度学习：在深度学习的卷积神经网络中，卷积核可以看作是一种线性变换，其参数（权重）可以通过特征值分解来优化。
• 物理学：在经典力学中，特征值问题与系统的固有频率相关，特征向量则与系统的振动模式相关。

理解线性变换、特征值和特征向量对于深入学习数学、物理以及相关工程领域非常重要，它们提供了一种强大的工具来分析和理解复杂系统的行为。