任何一个线性变换都可以用一个矩阵A来表示。

EIG分解

特征值分解的适应情况是：

1. 矩阵是方阵
2. 矩阵有足够的特征向量
3. 如果矩阵有不相同的特征值 ，那么肯定有足够的特征向量

对角矩阵本质上是每个轴上的不耦合地伸缩。

SVD分解

如何将不能对角化的矩阵对角化，不存在奇异值为0的情况，矩阵是方阵

特征值与奇异值

如果一个矩阵的秩为rr，表明这个矩阵表示的空间是rr维的，不等于0的特征值或者奇异值的个数是rr，特征值或者奇异值的绝对值表示对应维度的方差，方差越大表明在这个维度上信息量越大，这个维度也就越重要。

参考代码

% 画图辅助函数
function [] = px(X,p1,p2)
plot(X(1,:),X(2,:),p1)
hold on
plot(X(1,:),X(2,:),p2)
hold off
axis equal
%axis([0 2 0 2])

% 主函数

%% 耦合与解耦
X = [0 0 1 1 0    
0 1 1 0 0];
% 对角矩阵
A2 = [1 0
    0 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;


% 矩阵耦合的情况
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;



%% 解耦，矩阵可以对角化，有足够的特征向量，按照SDS^{-1}分解

A2 = [1 2
    0 2];
% %D =
% 
%      1     0
%      0     2
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


gtext('A = [1 2 ; 0 1]')
%% 对称矩阵，一定可以对角化，特征值是实数，特征向量标准正交
% 对称矩阵就像对角矩阵那样
% 更深刻地去理解特征值与特征向量
% 特征值本质上是找到了一组完整的不缺失的特征向量后，可以进行解耦地伸缩变换，每个基上伸缩变换的系数
% 如果和压缩联系在一起的话，如果特征向量的长度都一样，那么特征值的绝对值越大表明在这个方向
% 的伸缩越大，理解成方差越大，因此可以利用这种分解去找到最大的方差，寻找如何包含更多的信息。
% D =
% 
%    -0.5616         0
%          0    3.5616
A2 = [1 2
    2 2];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)

%% 特征值如果出现0（行列式等于0，不满秩）是什么含义呢
% 在某个基上的分量丢失，原来的系数不为0可能是因为和其他基耦合
% 对角化后D上存在着为0的元素，有几个0说明有几个维度丢失。
A2 = [1 0
    0 0];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')


%% 不能对角化意味着什么
% 找不到上面那些好的性质，特征向量之间线性相关充满不了整个空间
% 但是只是在变换前后同一个基的条件下找不到
A2 = [1 2
    0 1];
X2 = A2*X;
px(X,'ro','r-')
hold on
px(X2,'b*','b:')
hold off;

% 换坐标系，从单位坐标系换到以特征向量为基底的坐标系
[V,D] = eig(A2)
V*D*inv(V)

Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(V)*A2*V*Xnew %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((D(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((D(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)


%% 如何将不能对角化的矩阵对角化，不存在奇异值为0的情况，矩阵是方阵
% SVD，构建起两个不同的坐标基
% 与特征值相对的，这里引入的是奇异值
% S =
% 
%     2.4142         0
%          0    0.4142
A2 = [1 2
    0 1];
[V,D] = eig(A2)
V

[U,S,V] = svd(A2);
Xnew = inv(V)*X;  %Xnew是原正方形数据X在新的基下面的坐标

Xnew2 = inv(U)*A2*V*Xnew; %Xnew2是经过线性变换A2后在新的基底下的坐标

% 选择特征向量方向为新的坐标，在新的坐标系下横坐标不变，纵坐标是原来的2倍。
px(Xnew,'ro','r-')
hold on
px(Xnew2,'b*','b:')

% 判断是不是符合
mean((S(1,1)*Xnew(1,:) - Xnew2(1,:) ) < 1e-5)
mean((S(2,2)*Xnew(2,:) - Xnew2(2,:) ) < 1e-5)