春与秋

这两天江北的天气有点反复无常,前天淅沥沥的小雨下着,今天便艳阳高照,正午时分让人热得闷得慌。或许是我许久不曾在家呆这么久了。这三周断断续续下过三次雨,正是雨水滋润了眼前这片油菜田,嚯,春天到了。

新冠肺炎疫情以及日常生活正在逐渐好转,过了漫长的冬季,面对眼前秀丽的田野风光,有种春回大地的感觉。嗯,一切都会好起来的。

家门口的菜花更多,奈何拍摄水平有限

在笔记本里翻到这首小诗,这写于2014年迈入校园之际,当时恰有种海阔天空的感觉。如今我看文学类的书籍很少,不过粗人也是可以有些文艺气息的(为赋新词强说愁),哈哈。

奈何秋意甚浓。

凉寂柏油道,黄叶卧睡怀。

任凭风雨卷枝头,雨打落叶风吹树。

翠柳不复在,清灵撩长空。

寂寞人行道其中,脚步匆匆叹秋凉。

草青青,路漫漫,人惶惶,不知何味哽心头。

秋凉?仿徨?思乡?

少儿莫言老来时,且惜眼前三年春。

梧桐叶娑娑,迎风尚有声。

更待秋日升高处,暖暖洋洋是春光。

阿成儿晨秋

写在前面

介绍核主成分分析算法(Kernel Principal Component Analysis)[1]

主成分分析

给定N个样本xi∈Rp,假设∑ixi=0,样本的协方差矩阵为Σ=1N∑ixixiT∈Rp×p,对其作特征值分解:

Σ=UΛUT=∑kλkukukT,UUT=Ip得到降维投影映射yi=UkTxi,其中Uk∈Rp×k为前k个特征列向量构成的子矩阵,显然

1N∑iyiyiT=1N∑iUkTxixiTUk=UkTΣUk=UkTUΛUTUkT=Λk其中Λk∈Rk×k为前k个最大的特征值构成的对角矩阵。记样本矩阵X=[x1,x2,…,xN]∈Rp×N,以上问题可以用如下优化问题来概述

minUkUkT=Ik∑i∥xi−Pk(xi)∥2=mintr(X−Pk(X))T(X−Pk(X))=mintr(XT(I−Pk)T(I−Pk)Y)=mintr(XXT(I−Pk)2)=mintr(XXT(I−Pk))=mintr(XXT)−tr(XXTUkUkT)=maxtr(UkTXXTUk)=maxtr(UkTΣUk)=maxtr(Σk)=∑i=1kλk其中Pk=UkUkT是到子空间的投影映射。此时Uk的最优解为前k个特征向量构成的列酉阵。

线性到非线性

kernel-PCA.png

核主成分分析

向量内积⟨a,b⟩=aTb,求解协方差矩阵的特征方程
$$
\lambda u = \Sigma u = (\frac{1}{N}\sum_i x_i x_i^T) u = \frac{1}{N}\sum_i \langle x_i, u \rangle x_i
$$

  • $$ \lambda \langle x_i, u\rangle = \langle x_i, \Sigma u\rangle $$
  • u=∑i⟨xi,u⟩λNxi=∑iαixi
  • $$u = \sum_i \frac{\langle x_i,u \rangle}{\lambda N} x_i = \sum_i \alpha_i x_i $$

引入非线性映射Φ:Rp→F,x↦X,假设∑iΦ(xi)=0成立,否则可进行中心化处理Φ(xi)=Φ(xi)−1N∑jΦ(xj)。对应协方差矩阵为

Σ¯=1N∑iΦ(xi)Φ(xi)T对应特征值方程为λU=Σ¯U,表明特征向量位于Φ(x1),⋯,Φ(xN)所张成的空间内,可得以下两个结论:

  • λ⟨Φ(xi),U⟩=⟨Φ(xi),Σ¯U⟩
  • U=∑jαjΦ(xj)

可得

λ∑jαj⟨Φ(xi),Φ(xj)⟩=1N∑j,kαj⟨Φ(xi),Φ(xk)⟩⟨Φ(xk),Φ(xj)⟩令Kij=⟨Φ(xi),Φ(xj)⟩,λ~=Nλ,

Kα=λ~α由于特征向量的单位化,即UTU=1,可得

∑i,jαiαj⟨Φ(xi),Φ(xj)⟩=αTKα=λ~αTα=1对于新的样本点t,特征空间对应点Φ(t)的投影可表示为

⟨U,Φ(t)⟩=∑jαj⟨Φ(xj),Φ(t)⟩=∑jαjK(xj,t)### 计算步骤

  1. 计算矩阵K
  2. 计算特征向量并归一化
  3. 计算新的样本点对应的特征向量

核函数

不同核函数具有不同的意义,后面会专门写一个核方法、核技巧的总结。

Kernel PCA性质(继承于PCA)

  • 前q个主成分比其他任意q个主成分表示的方差是最大的
  • 前q个主成分比其他任意q个主成分表示的均方误差是最小的
  • 主成分具有无关性
  • 前q个主成分比其他任意q个主成分表示的互信息最多

参考文献

  1. Scholkopf B, Smola A J, Muller K, et al. Nonlinear component analysis as a kernel eigenvalue problem[J]. Neural Computation, 1998, 10(5): 1299-1319. ↩︎

本文作者:Anthony

本文链接: https://blog.youdef.com/posts/19556.html

评论

您所在的地区可能无法访问 Disqus 评论系统,请切换网络环境再尝试。