sparse coding 的起源（OLSHAUSEN and FIELD， 1996）

在自然图像中，方向线和边缘，尤其是曲线和不规则边缘就是一些底层的统计独立的信息。（直观的理解，比如说一个光滑平面上的点的灰度可以预测周围的其他点，或被其他点预测，所以是冗余，携带的信息很低，而不规则边缘和方向线就无法被其他点预测，携带信息高）

我们将探索的减少高度冗余信息的策略，是用概率模型提取图像结构，将图像在“基函数的线性超位置表示”linear superposition of basis function
这是什麼意思呢？比如特征脸就可以看作是基函数，而任意人脸就可以表示成这些N维基函数空间的某个位置

φi为第i个基函数（或权重矩阵），αi为第i个基函数的系数（或表征此基函数的神经元的激活强度），图像x可以用ai表征和还原。

提取【超完备集】的一个明显原因之一是针对噪音时的健壮性。另一个原因是匹配生成的模版时的灵活性，这对于【图像】来说非常重要，因为很难相信这样的前提：图像是由N个不相关的独立原因构成的，其中N是输入图像的维度。
其他俩人1992年的研究表明，图像的平移和缩放对于超完备的编码（比如sparse coding），只造成平滑和少量的偏移。然而对于PCA搞出来的独立正交基，输入图像平移和缩放会带来很大改变，因而是很不利的。
下面将讨论如何选取这些基

用概率论的语言讲。
Our goal is to find a set of basis feature vectors such that the distribution of images is as close as possible to the empirical distribution of our input data .
使条件概率 接近经验得到的 。什么意思呢？
如果我们强制使P（ai）的概率分布复合右上图，即，使表征这些基函数的神经元的激活量大部分时间都在某个很小的值附近，极少远离这个值。
那么P（ | φ）就是神经网络按照这个概率分布推导出来的图片x的条件概率分布，这个值应该接近P*(x)，即经验观察到的图片的概率分布。

如果我们先指定了一个先验概率P(a)，根据模型，我们又天然知道P(x|a,φ)，那么

这其实是一句显而易见的废话

I就是这个，后面的v是个高斯分布的白噪音
因为这个噪音是正态分布的，指定某个特定的向量a后，P(I|a,φ)的概率分布服从

就是以∑aφ为平均值，σN（噪音的方差）为方差的正态分布。
如果基的集（basis set）是超完备的(overcomplete)，就会有无限种不同的向量a，可以对某张任意给定的图片进行解释，或者说图片有无数种表征方式。那么如果I是二维的（只有两个像素）它的分布如图a，是一个延直线（或N维的情况下是超平面）分布的高斯脊。

如果你看懂了7楼请无视此楼
P(I|a,φ)由两个像素的分布组成[P（I1|a1,φ1），P（I2|a2,φ2）]，由于存在无数种表征方式a1+a2的概率分布在某常数附近徘徊，导致a1*φ1+a2*φ2约等于某常数，即高斯分布核心的坐标点分散于直线x+y=k上。

再看b图，P(a)=πP(ai)，由于服从类似log(1+x^2)分布，如6楼右上图，某个P(ai)可能偏很多，但不可能大家一起偏，所有P(a)在各个维度上会有长尾。我们选择如下公式拟合，具体公式略。
有了这两个分布，我们就可以求出P(I,a|φ)，如7楼右上图。再把这个分布和P*(I)比较，方法为求这两个分布的相对熵（KL-divergence），就是某种cost function，两个概率分布差别越大，KL值越大。

logP(I|φ)的均值为什么等于右边？

我一直在想，基于概率的视觉原理解析是不是成立，因为从概率来说无限逼近1太难了，但是对我们的人眼来说长大了成像就几乎一看一个准
Stone的书还没看完，目前就这么一个想法...

我估计2020年左右诺贝尔生理学奖应该会颁给这俩人，以表彰他们发现了人类视觉、听觉、触觉、及语言理解方面的秘密。但我不认为他们会因为对人工智能的贡献而获图灵奖。

“sparse coding is not a general principle for finding statistically indipendent components in data, it only applies if the data acturally have sparse structure”

路过。

最喜欢看吧主的帖子，虽然大部分我都看不懂，但我想在未来某个时刻我会看懂的