Wasserstein距离 和 Lipschitz连续

Fly

Time: 2017-5-31

---

前言

由于最近要看Wasserstein GAN 和 LS-GAN，前者用到了 Earth-Mover距离（Wasserstein）,后者假定了Lipschitz连续。所以就打算把这两者的概念搞清楚一下。以此作为笔记。

Wasserstein Distance

Wasserstein距离又叫Earth-Mover距离(EM距离，推土距离)，Earth Mover’s Distance (EMD)，和欧式距离一样，它们都是一种距离度量的定义、可以用来测量某两个分布之间的距离,定义：

距离

是

和

分布组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布

，可以从中采样

得到一个样本x和y，并计算出这对样本的距离

，所以可以计算该联合分布

下，样本对距离的期望值

。在所有可能的联合分布中能够对这个期望值取到的下界

就是Wasserstein距离。

直观上可以把理解为在γ这个路径规划下把土堆 挪到土堆所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。

根据Kantorovich-Rubinstein对偶原理，可以得到Wasserstein距离的等价形式：

距离

在EM距离中当两个为向量时，使用欧几里得距离计算, 当为概率时，使用KL距离来就算两者间的距离。

具体详细的的内容请参看[1] [2]两篇文章

图

Lipschitz

Lipschitz（利普希茨）连续定义[3]：

有函数 ，如果存在一个常量，使得对定义域上（可为实数也可以为复数）的任意两个值满足如下条件：

那么称函数满足Lipschitz连续条件，并称K为的Lipschitz常数。

Lipschitz连续比一致连续要强。它限制了函数的局部变动幅度不能超过某常量。

reference

[1]

[2]

[3]