[LG]《Flowing Datasets with Wasserstein over Wasserstein Gradient Flows》C Bonet, C Vauthier, A Korba [ENSAE & Universite Paris-Saclay] (2025)
利用Wasserstein over Wasserstein (WoW) 距离，实现概率分布上概率分布的梯度流，为机器学习中的数据流动提供全新视角。
• 创新性地将标记数据集视为概率分布上的混合分布，进而定义WoW距离度量，建立空间的黎曼结构，实现数据集间的连续流动。
• 提出WoW梯度流的理论构建及其数值模拟，采用显式的欧拉前向离散化方案，兼顾理论严谨性与计算可行性。
• 设计基于Sliced-Wasserstein核的最大均值差异(MMD)函数，实现对概率分布的有效比较，支持多类分布间复杂交互。
• 应用于迁移学习和数据集蒸馏，实验证明通过WoW梯度流可实现不同类别间的结构化变换，提升模型迁移和小样本学习效果。
• 具备处理无限维空间分布的能力，拓展传统Wasserstein梯度流的应用边界，适应复杂数据表示和优化需求。
• 通过对多数据集如MNIST、Fashion-MNIST、CIFAR10等的实验，展示算法在保持类别结构的同时实现高效数据映射，提升下游任务表现。
心得：
1. 直接在概率分布上的概率分布空间中构建梯度流，避免了对条件分布的强高斯假设，更真实地捕捉数据分布形态。
2. 两层交互机制（类内与类间）引导样本粒子协同演化，体现出更丰富的数据结构调整能力，适合复杂任务如域适应和数据蒸馏。
3. 运用Sliced-Wasserstein核的MMD优化目标，既保证了计算的可控复杂度，又提升了对分布间差异的敏感度和表达能力。
详情🔗 openreview.net/forum?id=I1OHPb4zWo
机器学习最优传输概率分布梯度流迁移学习数据集蒸馏Wasserstein距离
