不忘初心,坚守几何

2024-06-27 176浏览

2018年的跨年夜,回首倏忽而逝的一年,百感交集,一言难尽,可能*为贴切的概括是"跌宕起伏,波诡云谲"。老顾的团队依然坚守学术,用几何的观点来探讨研究计算机科学、医学图像、机械工程方面的问题,特别是将流形观点、*优传输理论和深度学习相结合,来解释对抗生成网络模型。

几何观点下的深度学习

我们认为自然数据满足如下的两个假设:1)流形分布律:人们关心的一类数据(如人脸图像)满足特定的概率分布,可以用概率分布来刻画。这一概率分布,集中在高维数据背景空间中的低维流形附近(人脸图像的概率分布集中在低维流形附近);2)聚类分布律:同一数据中的不同子类,对应于流形上不同的概率分布;并且这些概率分布之间的距离足够远,使得这些子类可以被区分。

深度学习的核心任务包括两个:1)学习流形结构:即用各种方式来隐含表达流形到隐空间(特征空间)的编码映射,和从隐空间到图像空间的解码映射;2)概率分布变换:在特征空间或者图像空间中,计算两种概率分布之间的距离,和两种概率分布之间的变换。

*优传输理论是一门几何、概率论和偏微分方程交叉的领域,专门研究如何定义概率分布之间的距离,所谓Wasserstein距离,和如何构造概率分布之间的几何变换,即所谓的*优传输映射。从几何观点来看,*优传输理论等价于经典的Minkowski问题和Alexandrov问题,即如何从给定的高斯曲率来构造凸几何曲面;从偏微分方程角度来看,等价于经典的蒙日-安培方程。凸几何中的Alexandrov理论和*优传输中的Brenier理论本质上是等价的。

从*优传输理论的观点来看,1)对抗生成网络中的生成器本质上是在计算*优传输映射;判别器本质上是在计算Wasserstein距离;2)Brenier理论揭示了这两个计算任务之间的等价性,从生成器的解可以解析地写出判别器的解。由此,我们可以设计出更为简洁高效的网络结构;3)*优传输映射有可能非连续,因此实践中会出现模式坍塌(Mode Collapse)问题。

基于*优传输观点,特别是几何上的Alexandrov途径,我们设计了新颖的生成模型,进行了初步试验。这里的几何算法可以用硬件加速。详细的讨论请见【1】,深度学习和几何(演讲提要),深度学习的几何观点(1) - 流形分布定律,深度学习的几何理解(2) - 学习能力的上限,深度学习的几何理解(3) - 概率变换的几何观点。

图1. 生成的人脸图像,基于*优传输理论的生成模型。

离散曲率流

黎曼度量是整个现代几何的基石,绝大多数工程和医疗的实际问题都和黎曼度量有着本质的关系。因此,黎曼度量的构造方法具有根本的重要性。Ricci曲率流是一种非常强有力的方法,它将黎曼度量进行形变,形变速率和当前曲率成正比,曲率的演化满足扩散-反应方程,*终弥散成常数。Ricci流的直接推广可以用来根据曲率来设计黎曼度量,非常优雅而实用。

曲面Ricci流理论可以推出经典的曲面单值化定理:任何封闭、带有黎曼度量的曲面都可以共形的变换成三种常曲率曲面中的一种:单位球面、欧式曲面或者双曲曲面。

图2. 曲面单值化定理。

但是,经典的Ricci流方法是基于二阶光滑的流形结构,在计算机上所有的流形都是用零阶的离散形式加以逼近,Ricci流方法无法直接应用。因此,我们将建立离散曲面的Ricci流理论和算法作为主要目标,进行了长期的研究工作。我们大概花了两三年建立了算法,应用于计算机科学的诸多领域;又花费了十数年,证明了离散Ricci流解的存在性,**性,收敛性等理论问题。对于工程领域而言,后期更为艰苦的理论证明是不必要的,即便做出也无法在工程领域发表。从这个角度而言,这种“十年磨一剑”的迂腐没有任何意义,同样的精力可以发表数十篇工程领域的论文,而非仅仅两篇纯数学论文。但是,我们认为从长远来看,为离散曲面Ricci流建立严格而坚实的理论基础是必需的,只有如此才能保证这一套理论和算法放之四海而皆准,才能超越当前时代具有恒久价值,才能超越自身小团体的狭隘融入人类知识宝库之中。这一点和目前流行的商业价值观念背道而驰,但却是学者本应具有的操守。经过四年的审稿,*终离散单值化定理的论文发表在微分几何期刊上【2】【3】。

近期,我们又介绍了各种离散曲率流的算法,并应用于计算机图形学领域【4】。未来,离散三流形的Ricci流理论和算法是我们长远的目标。

*优传输映射

计算曲面或者几何体之间的微分同胚(光滑双射)是几乎所有工程、医疗领域的核心问题之一。我们希望能够计算得到*优的微分同胚,使得几何的畸变达到*小。

几何畸变可以分成两类:局部形状的畸变和局部面积元的畸变。如果使得局部形状被保持,即映射局部是相似变换,但是相似比逐点不同,所得的映射是共形映射(conformal mapping),由共形几何理论来研究;如果使得面积元被保持,则所得映射为*优传输映射,由*优传输理论来刻画。

图2. 共形变换。

图3.*优传输变换。

我们建立了离散*优传输映射的计算方法,将求解蒙日-安培方程归结为凸优化问题,与经典的计算几何方法相结合,给出了实用稳定的算法。*优传输理论可以严格控制曲面面积元和几何实体的体积元,可以用于医学图像领域中作为体视放大镜,详情请见体视放大镜—医学图像中的*优传输,这一工作获得China Graph2018的*佳论文奖【5】。

图4.脊椎体数据的放大。

Brenier*分解理论断言:任何一个微分同胚可以分解为一个*优传输映射和一个保体积映射,如图5所示,从(a)到(c)是一个共形变换,保持角度不变,(b)是这一映射中保面积映射,每一个棋盘格被扭曲变形,但是其面积不变。我们给出了映射的*分解算法【6】。

图5. 映射的*分解。

曲面叶状结构理论

叶状结构是拓扑中的重要概念,直观上叶状结构将曲面分解成曲线的集合,局部具有直积结构。在设计大师扎哈·哈迪德(Zaha Hadid)的建筑设计中,叶状结构被用得出神入化,请见解构“解构主义大师”扎哈·哈迪德。

图6. 哈迪德设计的Soho银河,基于曲面叶状结构。

曲面上的叶状结构被分成Whitehead等价类,每一个等价类中都存在**的一个调和叶状结构,调和叶状结构和黎曼面的全纯二次微分等价。曲面上所有的全纯二次微分成群,我们发明一种变分法来计算全纯二次微分:在Whitehead类中优化调和能量。