尤佳轩,图表示法及其实例化的概念,图结构都有所不同

2020-08-03 22:51    来源:互联网    编辑:小优    浏览量:156

机器之心编译参与:小舟、杜伟神经网络的图结构和预测性能之间有怎样的关系?近日,斯坦福尤佳轩、Jure Leskovec 联合 FAIR 何恺明、Saining Xie 等人的论文提出了一种神经网络的新

机器之心编译

参与:小舟、杜伟

神经网络的图结构和预测性能之间有怎样的关系?近日,斯坦福尤佳轩、Jure Leskovec 联合 FAIR 何恺明、Saining Xie 等人的论文提出了一种神经网络的新型的图表示法。该表示法有助于对神经网络的架构和预测性能有更深层的理解。这篇论文已经被 ICML 2020 收录。

神经网络通常用神经元之间的连接图来表示。尽管神经网络被广泛使用,但目前对神经网络图结构与其预测性能之间关系的理解却非常少。

近日,在斯坦福联合 FAIR 提出的一项研究中,研究者地探讨了神经网络图结构对其预测性能的影响,并提出了一种新的基于图的神经网络表示,他们称之为 relational 图。其中,神经网络计算层按照图结构与信息交换的轮数(rounds)对应。

论文一作为斯坦福大学计算机科学系博士三年级学生尤佳轩(Jiaxuan You)其导师为斯坦福大学计算机科学副教授、Pinterest 首席科学家 Jure Leskovec。

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图1)

总的来说,这项研究有以下几大亮点:

relational 图的最佳区域(sweet spot)在于能够大大提升神经网络的预测性能。

神经网络的预测性近似为 relational 图的聚类系数和平均路径长度的平滑函数。

该研究的结果在许多不同的任务和数据集上是一致的。

relational 图的最佳区域能够得到高效地确定。

性能顶级的神经网络具有与真实生物神经网络相似的图结构。

为神经网络的架构设计与理解提供了一种新方向。

接下来我们来看这篇论文的具体内容。

为了探索神经网络的图结构,研究者首先提出了 relational 图表示法及其实例化的概念,并演示了该表示方法如何在一个统一的框架下发现各种神经网络的架构。在深度学习环境中用图作为语言是一个不错的选择,这将为后续的研究奠定基础。

研究者从图的角度重新审视神经网络的定义,他们定义了图 G = (V, ε)其中节点集 V = {v_1, ..., v_n},边集 E ⊆ {(v_i , v_j )v_i , v_j ∈ V}。该研究假设每个节点 v 都有一个节点特征标量(或向量)x_v。

当图 G 与神经元之间的交换联系起来时,它就被称为 relational 图。具体而言,交换通过一个函数和一个聚合函数来定义,其中函数的输入是节点特征,输出;聚合函数的输入是集,输出是更新后的节点特征。

在每轮交换中,每个节点向它的相邻点传递并聚合从所有相邻点传入的。每条在边上通过函数 f传递,通过聚合函数 AGG在每个节点聚合。

假设进行 R 轮交换,那么节点 v 的第 r 轮交换可表示为:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图2)

需要注意的一点是,这种定义交换的方式适用于任何图。为了简单起见,该论文中仅考虑无向图。公式 1 提供了交换的通用定义。

下表 1 则给出了该通用交换定义在几种神经架构中的实例化结果:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图3)

表 1:用 relational 图语言表达的几种神经架构。

固宽 MLP 的 relational 图

多层感知器(MLP)由多层计算单元(神经元)组成,其中每个神经元对标量输入(scalar input)和输出执行加权求和,进行一些非线性处理。

假设 MLP 的第 r 层将 X^(r)作为输入,将 X^(r+1)作为输出,那么神经元的计算方式如下:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图4)

下图给出了将 4 节点 relational 图为 4 层 65 维 MLP 的实例:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图5)

此外,考虑一种特殊情况,所有层的输入和输出 x^(r) (1 ≤ r ≤ R)都有相同的特征维数。在这种情况下,一个固定宽度的全连接 MLP 层能用一张完全 relational 图表达,其中每个节点 x_i 和其他所有节点 {x_1,...,x_n} 都相连。

另外,固定宽度的全连接 MLP 层有特殊的交换定义,其中函数是

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图6)

聚合函数是

这些讨论表明,固定宽度的 MLP 可以被视为具有特殊交换函数的完全 relational 图。因此,固定宽度的 MLP 是一般模型族中的一种特例,它对应的函数、聚合函数以及 relation 图结构都有所不同。

基于此,研究者能够使用完全 relational 图以及任何通用 relational 图 G 来泛化固定宽度的 MLP。基于公式 1 中交换的通用定义,得出以下公式 3:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图7)

通用神经网络的 relational 图

上文公式 3 中的图视点奠定了将固定宽度的 MLP 表示为 relational 图的基础。接下来,研究者探讨了如何进一步将 relational 图泛化为通用神经网络。

宽度可变的 MLP 作为 relational 图

通用神经网络有一个要考虑的关键点是整个网络中层的宽度不一。所以,为了用可变的层宽表示神经网络,研究者用 CONCAT 方法将节点特征从标量 x^(r)_i 扩展为向量 X^(r)_i,即

并且将函数 f_i 从标量乘法泛化至矩阵乘法。

卷积神经网络(CNN)的 relational 图

研究者进一步将 relational 图的应用泛化至卷积神经网络上,其中输入变成了图像张量 X^(r)同样用到了 CONCAT 方法,并使用卷积运算符泛化了交换定义:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图8)

其中 * 代表卷积运算符,W^(r)_ij 表示卷积滤波器。

现代神经架构的 relational 图

最后,研究者又将 relational 图泛化至设计更复杂的现代神经架构。比如,为了表示 ResNet,他们保持层之间的残差连接不变。

实验结果

在实验部分,研究者首先探讨了 CIFAR-10 数据集上 MLP 的图结构,又进一步研究了 ImageNet 数据集上更大更复杂的分类任务。对于所有的架构,该研究均使用上表 1 中概述的相应定义将每个采样的 relational 图实例化。

具体而言,对于 CIFAR-10 MLP 实验,研究者研究了 3942 张 64 节点的采样 relational 图。而对于 ImageNet 实验,由于计算成本高,他们从 3942 张图中均匀地采集子样本 52 张图。

对于不同任务和架构上所有采样的 relational 图,研究者收集 top-1 误差,记录每个样本图的图指标(graph measure)并将这些结果显示为图指标与预测性能的热图,如下图 4 所示:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图9)

主要实验结果。严格控制所有实验的计算预算,每个可视化结果平均至少 3 个随机种子。右下角的 C=1,L=1 的完全图作为基线。图中红色矩形突出显示了最佳区域。

值得注意的是,研究者发现性能最佳的图倾向于在 C 和 L(图 4(f)中的红色矩形区域)定义的空间中聚类出最佳区域。具体而言,研究者按照以下步骤确定最佳区域:

对图 4(a)中的 3942 张图进行下采样并将其聚合为 52 个 bin 的粗粒度区域,其中每个 bin 记录对应区域图的性能。

找出平均性能最佳的 bin(图 4(f)中的红叉)

对每个 bin 做单尾 t - 检验,与性能最佳的 bin 进行对比,并将没有比性能最佳的 bin 差很多(p 值 0.05 为阈值)的 bin 记录下来。覆盖这些 bin 的面积最小的矩形被视为最佳区域。

在下图 5(左)中,研究者计算了使用全部 3942 张图和使用子样本 52 张图计算的 52bin 值之间的相关性,图 5(右)计算了子样本 52 张 relational 图中,部分训练模型的验证 top-1 误差和完全训练 100 epoch 模型的验证 top-1 误差之间的相关性:

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图10)

目前,研究者将 relational 图表示用作结构先验(structural prior)也就是说,在整个训练过程中,他们将图结构硬连接(hard-wire)在神经网络上。

尤佳轩,图表示法及其实例化的概念,图结构都有所不同(图11)

最后,该研究表明,网络科学、神经科学等其他理科学科中完善的图技术和方法有助于理解和设计深度神经网络。研究者认为,在未来需要解决更复杂场景任务的研究中,这可能是一种卓有成效的发展方向。

Amazon SageMaker 是一项完全托管的服务,可以帮助人员和数据科学家快速构建、训练和部署机器学习 模型。SageMaker完全消除了机器学习过程中每个步骤的繁重工作,让高质量模型变得更加轻松。

本文相关词条概念解析:

神经网络

人工神经网络(ArtificialNeuralNetwork,即ANN),是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

延伸 · 推荐

为何基努,里维斯变身成为金刚狼的概念图,许多看到了这幅艺术图的人都表示

谁不喜欢基努·里维斯呢?基努·里维斯不仅是一个充满了魅力和人气的男明星,他也是好莱坞最著名的男明星之一。对于许多基努·里维斯的粉丝来说,我们当中的许多人都希望他能够加入漫威宇宙,扮演超级英雄。对于基努...

相关资讯

相关评论

推荐阅读

潮水退去,微导科技不具竞争优势

潮水退去,微导科技不具竞争优势
毫无疑问,半导体板块是这一轮2018年10月-2020年7月的阶段牛市中的涨幅之星,但正因为如此,回想当初2015年牛市的互联网金融板块,在股价严重脱离基本面支撑往后,该板块龙头东方财富(300059
09-22

张琳芃啊,难道是觉得比赛这样踢不过瘾

张琳芃啊,难道是觉得比赛这样踢不过瘾
在北京时间9月21日,中超联赛,大连赛区第12轮,广州恒大VS河南建业。最终这场比赛,广州恒大2比1战胜了河南建业,全取三分,稳坐积分榜头名的位置。广州恒大第一个进球来自艾克森,他是通过点球罚进。这也
09-22

长沙一男子在拍违停时,律师,但职业拍客应予以限制

长沙一男子在拍违停时,律师,但职业拍客应予以限制
实际上,有奖拍违虽能有效遏制交通违法,也引起了一些争议。有市民质疑此举催生了一批“职业拍客”举报动机就是牟利。对此,行政法律师付光强建议,有关职能部门在保护举报人合法权益的同时,也应根据举报频次、举报
09-22

佳云科技,副总经理,董事会秘书曾理先生的书面辞职报告,朱宏磊接任

佳云科技,副总经理,董事会秘书曾理先生的书面辞职报告,朱宏磊接任
每经AI快讯,佳云科技(SZ 300242,收盘价:6.96元)9月22日晚间发布公告称,广东佳兆业佳云科技股份有限公司董事会于近日收到公司副总经理、董事会秘书曾理先生的书面辞职报告,曾理先生因个人原
09-22

人工智能是如何成为“智商检测器”的?

人工智能是如何成为“智商检测器”的?
在5G没有取代4G之前,也许一切有关AI未来的畅想都只是空谈。可残酷的现实是,5G的成本难题让各大科技自媒体的乐观估计“5G已来”成为无法广泛商用的延迟满足。2020年9月8日,围棋界的奥林匹克运动会
09-22

他们将出现在这场关键对决中,赢球稳保前四,鲁能不容有失

他们将出现在这场关键对决中,赢球稳保前四,鲁能不容有失
接下来,鲁能将迎来最关键赛程。发齐鲁晚报·齐鲁壹点记者 季禹联赛至今,鲁能收获过令人欣喜的连胜,也遭遇了备受质疑的连败,但恐怕目前为止没有一场比赛比下一轮比赛更为重要。9月21日,中超第12轮,山东鲁
09-22

朗多的发球技术,浓眉的绝杀球正式来自朗多的助攻,网友,周琦却传了个让队友接起来极其不舒服的球

朗多的发球技术,浓眉的绝杀球正式来自朗多的助攻,网友,周琦却传了个让队友接起来极其不舒服的球
北京时间9月21日,NBA西部决赛迎来了第二场的较量,本场比赛还是延续了上场比赛的节奏,湖人队上半场就取得了10分的领先优势,正当球迷觉得湖人队又将会是一场大胜的时候,顽强的掘金队在最多落后16分的情
09-22

为何基努,里维斯变身成为金刚狼的概念图,许多看到了这幅艺术图的人都表示

为何基努,里维斯变身成为金刚狼的概念图,许多看到了这幅艺术图的人都表示
谁不喜欢基努·里维斯呢?基努·里维斯不仅是一个充满了魅力和人气的男明星,他也是好莱坞最著名的男明星之一。对于许多基努·里维斯的粉丝来说,我们当中的许多人都希望他能够加入漫威宇宙,扮演超级英雄。对于基努
04-18

被拉入黑名单的食物,那就是加了甲醛的,你却浑然不知

被拉入黑名单的食物,那就是加了甲醛的,你却浑然不知
随着社会的发展,人们生活水平的逐渐提升,大家在各方面都表现得越来越重视了,尤其是在饮食方面,都要考虑到营养和健不健康的问题,虽说社会的发展是好了,但近年来一些病毒入侵人类身体的例子也是越来越多了,都把
09-22

海底捞还通过推出新品牌,切换赛道抢夺高频小生意

海底捞还通过推出新品牌,切换赛道抢夺高频小生意
新京报讯(记者 欧阳晓娟)海底捞近日又有了新动作。有称,海底捞新推出了“饭饭林”和“秦小贤”两个新品牌。9月22日,海底捞回应新京报记者称,“饭饭林”与“秦小贤”均为内部员工尝试的创业项目,主打盖浇饭
09-22

热点资讯

精彩推荐

热门美图

网站地图

wingming.com.cn 永明资讯站