24小时热门版块排行榜

返回列表

AMiner抗疫

新虫 (初入文坛)

应助: 0 (幼儿园)
金币: 58.8
散金: 44
帖子: 30
在线: 7.1小时
虫号: 21363956
注册: 2020-03-05
专业: 计算机软件

[交流] 百里挑一：ICLR 2021杰出论文奖出炉！已有2人参与

百里挑一：ICLR 2021杰出论文奖出炉！

   北京时间 2021年4月1日，ICLR 2021 杰出论文新鲜出炉了！在本届 ICLR 上被接收的 860 篇高质量论文中，有 8 篇论文脱颖而出，被授予 ICLR 2021 杰出论文奖。

   本次杰出论文的评选过程极为严苛。首先，杰出论文讲评审委员会会根据论文被接收时的评审意见给出一个候选论文的清单；接着，杰出论文评审委员会会进一步对清单中的论文进行评审，专家们不仅需要评估论文的技术质量，还要评估论文可能产生的影响，这种影响包括引入新的研究视角、开启了令人激动的新研究方向，以及为解决重要的问题作出强有力的贡献。在经过了上述严格的评审过程后，最终确定了 8 篇排名最高的论文获得 ICLR 2021 杰出论文奖。

1.Beyond Fully-Connected Layers with Quaternions: Parameterization of Hypercomplex Multiplications with  1/n Parameters
【论文作者】Aston Zhang、Yi Tay、Shuai Zhang、Alvin Chan、Anh Tuan Luu、Siu Hui、Jie Fu

【机构】亚马逊 AWS、谷歌研究院、苏黎世联邦理工学院、南洋理工大学、Mila 实验室

【论文链接】https://www.aminer.cn/pub/6008327b9e795ed227f5310e/?conf=iclr2021

【论文摘要】近年来，一些研究说明了超复数空间中表征学习的成功。具体而言，带有四元数的全连接层（四元数即四维超复数）用四元数的汉密尔顿积替换了全连接层中的实值矩阵乘法，这种方法在仅仅使用 1/4 的可学习参数的情况下，在各种应用中实现了可与之前的方法相当的性能。

   然而，超复数空间只在少数预定义的维度上（四维、八维、十六维）存在，这限制了利用超复数乘法的模型的灵活性。为此，本文作者提出了一种对超复数乘法进行参数化的方法，使模型能够根据数据学习乘法规则，而无需考虑此类规则是否被预先定义。这样以来，本文提出的方法不仅引入了汉密尔顿积，而且还学会了在任意的 n 维超复数空间上运行。与对应的全连接层相比，本文提出的 PHM 层使用任意 1/n 的可学习参数，是实现了更大的架构灵活性。在实验中，本文作者在自然语言推理、机器翻译、文本风格迁移和主谓一致任务上将本文提出的 PHM 层用于 LSTM 和 Transformer 模型，验证了该方法的架构灵活性和有效性。

2.Complex Query Answering with Neural Link Predictors
【论文作者】Erik Arakelyan、 Daniel Daza、Pasquale Minervini、 Michael Cochez

【机构】伦敦大学学院、阿姆斯特丹自由大学、阿姆斯特丹大学、爱思唯尔 Discovery 实验室

【论文链接】https://www.aminer.cn/pub/5fa9175f91e011e83f7407f4/?conf=iclr2021

【代码链接】https://github.com/uclnlp/cqd

【论文摘要】神经链接预测器对于识别大规模知识图谱中的缺失边非常有用。然而，目前人们尚不清楚如何使用这些模型回答涉及多个域的更复杂的查询（例如，在考虑缺失边的情况下，处理使用逻辑合取 (∧)、析取 (∨) 、存在量词(∃

的查询）。

在本文中，作者提出了一种可以高效地回答不完整的知识图谱上的复杂查询的框架。本文作者将每个查询转换为端到端可微的目标，并使用预训练的神经链接预测器计算每个原子的真值。本文作者进一步分析了两种优化改变目标的解决方案（包括基于梯度的搜索和组合搜索。

实验结果表明，本文提出的方法在无需使用大规模、多样的查询集训练的情况下，取得了比目前最优的方法（使用数以百万计的生成的查询训练的「黑盒」神经模型）更高的准确率。在使用少了几个数量级的训练数据的情况下，本文提出的模型在包含事实信息的各种知识图谱上，获得了从 8% 到 40% 不等的 Hits@3 的相对性能提升。最后，本文作者指出，根据每个复杂查询原子的中间解，该模型的输出结果是可解释的。

3.EigenGame: PCA as a Nash Equilibrium
【论文作者】Ian Gemp、 Brian McWilliams、Claire Vernade、Thore Graepel

【机构】DeepMind

【论文链接】https://www.aminer.cn/pub/5f77013191e011f31b980711/?conf=iclr2021

【代码链接】https://github.com/uclnlp/cqd

【论文摘要】在本文中，作者提出了一种新颖的视角，将主成分分析（PCA）视为一种竞争博弈，其中每个近似特征向量由一个博弈参与者（player）控制，参与者的目标是最大化它们的效用函数。

本文作者分析了 PCA 博弈的特性以及基于梯度的更新行为的效果。最终，作者提出了一种算法，它将 Oja 学习规则中的元素与广义「克莱姆施密特」正交化结合起来，通过消息传递自然而然地实现了去中心化与并行化计算。通过在大规模图像数据集和神经网络激活上的实验，作者说明了该算法的可扩展性。作者指出，这种将 PCA 看做可微博弈的新视角将引发进一步的算法发展，并带来更深的理解。

更多论文信息，请移步AMiner-ICLR2021会议系统页面：https://www.aminer.cn/conf/iclr2021/papers

回复此楼