围观腾讯 AI Lab 的4篇 ICML 入选论文 | ICML 2017

本篇文章2151字，读完约5分钟

Icml是世界上最好的机器学习会议之一。与nips一起，ICML是在机器学习和人工智能研究领域有很大影响的两个主要会议。今年的icml将于8月6日至11日在澳大利亚悉尼举行，届时雷锋的人工智能技术评论也将现场报道。

作为中国著名的人工智能研究机构，腾讯人工智能实验室今年也为icml评选出了四篇论文。《雷人工智能科技评论》(公开号:雷)对这四篇论文作了如下简要介绍。

具有稀疏性的高效分布式学习“高效分布式稀疏学习”

作者:王、(芝加哥大学)、姆拉登·科拉尔(芝加哥大学)、内森·斯雷布罗(丰田芝加哥理工学院)、(腾讯人工智能实验室)

简介:本文介绍了一种新颖高效的分布式稀疏学习方法，该方法可以将数据随机分布在多台计算机上进行学习。在所提出的方法的每一轮中，从属工作计算机将根据其上的数据计算损耗梯度，并且总计算机将解决偏移l1正则化损耗最小化问题。可以证明，经过一定的周期数后，这种分布式方法的估计误差可以达到集中计算的同等水平，而且周期数只与计算机数的对数成正比，与问题中的其他参数无关。

纸张地址:ai.Tencent/ailab/media/publications/icml3-%E7% 8e % 8b % E4 % BD % B3 % E7 % a3 % 8a.pdf。

网络中的无投影分布式在线学习“无投影网络中的在线分布式学习”

作者:张(清华大学计算机科学系)，赵(人工智能系，蚂蚁金融服务)，(清华大学计算机科学系，ieee，aaas，spie研究员，千人计划教授)，(新加坡大学信息系统学院)，(腾讯ai实验室)

简介:条件梯度算法因其在处理大规模机器学习问题时的高效性，近年来再次成为热门话题。然而，目前的研究还没有考虑在线分布式环境下的算法性能，在这种情况下，局部计算量很小。本文提出了在线分布条件下的条件梯度算法，通过应用简单得多的线性优化步骤，避免了算法副本中的高成本投影运算，填补了空·怀特的这项研究。作者在提出的算法中增加了一个约束边界，它是网络大小和拓扑的函数。对于更小的图或连通性更好的图，该边界将更小。基于两个真实大规模数据集的多类分类任务实验表明了该算法的计算优势，验证了理论约束。

纸张地址:ai.Tencent/ailab/media/publications/icml-%E5% BC % A0 % E6 % 96% 87% E9 % B9 % 8f.pdf。

多项非光滑凸组合优化的高斯-赛德尔算子分裂算法

作者:沈力(腾讯爱实验室)、刘伟(腾讯爱实验室)、甘兆元(中山大学)、马士谦(香港中文大学)

引言:本文介绍了一种快速高斯-塞德尔算子分裂(gsos)算法，用于解决许多非光滑凸组合优化问题。该算法可广泛应用于机器学习、信号处理和统计等领域。该算法继承了Gauss-Saidel算法的优点，加快了优化过程，并借助计算分裂技术降低了计算复杂度。此外，作者还开发了一种新技术来建立gsos算法的全局收敛性。具体来说，作者首先利用算子优化理论重构了gsos的迭代过程，使其成为两步迭代算法。然后，基于这种两步迭代算法重构，建立了gsos的收敛性。最后，作者应用这种gsos算法解决了重叠群套索和图形引导的厚套索问题。数值实验表明，该算法比现有的最佳方法更有效。

纸张地址:ai.Tencent/ailab/media/publications/icml1-%E6% B2 % 88% E5 % 8a % 9b-% E5 % 88% 98% E5 % A8 % 81.pdf。

通过同时进行特征和样本约简来扩大稀疏支持向量机的规模“同时减少了特征和样本的数量，并增加了稀疏支持向量机的规模”

作者:张卫中(浙江大学计算机系)、洪斌(密歇根大学)、刘炜(腾讯ai实验室)、叶杰平(密歇根大学)、邓才(浙江大学计算机系)、何晓飞(浙江大学计算机系)、王杰(密歇根大学)

简介:稀疏支持向量机是一种常用的分类方法，它可以学习少量的解释性特征，同时找到支持向量。该方法在许多实际应用中取得了良好的效果。然而，在样本量大、特征维数高的大规模问题中，稀疏支持向量机仍然是一个难题。作者注意到稀疏svm将导致特征空和样本空之间的稀疏性，因此提出了一种新的方法，该方法基于原始和双优化svm的精确估计，然后找到能够确定输出的支持向量和样本。这样，作者可以从训练过程中去除发现的无效样本和特征，从而在不降低准确率的情况下显著减少内存占用和计算成本。据作者所知，该方法是稀疏支持向量机的第一种统计特征和样本约简方法。实验基于生成的真实数据集(真实数据集，如包含约2000万个样本和3000万个特征的kddb数据集)进行。结果表明，与现有方法相比，该方法有了明显的改进，速度提高了几个数量级。

纸张地址:ai.Tencent/ailab/media/publications/icml2-%E5% BC % A0 % E5 % 8d % ab % E5 % BF % a0.pdf。

Icml 2017即将开幕，雷锋的人工智能技术回顾会将现场报道。cvpr 2017和acl 2017的精彩内容仍在继续，请关注我们。

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。