Difference between revisions of "Projects:bdl ml algo"

From IIIS-Systems
Jump to: navigation, search
(Created page with "= 项目名称 = 针对大规模机器学习问题的分布式随机优化算法 = 项目介绍 = 大规模机器学习问题的特点通常表现为数据特别大,模...")
 
(项目进展)
Line 25: Line 25:
  
 
= 项目进展 =
 
= 项目进展 =
一篇* [https://arxiv.org/abs/1604.03763 paper]在投
+
一篇[https://arxiv.org/abs/1604.03763 paper]在投

Revision as of 16:41, 21 November 2016

项目名称

针对大规模机器学习问题的分布式随机优化算法

项目介绍

大规模机器学习问题的特点通常表现为数据特别大,模型维度特别高,因此在实际生产环境中,通常采用分布式处理技术来完成模型训练。由于数据量非常大,而传统的batch式方法(比如:梯度下降、L-BFGS等)每轮的计算需要遍历所有数据,故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中,由于节点间的通信开销大,简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。

本项目提出新的分布式随机优化算法(Distributed Dual Maximization Algorithm),并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。

参与人员

Shun Zheng

Fen Xia

Wei Xu

Tong Zhang

相关资料

项目进展

一篇paper在投