Projects:bdl ml algo

项目名称

针对大规模机器学习问题的分布式随机优化算法

项目介绍

大规模机器学习问题的特点通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。

本项目提出新的分布式随机优化算法（Distributed Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。

参与人员

Shun Zheng

Fen Xia

Wei Xu

Tong Zhang

相关资料

• 大规模经验风险最小化的现代优化方法-1
• 大规模经验风险最小化的现代优化方法-2

项目进展

一篇* paper在投