Difference between revisions of "Projects:bdl ml algo"
From IIIS-Systems
(Created page with "= 项目名称 = 针对大规模机器学习问题的分布式随机优化算法 = 项目介绍 = 大规模机器学习问题的特点通常表现为数据特别大，模...") |
(→项目介绍) |
||
| (3 intermediate revisions by the same user not shown) | |||
| Line 5: | Line 5: | ||
= 项目介绍 = | = 项目介绍 = | ||
| − | + | 大规模机器学习通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。 | |
| − | 本项目提出新的分布式随机优化算法（Distributed Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。 | + | 本项目提出新的分布式随机优化算法（Distributed Alternating Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。 |
= 参与人员 = | = 参与人员 = | ||
| Line 21: | Line 21: | ||
= 相关资料 = | = 相关资料 = | ||
| − | * [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_I.pdf | + | * [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_I.pdf 大规模经验风险最小化问题的现代优化方法-1] |
| − | * [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_II.pdf | + | * [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_II.pdf 大规模经验风险最小化问题的现代优化方法-2] |
= 项目进展 = | = 项目进展 = | ||
| − | 一篇 | + | 一篇[https://arxiv.org/abs/1604.03763 paper]在投 |
Latest revision as of 10:11, 22 November 2016
项目名称
针对大规模机器学习问题的分布式随机优化算法
项目介绍
大规模机器学习通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。
本项目提出新的分布式随机优化算法（Distributed Alternating Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。
参与人员
Shun Zheng
Fen Xia
Wei Xu
Tong Zhang
相关资料
项目进展
一篇paper在投
