Projects:bdl ml algo - Revision history

Zhengshun: /* 项目介绍 */

2016-11-22T02:11:40Z

‎项目介绍

Zhengshun: /* 项目介绍 */

2016-11-21T08:42:28Z

‎项目介绍

Zhengshun: /* 相关资料 */

2016-11-21T08:41:51Z

‎相关资料

Zhengshun: /* 项目进展 */

2016-11-21T08:41:11Z

‎项目进展

Zhengshun: Created page with "= 项目名称 = 针对大规模机器学习问题的分布式随机优化算法 = 项目介绍 = 大规模机器学习问题的特点通常表现为数据特别大，模..."

2016-11-21T08:40:45Z

Created page with "= 项目名称 = 针对大规模机器学习问题的分布式随机优化算法 = 项目介绍 = 大规模机器学习问题的特点通常表现为数据特别大，模..."

New page

= 项目名称 =

针对大规模机器学习问题的分布式随机优化算法

= 项目介绍 =

大规模机器学习问题的特点通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。

本项目提出新的分布式随机优化算法（Distributed Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。

= 参与人员 =

Shun Zheng

Fen Xia

Wei Xu

Tong Zhang

= 相关资料 =

* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_I.pdf 大规模经验风险最小化的现代优化方法-1]
* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_II.pdf 大规模经验风险最小化的现代优化方法-2]

= 项目进展 =
一篇* [https://arxiv.org/abs/1604.03763 paper]在投

@@ Line 7: / Line 7: @@
 大规模机器学习通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。
-本项目提出新的分布式随机优化算法（Distributed Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。
+本项目提出新的分布式随机优化算法（Distributed Alternating Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。
 = 参与人员 =

← Older revision		Revision as of 08:41, 21 November 2016
Line 25:		Line 25:

	= 项目进展 =		= 项目进展 =
−	一篇* [https://arxiv.org/abs/1604.03763 paper]在投	+	一篇[https://arxiv.org/abs/1604.03763 paper]在投

@@ Line 5: / Line 5: @@
 = 项目介绍 =
-大规模机器学习问题的特点通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。
+大规模机器学习通常表现为数据特别大，模型维度特别高，因此在实际生产环境中，通常采用分布式处理技术来完成模型训练。由于数据量非常大，而传统的batch式方法（比如：梯度下降、L-BFGS等）每轮的计算需要遍历所有数据，故其每轮的计算开销成为算法的性能瓶颈。然而在分布式环境中，由于节点间的通信开销大，简单的应用随机梯度下降方法却无法保证收敛的精度和通信的高效。
 本项目提出新的分布式随机优化算法（Distributed Dual Maximization Algorithm），并在公开数据集及百度的凤巢、网盟、春华等业务线数据上验证。

@@ Line 21: / Line 21: @@
 = 相关资料 =
-* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_I.pdf 大规模经验风险最小化的现代优化方法-1]
+* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_I.pdf 大规模经验风险最小化问题的现代优化方法-1]
-* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_II.pdf 大规模经验风险最小化的现代优化方法-2]
+* [http://icml.cc/2015/tutorials/2015_ICML_ConvexOptimization_II.pdf 大规模经验风险最小化问题的现代优化方法-2]
 = 项目进展 =
 一篇[https://arxiv.org/abs/1604.03763 paper]在投