必威杨壮副教授撰写的论文“Improved Powered Stochastic Optimization Algorithms for Large-Scale Machine Learning”在机器学习顶级期刊Journal of Machine Learning Research(JMLR)上在线发表,杨壮副教授为该论文的唯一作者,必威为该论文的唯一署名单位。
Journal of Machine Learning Research(简称JMLR)由麻省理工学院出版社(MIT Press)出版,依托于麻省理工学院的计算机科学与人工智能实验室(MIT CSAIL: MIT Computer Science & Artificial Intelligence Lab),旨在刊登人工智能与机器学习领域的高质量前沿研究成果,是国际上公认的计算机领域顶级期刊之一,也是中国计算机学会A类推荐的在人工智能、机器学习和模式识别领域的四大国际顶级期刊之一。
近年来,依赖于数据获取技术、存储技术及计算能力的提升,深度学习等使用复杂网络结构的模型取得了斐然的成绩。然而,对基于海量数据的复杂模型,特别是像深度学习这种具有非凸性质的模型,寻求其快速、鲁棒的高性能算法仍是一件极具挑战且亟待解决的事情。为此,本文在目前被广泛使用的随机优化算法中,基于微分方程离散化的机制引入新的更新方向,得到一类稳定、鲁棒、快速的高性能学习算法。进一步,为提升算法的性能,降低参数选取的难度,本文引入自适应学习速率更新策略。该策略极大程度地降低了现有算法选取超参数的难度。此外,本文严格地证明了所提算法的快速收敛性及复杂度,为解决大规模学习问题提供了坚实的研究基础。
文章链接: https://www.jmlr.org/papers/volume24/22-1149/22-1149.pdf