GTC ON-DEMAND

 
SEARCH SESSIONS
SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

Algorithms & Numerical Techniques
Presentation
Media
高阶信息如何加速神经网络训练?
Abstract:
随着机器学习的兴起和神经网络模型的广泛应用,如何利用 GPU 高效地训练神经网络使之收敛成为了非常重要的课题。本次演讲将围绕近年来炙手可热的自适应梯度优化算法包括 AdaGrad,Adam,理论上解构它们的基本性质,解释它们与高阶优化千丝万缕的联系。并且通过大规模工业场景下 NLP/CV 任务的 GPU 多卡实践对理论结果进行验证。除此之外,我们还将介绍如何在优化算法中利用高阶信息的同时平衡其迭代复杂度,为今后真正使高阶信息服务于神经网络训练提供直觉和理论保证。
 
Topics:
Algorithms & Numerical Techniques
Type:
Talk
Event:
GTC China
Year:
2020
Session ID:
CNS20896
Download:
Share: