GTC ON-DEMAND

 
SEARCH SESSIONS
SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

Artificial Intelligence and Deep Learning
Presentation
Media
PAI Blade ----通用推理优化工具
Abstract:
在本演讲中,会分享 PAI 团队过去一年多时间里在通用推理优化工具 Blade 上围绕 NVIDIA GPU 硬件的工作进展,包括模型优化、编译优化以及其他系统优化工作,并会结合一些业务案例来展示这些优化工作的成果。我们首先会分享模型结构驱动的优化方法论,基于这套方法论,会针对具体模型,结合底层 GPU 的硬件特性,为不同的计算 building block 选择合理的优化策略,从而使得上层业务模型和底层硬件之间建立更高效性能映射成为可能。基于选定的优化策略,会执行具体的优化实现细节,比如对于高频计算 pattern 会充分挖掘手工优化和底层计算库的性能极限,对于长尾计算 pattern 会基于编译优化技术来进行通用性打击覆盖,对于部分计算热点子图会通过模型压缩的方式来降低理论算力需求并通过系统优化进行配合以确保理论加速比和实际加速比之间的对齐。在优化技术之外同时会介绍在 Blade 开发布署过程中一些实际的工程相关经验,因为只有优化,欠缺了整体系统的考量,很可能会导致优化工作因为最后一公里不能真正在业务中发挥价值,并结合一些实际业务案例来展示完整的优化工作成果。
 
Topics:
Artificial Intelligence and Deep Learning
Type:
Talk
Event:
GTC China
Year:
2019
Session ID:
CN9992
Streaming:
Download:
Share: