GTC ON-DEMAND

 
SEARCH SESSIONS
SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

Accelerated Data Science
Presentation
Media
CUDA Graph 在 TensorFlow 中的应用
Abstract:
介绍如何在 TensorFlow 中,利用 CUDA Graph,降低 Kernel Launch Overhead,提高 GPU 利用率,改善系统性能。在使用 TensorFlow 的过程中,通常会遇到这样的情形 – 模型中存在较多计算量小的操作(op),由于每个操作在执行过程中,会发生一或多次 Kernel Launch,导致 Launch Kernel 的 Overhead 变得非常显著,降低 GPU 利用率。 TF 在默认配置下,GPU 上的计算调度和 CPU 上的计算调度使用同一个线程池,导致同时存在相当数量的线程在进行 Kernel Launch,进一步加剧了 Launch Overhead 。针对这个问题,我们提出了使用 CUDA Graph 来降低 TF 中 Kernel Launch Overhead 的方法 – 将 Session Run 过程中的 Kernel Launch 合并成一次 CUDA Graph Launch,经过测试验证,该方法可以显著提高 TF 在 Inference 过程中 GPU 利用率,相比于图优化策略,该方法适用更多的计算图模式,同时也可以和图优化方法同时使用,进一步提升性能。
 
Topics:
Accelerated Data Science
Type:
Talk
Event:
GTC China
Year:
2020
Session ID:
CNS20732
Download:
Share: