SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

HPC and Supercomputing
Presentation
Media
利用混和精度訓練神經網路
Abstract:
NVIDIA Volta GPU 導入的 Tensor Core 可透過 IEEE 半精度輸入提供高達 125 TeraFLOPS,讓混合精度訓練提供遠高於單精度的速度提升。我們將提供三項混合精度訓練的基本技巧說明:損耗縮放、精通權重及因應指定運算選擇適當精度。這些技巧都能達到與單精度網路相同的一定模型精度,且不會改變超級參數或訓練排程。最後,我們將解釋如何為您的網路啟用 Tensor Core 、如何確保 Tensor Core 使用及我們將透過圖例顯示以上所有項目,藉助簡單卻不失完備的方式說明 PyTorch 的功能範例。
 
Topics:
HPC and Supercomputing
Type:
Talk
Event:
GTC Taiwan
Year:
2018
Session ID:
STW8021
Streaming:
Download:
Share: