GTC ON-DEMAND

 
SEARCH SESSIONS
SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

Artificial Intelligence and Deep Learning
Presentation
Media
基于 TensorFlow 的 Transformer 模型应用与优化
Abstract:
基于tensorflow的inference优化:通过定制特定维度的高效kernel, 循环不变结点外体,融合op,调整超参数等方法在保持模型精度不变的情况下,提高模型运行速度。 基于tensorflow的transformer模型在mace的适配:通过萃取训练,训练高精度小模型以适用于移动端;通过简化op,拆分encoder,decoder等方法以适配mace框架。 基于tensorflow的模拟局部量化训练:量化推理可有效的降低内存使用率,提升运行速度,然而直接将fp32的数值映射到int8会有精度损失,我们在训练阶段,采用模拟量化训练减小精度损失。因为数值计算稳定性的问题,仅在部分op上采用量化。 基于tensorflow的混合精度训练:为提高训练速度,充分利用tensorcore等资源,我们在tensorflow上引入了amp,在精度不变的情况下,有1.6倍的速度提升。
 
Topics:
Artificial Intelligence and Deep Learning
Type:
Talk
Event:
GTC China
Year:
2019
Session ID:
CN9432
Streaming:
Download:
Share: