GTC ON-DEMAND

 
SEARCH SESSIONS
SEARCH SESSIONS

Search All
 
Refine Results:
 
Year(s)

SOCIAL MEDIA

EMAIL SUBSCRIPTION

 
 

GTC ON-DEMAND

Artificial Intelligence and Deep Learning
Presentation
Media
GPU 在联邦机器学习中的探索
Abstract:
联邦学习是基于隐私保护的机器学习方法。为了保证数据安全,联邦学习模型训练中需要进行同态计算和密文传输, 对算力和网络均有苛刻的需求,微众银行及其合作伙伴基于 GPU 异构计算和 GRDMA 做了多方探索。 同态计算是指数据在密文状态进行计算,密文长达 2048 位或更长,计算也不是单纯的加法、乘法,而是基于大数的模幂、模乘,相比常规运算慢 1-4个数量级。考虑到 GPU 具有相当大的并行能力,我们在多个数据甚至单个数据级进行并行计算,相对于 CPU 性能提升超过 6 倍。 密文传输是指加密数据通过网络在联邦学习的不同参与方之间进行同步。面对海量加密数据,低效的网络通信将严重制约训练效率。为了解决这一问题,我们使用 RDMA 网络来提升密文传输效率,并通过 GPUDirect RDMA 技术使得 GPU 做完加密计算后能够直接进行密文传输。由于极大地优化了密文传输的效率,我们的方法对比 TCP 最高有超过 75% 的整体训练效率提升。
 
Topics:
Artificial Intelligence and Deep Learning
Type:
Talk
Event:
GTC China
Year:
2019
Session ID:
CN9462
Streaming:
Download:
Share: