注册 / 登录

基于CPU的深度学习推理部署优化实践

分会场:  人工智能/AI驱动/AI实践

 

案例来源 :

案例讲师

张磊

爱奇艺 技术产品中心计算云团队助理研究员

现就职于爱奇艺技术产品中心计算云团队担任助理研究员,负责云平台上深度学习应用的优化落地方案。加入爱奇艺之前在英特尔亚太研发有限公司担任图形软件工程师,负责底层软件设计和实现,对CPU,GPU 上应用性能分析和优化有丰富的经验。

扫描二维码分享案例

 

案例简述

 

该案例分享介绍如何利用平台的 CPU 计算资源实现深度学习的优化部署,并满足应用的实时性需求的方案。方案通过封装 Intel VINO SDK 提供的基于 CPU 的深度学习加速软件,结合 tensorflow serving,完成深度学习算法在云端部署的自动化和服务化,并提升深度学习的推理性能,满足业务需求。该案例实现了上千核的深度学习推理应用部署,解决了大量算法部署对 GPU 的依赖。

 

案例目标

 

在工程实践中,GPU 资源经常处于短缺状态,无法满足业务部门的算法和应用的部署需求。该案例提出借助云平台大量的 CPU 资源,实现深度学习应用的部署和优化,达到满足深度学习业务需求和云平台资源充分利用的目的。

 

成功(或教训)要点

 

1)深度学习应用在 CPU 上的加速和优化
2)深度学习应用的自动化转换和部署

 

案例ROI分析

 

通过 VINO 的加速,实现 CPU 上深度学习推理性能2-10 倍以上的提升,完成了上千核的深度学习应用部署落地,解决了 GPU 资源的依赖和稀缺问题。

 

案例启示

 

1)既有资源的充分利用;
2)异构计算的支持;
3)以用户为中心的运维部署;
4) 优化无止境

 

案例在团队中的意义

 

随着人工智能技术在多媒体领域的广泛应用, 深度学习算法的部署对计算平台资源的需求也在飞速增长。如何提高深度学习应用部署效率,降低云平台运行成本,成为云计算公司和互联网公司需要解决的问题。

 

领取大会PPT

我要参会

大会全套演讲PPT

立即领取

大会即将开幕,点击抢票!

我要参会