社区编辑申请
注册/登录
阿里创新知识蒸馏方法,论文入选顶会CVPR 2022口头报告
云计算
6月23日消息,阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法,在多个计算机视觉基准测试中,显著提升算法性能,超越业界最优方法。相关论文已被顶会CVPR 2022收录为口头报告(Oral)。该技术集成于达摩院自动驾驶算法库,未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。

6月23日消息,阿里巴巴达摩院自动驾驶实验室创新知识蒸馏方法,在多个计算机视觉基准测试中,显著提升算法性能,超越业界最优方法。相关论文已被顶会CVPR 2022收录为口头报告(Oral)。该技术集成于达摩院自动驾驶算法库,未来有望应用于末端物流无人车“小蛮驴”和自动驾驶卡车“大蛮驴”。

知识蒸馏是一种模型压缩/模型训练方法,指将训练好的大模型(教师模型)的知识“蒸馏”提取到有待训练的小模型(学生模型)中,让小模型获得与大模型相当的泛化能力。大模型往往体积较大、部署成本高,小模型灵活小巧,能够最大限度降低对计算资源的消耗。

CVPR 2022官网的论文分享

知识蒸馏是业界和学界的热门研究课题。达摩院论文Knowledge Distillation via the Target-aware Transformer指出,以往的知识蒸馏方法,大多以一对一的空间匹配方式,将教师模型的特征提取到学生模型。但由于结构差异,大小模型在同一空间位置上的语义信息通常是不同的,这极大削弱了一对一蒸馏方法的基本假设。

论文提出一种新的基于transformer的一对多空间匹配方法,将教师模型特征的每个像素提取到学生模型特征的所有空间位置,通过参数相关性来衡量以学生特征和教师特征的表征成分为条件的语义距离,并对这种相关性进行建模。

在ImageNet、Pascal VOC和COCOS-tuff10k等基准测试中,新方法表现出色。如,针对ImageNet数据集的图像分类任务,基于同一个学生模型(tiny ResNet18),新方法将模型的top-1准确率从70.04%提高到72.41%,显著高于之前最优蒸馏方法的71.61%。;针对COCO-Stuff10k上的语义分割任务,新方法将mobilenetv2结构的mIoU提高1.75%。

达摩院研发的物流无人车小蛮驴现已配送订单超过1000万

知识蒸馏方法广泛应用于知识迁移、半监督学习、计算机视觉等下游算法。自动驾驶技术团队更关注其对线上模型性能的提升,让小模型也能起大作用,论文作者于开丞介绍,“自动驾驶是个超级AI系统,每天都要处理海量的图像、点云信息,算法性能关系到终端产品的智能性、安全性、可靠性,可以说,是工业实践推动着技术创新。”

据悉,达摩院研发的L4级自动驾驶产品小蛮驴现已落地超过500辆,在学校、社区等末端场景配送订单超过1000万。达摩院已启动面向干线物流的无人卡车“大蛮驴”的研发。

责任编辑:赵立京 来源: 阿里云
相关推荐

2022-06-05 21:09:47

Python办公自动化

2022-05-20 15:28:25

3D算法

2022-05-10 14:11:05

网络安全网络犯罪

2022-05-27 10:00:06

C++游戏引擎

2022-06-23 12:03:00

网络安全网络安全事故

2022-06-28 14:01:42

MITOpenAI预训练模型

2022-06-28 08:37:07

分布式服务器WebSocket

2022-04-21 10:01:48

VMware

2022-06-20 18:10:49

盛业ESG

2022-06-07 14:31:09

K8S网络模型容器网络

2022-06-17 12:10:07

RPA机器人流程自动化

2022-06-16 09:22:28

图数据库图数据数据库

2022-06-16 15:46:58

钱大妈云原生Flink

2022-05-11 14:54:02

输入法框架鸿蒙

2022-06-15 18:57:43

人工智能

2022-06-10 17:37:37

数据库

2022-05-06 16:31:27

人工智能自然语言生物特征识别

2022-06-21 19:51:10

数字藏品

2022-06-15 14:40:54

英特尔漏洞

2022-06-04 14:43:31

Windows 10出厂设置重装

同话题下的热门内容

监控Kubernetes的最佳实践、工具和方法探讨一下云原生带来的收益和陷阱过去五年,PolarDB云原生数据库是如何进行性能优化的?平台即代码的未来是Kubernetes扩展做大做强云计算市场须立足实际浅析边缘计算的四种类型2022 年会是您采用多云的一年吗?如何扩展Kubernetes API?

编辑推荐

一文让你看懂IaaS、PaaS和SaaS看完小白也能懂什么是公有云、私有云、混合云陌陌基于K8s和Docker容器管理平台的架构实践科技公司创始人谈MySQL的未来AWS公布AWS媒体服务家族,专为完整视频工作流提供支持
我收藏的内容
点赞
收藏

51CTO技术栈公众号