社区编辑申请
注册/登录
无障碍出行更安全!字节跳动研究成果获CVPR2022 AVA竞赛冠军
新闻 算法
字节跳动CVPR2022 AVA竞赛夺冠,技术方案可提升自动驾驶无障碍检测。

近日,CVPR2022各项竞赛结果陆续公布, 字节跳动智能创作AI平台「Byte-IC-AutoML」团队在基于合成数据的实例分割挑战赛( Accessibility Vision and Autonomy Challenge ,下文简称AVA) 中,凭借自研的 Parallel Pre-trained Transformers (PPT) 框架脱颖而出,成为该比赛唯一赛道的冠军。

论文地址https://arxiv.org/abs/2206.10845

本届AVA竞赛由波士顿大学(Boston University)和卡耐基梅隆大学(Carnegie Mellon University)联合举办。

竞赛通过渲染引擎得到一个合成的实例分割数据集,其中包含与残疾行人交互的自治系统的数据样例。竞赛目标是为无障碍相关人与物提供目标检测和实例分割的基准和方法

数据集可视化


竞赛难点分析

  1. 领域泛化问题:本次比赛数据集均为渲染引擎合成的图像, 数据 domain 和自然图像存在显著差异;
  2. 长尾/少样本问题:数据存在长尾分布, 如 "拐杖" 和 "轮椅" 类别在数据集中更少, 分割效果也更差;
  3. 分割鲁棒性问题:些类别的分割效果非常差, 实例分割 mAP 比目标检测分割 mAP 低 30

技术方案详解

Byte-IC-AutoML团队提出了一个Parallel Pre-trained Transformers (PPT)框架来完成。框架主要由三个模块组成:1)并行的大规模预训练的Transformers;2)Balance Copy-Paste 数据增强;3)像素级别的非极大值抑制和模型融合;

并行大规模预训练Transformers

最近很多的预训练文章表明,大规模数据集预训练的模型可以很好地泛化到不同的下游场景中。因此,团队使用 COCO BigDetection 数据集先对模型进行预训练,这可以较大程度地缓解自然数据和合成数据之间的领域偏差,以便可以在下游的合成数据场景中用较少的样本快速训练。在模型层面, 考虑到 Vision Transformers 没有 CNN 的归纳偏置, 更能享受预训练带来的好处,团队使用 UniFormer CBNetV2。UniFormer 统一了 convolution 和 self-attention,同时解决 local redundancy 和 global dependency 两大问题,实现高效的特征学习。CBNetV2 架构串接多个相同的主干分组,这些主干通过复合连接来构建高性能检测器。模型的主干特征提取器都是 Swin Transformer。多个大规模预训练的 Transformers 通过并行的方式排列,输出的结果进行集成学习输出最终的结果。

不同方法在验证数据集上的mAP

Balance Copy-Paste 数据增强

Copy-Paste技术通过随机粘贴对象为实例分割模型提供了令人印象深刻的结果,尤其是对于长尾分布下的数据集。然而,这种方法均衡地增加了所有类别的样本,并没能从根本上缓解类别分布的长尾问题。因此,团队提出了Balance Copy-Paste 数据增强方法。Balance Copy-Paste 根据类别的有效数量自适应地对类别进行采样,提高了整体的样本质量,缓解了样本数少和长尾分布的问题, 最终大幅提升了模型在实例分割上的 mAP。

Balance Copy-Paste数据增强技术带来的提升

像素级别的非极大值抑制和模型融合

验证集上的模型融合消融实验

测试集上的模型融合消融实验

目前,城市和交通数据集更多的是通用场景, 只包含正常的交通工具和行人,数据集中缺乏关于残疾人及行动不便的人, 以及其辅助设备的类别,利用当前已有数据集得到的检测模型无法检测出这些人与物体。

字节跳动Byte-IC-AutoML团队的这项技术方案,对目前自动驾驶和街道场景理解有广泛应用:经过这些合成数据得到的模型可以识别出“轮椅”,“在轮椅上的人”,“拄拐杖的人”等少见的类别,不但能更加精细地对人群/物体进行划分, 而且不会错判误判导致场景理解错误。此外, 通过这种合成数据的方式, 可以构造出真实世界中比较少见类别的数据, 从而训练更加通用, 更加完善的目标检测模型。

智能创作是字节跳动的多媒体创新科技研究所和综合型服务商。覆盖了计算机视觉、图形学、语音、拍摄编辑、特效、客户端、AI平台、服务端工程等技术领域,在部门内部实现了前沿算法-工程系统-产品全链路的闭环,旨在以多种形式向公司内部各业务线以及外部合作客户提供业界最前沿的内容理解、内容创作、互动体验与消费的能力和行业解决方案。团队技术能力正通过火山引擎对外开放。

火山引擎是字节跳动旗下的云服务平台,将字节跳动快速发展过程中积累的增长方法、技术能力和工具开放给外部企业,提供云基础、视频与内容分发、大数据、人工智能、开发与运维等服务,帮助企业在数字化升级中实现持续增长。



责任编辑:黄显东
相关推荐

2022-06-15 08:25:07

Python天气数据可视化分析

2022-06-30 10:56:18

字节云数据库存储

2022-06-08 13:25:51

数据

2022-06-07 11:16:51

云原生人工智能运维

2022-05-23 13:30:48

数据胡实践

2022-06-22 05:53:49

城域网广域网VXLAN

2022-04-23 17:49:05

区块链元宇宙MetaCon

2022-06-09 18:04:46

网络攻击网络安全

2022-06-27 07:32:00

2022-06-23 14:03:26

混合ITCIOIT管理工具

2022-06-07 11:01:56

人工智能AI技术大会

2022-06-28 14:47:43

数据中心服务器科技

2022-06-16 11:33:57

物联网区块链科技

2022-06-09 09:27:16

前端行业生存

2022-05-09 15:08:56

存储厂商NFV领域华为

2022-06-14 15:28:37

数据库存储系统变革趋势

2022-06-17 09:08:27

代码Python内置库

2022-06-15 10:30:07

数据中心5G蜂窝网络

2022-06-06 10:20:59

CPUCPU 使用率CPU 负载

2022-06-23 06:43:55

异常数据上报异常监控sdk阿波罗移动端

同话题下的热门内容

LeCun预言AGI:大模型和强化学习都是斜道!我的「世界模型」才是新路月活 12.8 亿的微信,海量请求下是如何防止崩溃的?裁员真能拯救中国互联网?编写完10万行代码,我发了篇长文吐槽Rust李飞飞划重点的「具身智能」,走到哪一步了?都怪二维码,造就了网友们的社死现场...聊聊七个常见的智能汽车技术新出生的机器狗,打滚1小时后自己掌握走路,吴恩达大弟子成果

编辑推荐

斩获BAT技术专家Offer,他到底经历了什么?支付宝即将下线收款业务:2018年1月1日起正式执行,网友炸锅了!我活着从柬埔寨技术“魔窟”逃出来了…甲骨文云平台全面升级,助力客户稳步上云一文看懂Java收费 附可替换方案!
我收藏的内容
点赞
收藏

51CTO技术栈公众号