MIT博士生、北大校友,利用自监督算法,解决了数据集中这一常见的“难题”

新闻 大数据 算法
来自MIT的两名博士生杨宇喆和Zhi Xu,想到了一种新的解决方案,研究成果登上了NeurIPS 2020顶会。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

 训练模型时,你是否也遭遇过这样的“尴尬”时刻:

好不容易找到了自己想要的数据集,结果点进去一看,大部分样本都是一类物体。(例如,数据集标签「动物」,结果80%的样本都是「猫」)

用上面这个数据集训练的动物检测模型,可能只能识别「猫」。

这类数据不均衡(某一标签数量太多,其余标签数量太少)的问题,在机器学习中被称为“长尾问题”。

这个问题导致,数据集中(尤其是大型数据集)样本数量少的物体,泛化效果会非常差。

△像一条长长的尾巴

然而事实上,在一个数据集中,几乎总有常见和不常见的类别,其中不常见的类别,又往往成为需要被识别的目标。

例如,自动驾驶感知模型中,就要求AI能提前预测可能违规的情形,并及时阻止。

然而在自动驾驶数据集里,不可能全是肇祸、违规的场景(大部分场景还是安全的)。

那么,这些“不均衡”的数据集,就真的不能用了吗?

来自MIT的两名博士生杨宇喆和Zhi Xu,想到了一种新的解决方案,研究成果登上了NeurIPS 2020顶会。

一起来看看。

一些已有的解决办法

事实上,此前为了解决“不均衡”数据集,研究者们已经尝试过多种方法。

仅仅是主流算法,就分为七种:

重采样 (re-sampling):分为对少样本的过采样、及多样本的欠采样,但这2种方法,都有欠缺的地方。其中,过采样容易发生少样本过拟合,无法学习更鲁棒、易泛化的特征,在不平衡数据上表现较差;欠采样会造成多样本严重信息损失,导致发生欠拟合。

数据合成 (synthetic samples):生成和少样本相似的新数据。以SMOTE方法为例,对于任意选取的少类样本,它用K近邻选取相似样本,并通过对样本线性插值得到新样本。这里与mixup方法相似,因此,也有非均衡的mixup版本出现。

重加权 (re-weighting):为不同类别(甚至不同样本)分配不同的权重。其中,权重可以自适应。这一方法诞生出很多变种,如对类别数目的倒数进行加权、对“有效”样本数加权、对样本数优化分类间距的损失加权等等。

迁移学习 (transfer learning):对多类和少类样本分别建模,将学到的多类样本信息/表示/知识迁移给少类别使用。

度量学习 (metric learning):希望能学到更好的嵌入,以对少类附近的边界/边缘更好地建模。

元学习/域自适应 (meta learning/domain adaptation):分别对头、尾部数据进行不同处理,自适应地学习如何重加权,或是规划成域自适应问题。

解耦特征和分类器 (decoupling representation & classifier):研究发现,将特征学习和分类器学习解耦、将不平衡学习分为两个阶段,并在特征学习阶段正常采样、在分类器学习阶段平衡采样,可以带来更好的长尾学习效果。这是目前最优的长尾分类算法。

但这些,在样本极端失衡的情况下也没法用,如果真的只有几个样本,模型的性能差异就无法避免。

关键在于,究竟该怎么理解这里面的“不均衡”?

“不均衡”标签的内在价值

那些本身就不平衡的数据标签,会不会具有什么价值?

研究发现,这些不平衡的数据标签,就像是一把“双刃剑”。

一方面,这些标签提供了非常珍贵的监督信息。

在特定任务上,有监督学习通常比无监督学习的准确性更高,即使不平衡,标签也都具有“正面价值”。

但另一方面,标签的不平衡,会导致模型在训练过程中,被强加标签偏见 (label bias),从而在决策区域被主类别极大地影响。

研究者们认为,即使是不平衡标签,它的价值也可以被充分利用,并极大地提高模型分类的准确性。

如果能先“抛弃标签信息”,通过自监督预训练,让模型学习到好的起始表示形式,是否就能有效地提高分类准确性?

从半监督,到自监督预训练

作者们先对半监督下的不均衡学习进行了实验。

实验证明,利用无标记数据的半监督学习,能显著提高分类结果。

从图中可以看出,未标记数据,有助于建模更清晰的类边界,促成更好的类间分离。

这是因为,尾类样本所处区域数据密度低,在学习过程中,模型不能很好地对低密度区域进行建模,导致泛化性差。

而无标记数据,能有效提高低密度区域样本量,使得模型能对边界进行更好的建模。

然而,在一些很难利用半监督学习的极端情况下,仍然需要自监督学习出场。

这是因为,一旦自监督产生良好初始化,网络就可以从预训练任务中受益,学习到更通用的表示形式。

[[376121]]

而实验同样证明了这一点。

正常预训练的决策边界,很大程度上会被头类样本改变,导致尾类样本大量“泄漏”,无法很好地泛化。

而采用自监督预训练的话,学习到的样本保持清晰的分离效果,且能减少尾类样本泄漏。

也就是说,为了利用自监督克服标签偏见,在长尾学习的第一阶段,需要先放弃标签信息,进行自监督预训练。

此阶段后,可以使用任何标准训练方法,训练得到最终模型。(例如此前所用的迁移学习、重加权、域自适应……)

这样,就能更好地解决长尾问题。

作者介绍

论文一作杨宇喆,目前是MIT计算机科学的三年级博士生,本科毕业于北京大学。

[[376122]]

目前,杨宇喆的研究方向主要有两个:基于学习的无线感应技术,应用方向是医疗保健;机器学习,主要是针对机器学习和强化学习的鲁棒性进行研究。

论文二作Zhi Xu,本科毕业于伊利诺伊大学厄巴纳-香槟分校,同样是MIT的博士生,感兴趣的研究方向是机器学习理论和现代应用,目前主要在研究强化学习的稳定性、效率、结构和复杂度。

[[376123]]

论文地址:

https://arxiv.org/abs/2006.07529

项目地址:

https://github.com/YyzHarry/imbalanced-semi-self

论文解读@杨宇喆:

https://zhuanlan.zhihu.com/p/259710601

 

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2023-06-16 09:45:36

2019-12-23 08:50:13

AI 数据人工智能

2024-03-11 16:33:26

机器狗训练

2021-09-22 09:01:23

AI 数据机器学习

2023-07-03 10:34:13

2021-11-22 09:39:21

深度学习神经网络人工智能

2023-07-17 09:21:12

Meta模型

2024-02-19 14:03:38

数据训练

2023-07-31 09:54:12

2023-07-30 15:22:47

2022-04-08 07:54:40

人工智能核算结果Python

2021-04-09 14:59:15

技术研发指标

2024-01-02 09:30:13

模型AI

2020-08-24 14:25:02

AI 数据人工智能

2022-05-26 15:03:54

芯片技术

2021-11-08 10:01:04

AI 数据语言模型

2023-10-12 16:34:20

Firefox计时器应用

2014-06-23 10:26:23

Wi-Fi

2019-07-03 09:01:29

博士生顶会计算机

2023-10-16 12:31:17

人工智能数据
点赞
收藏

51CTO技术栈公众号