社区编辑申请
注册/登录
如何正确拆分数据集?常见的三种方法总结
人工智能 机器学习
拥有适当的验证策略是成功创建良好预测,使用AI模型的业务价值的第一步,本文中就整理出一些常见的数据拆分策略。

将数据集分解为训练集,可以帮助我们了解模型,这对于模型如何推广到新的看不见数据非常重要。 如果模型过度拟合可能无法很好地概括新的看不见的数据。因此也无法做出良好的预测。

拥有适当的验证策略是成功创建良好预测,使用AI模型的业务价值的第一步,本文中就整理出一些常见的数据拆分策略。

简单的训练、测试拆分

将数据集分为训练和验证2个部分,并以80%的训练和20%的验证。 可以使用Scikit的随机采样来执行此操作。

如何正确拆分数据集?常见的三种方法总结

首先需要固定随机种子,否则无法比较获得相同的数据拆分,在调试时无法获得结果的复现。 如果数据集很小,则不能保证验证拆分可以与训练拆分不相关。如果数据不平衡,也无法获得相同的拆分比例。

所以简单的拆分只能帮助我们开发和调试,真正的训练还不够完善,所以下面这些拆分方法可以帮助u我们结束这些问题。

K折交叉验证

将数据集拆分为k个分区。 在下面的图像中,数据集分为5个分区。

如何正确拆分数据集?常见的三种方法总结

选择一个分区作为验证数据集,而其他分区则是训练数据集。这样将在每组不同的分区上训练模型。

最后,将最终获得K个不同的模型,后面推理预测时使用集成的方法将这些模型一同使用。

K通常设置为[3,5,7,10,20]

如果要检查模型性能低偏差,则使用较高的K [20]。如果要构建用于变量选择的模型,则使用低k [3,5],模型将具有较低的方差。

优点:

  • 通过平均模型预测,可以提高从相同分布中提取的未见数据的模型性能。
  • 这是一种广泛使用的来获取良好的生产模型的方法。
  • 可以使用不同的集成技术可以为数据集中的每个数据创建预测,并且利用这些预测进行模型的改善,这被称为OOF(out- fold prediction)。

问题:

  • 如果有不平衡的数据集,请使用Stratified-kFold。
  • 如果在所有数据集上重新训练一个模型,那么就不能将其性能与使用k-Fold进行训练的任何模型进行比较。因为这个的模型是在k-1上训练的,不是对整个数据集。

Stratified-kFold

可以保留每折中不同类之间的比率。如果数据集不平衡,例如Class1有10个示例,并且Class2有100个示例。 Stratified-kFold创建的每个折中分类的比率都与原始数据集相同

这个想法类似于K折的交叉验证,但是每个折叠的比率与原始数据集相同。

如何正确拆分数据集?常见的三种方法总结

每种分折中都可以保留类之间的初始比率。如果您的数据集很大,K折的交叉验证也可能会保留比例,但是这个是随机的,而Stratified-kFold是确定的,并且可以用于小数据集。

Bootstrap和Subsampling

Bootstrap和Subsampling类似于K-Fold交叉验证,但它们没有固定的折。它从数据集中随机选取一些数据,并使用其他数据作为验证并重复n次

Bootstrap=交替抽样,这个我们在以前的文章中有详细的介绍。

什么时候使用他呢?bootstrap和Subsamlping只能在评估度量误差的标准误差较大的情况下使用。这可能是由于数据集中的异常值造成的。

总结

通常在机器学习中,使用k折交叉验证作为开始,如果数据集不平衡则使用Stratified-kFold,如果异常值较多可以使用Bootstrap或者其他方法进行数据分折改进。

责任编辑:华轩 来源: 今日头条
相关推荐

2022-06-05 21:09:47

Python办公自动化

2022-06-20 22:37:25

Linux操作系统命令

2022-06-15 08:21:49

Linux运维工程师

2022-06-15 08:25:07

Python天气数据可视化分析

2022-06-14 23:34:10

Linux安全服务器

2022-06-21 21:47:13

数据系统

2022-06-28 09:26:25

Python配置文件

2022-06-16 17:02:49

微软智能云混合云Azure

2022-06-16 15:42:16

攻击面管理ASM

2022-06-29 14:46:00

网络攻击数据泄露勒索软件

2022-05-30 16:42:20

数据中心

2022-06-29 10:16:25

数据库SQL

2022-06-28 14:01:42

MITOpenAI预训练模型

2022-06-22 05:53:49

城域网广域网VXLAN

2022-06-15 11:51:14

Vue3开发避坑

2022-06-30 10:56:18

字节云数据库存储

2022-06-27 15:25:08

架构模型治理

2022-06-27 23:44:37

云原生云存储云计算

2022-06-02 07:13:12

Python3.11编程语言

2022-05-17 09:14:50

聚类算法python

同话题下的热门内容

利用机器学习发起攻击的九种方式年中盘点:2022年炙手可热的十家数据科学和机器学习初创公司你睡觉时大脑真在自动学习!首个人类实验证据:加速1-4倍重放研究发现机器学习存在后门问题从机器学习中受益最大的四个行业在机器学习的工具箱里,藏着六种重要的算法一行代码加速sklearn运算上千倍

编辑推荐

90%的码农即将失业,谷歌AI写的机器学习代码竟完爆程序员!使用TensorFlow构建LSTM模型详细教程深度学习和普通机器学习之间有何区别?一文读懂深度学习与机器学习的差异2018年值得关注的10种机器学习工具
我收藏的内容
点赞
收藏

51CTO技术栈公众号