社区编辑申请
注册/登录
数据科学必知必会:10个重要概念+22张图表含义
人工智能
本文中提到的重要概念都可以通过相关的图表进行表示。

01 偏差-方差权衡

这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法(包括深度学习)都努力在偏差和方差之间取得适当的平衡,这个图清楚地解释了二者的对立关系。

图片图片

02 基尼不纯度与熵

Gini(缺乏同质性的度量)和 Entropy(随机性的度量)都是决策树中节点不纯度的度量。

图片

图片图片

对于这两个概念更重要的是要了解它们之间的关系,以便能够在给定的场景中选择正确的指标。

基尼不纯度(系数)通常比熵更容易计算(因为熵涉及对数计算)。

03 精度与召回曲线

精度-召回曲线显示了不同阈值的精度和召回率之间的权衡。曲线下面积大代表高召回率和高精度,其中高精度与低误报率相关,高召回率与低误报率相关。

它可以帮助我们根据需要选择正确的阈值。例如,如果我们的目标是减少类型 1 错误,我们需要选择高精度,而如果我们的目标是最小化类型 2 错误,那么我们应该选择一个阈值,使得召回率很高。图片

  • 精度分母是一个变量:即假阳性(归类为阳性的负样本)每次都会变化。
  • 召回分母是一个常数:它代表真值的总数,因此将始终保持不变。

这就是为什么下图 Precision 在结束时有一个波动,而召回始终保持平稳的原因。

图片

04 ROC曲线

ROC 曲线是显示分类模型在所有分类阈值下的性能的图表。

这条曲线绘制了两个参数:

真阳性率
误报率

图片

此曲线下的面积(称为 AUC),也可用作性能指标。AUC 越高,模型越好。

图片

05 弯头曲线

用于K-means算法中最优簇数的选择。WCSS(簇内平方和)是给定簇中每个点与质心之间的平方距离之和。当我们用 K(簇数)值绘制 WCSS 时,该图看起来像一个肘部(弯头)。

随着聚类数量的增加,WCSS 值将开始下降。K = 1时WCSS值最大

图片

06三块地块

它帮助我们在对高维数据执行主成分分析后,可视化每个主成分解释的变异百分比。为了选择正确数量的主成分来考虑我们的模型,我们通常会绘制此图并选择能够为我们提供足够好的总体方差百分比的值。

图片图片图片

07线性和逻辑回归曲线

图片

对于线性可分数据,我们可以进行线性回归或逻辑回归,二者都可以作为决策边界曲线/线。但是,在逻辑回归的情况下,由于通常只有 2 个类别,因此具有线性直线决策边界可能不起作用,在一条直线上值从低到高非常均匀地上升,因为它不够陡峭在值突然上升后会得到很多临界的高值或者低值,最终会错误分类。因此,"边界"区域,即概率从高到低转变的区域并不真正存在。所以一般情况下会应用 sigmoid 变换将其转换为 sigmoid 曲线,该曲线在极端情况下是平滑的,在中间几乎是线性的。

图片

08支持向量机(几何理解)

图片

09标准正态分布规则(z-分布)

均值为0,标准差为1的特殊正态分布。图片

经验法则指出,按照正态分布观察到的数据中有 99.7% 位于平均值的 3 个标准差以内。根据该规则,68% 的数据在一个标准差内,95% 在两个标准差内,99.7% 在三个标准差内。10学生T分布T 分布(也称为学生 T 分布)是一系列分布,看起来几乎与正态分布曲线相同,只是更短和更宽/更胖。当我们有较小的样本时,我们使用 T分布而不是正态分布。样本量越大,t 分布越像正态分布。事实上,在 30 个样本之后,T 分布几乎与正态分布完全一样。

图片

总结

我们可能会遇到许多小而关键的概念,这些概念构成了我们做出决定或选择正确模型的基础。本文中提到的重要概念都可以通过相关的图表进行表示,这些概念是非常重要的,需要我们在看到其第一眼时就知道他的含义,如果你已经对上面的概念都掌握了,那么可以试试说明下图代表了什么:

图片

责任编辑:张燕妮 来源: 数仓宝贝库
相关推荐

2022-06-15 08:21:49

Linux运维工程师

2022-06-15 08:25:07

Python天气数据可视化分析

2022-06-16 17:02:49

微软智能云混合云Azure

2022-06-27 17:46:53

PythonFlask

2022-06-29 10:16:25

数据库SQL

2022-06-16 15:42:16

攻击面管理ASM

2022-06-22 05:53:49

城域网广域网VXLAN

2022-06-29 14:46:00

网络攻击数据泄露勒索软件

2022-06-23 12:03:00

网络安全网络安全事故

2022-06-16 07:32:38

VSCodePython插件

2022-06-20 13:34:46

漏洞网络攻击

2022-06-28 09:26:25

Python配置文件

2022-06-28 14:47:43

数据中心服务器科技

2022-06-30 10:56:18

字节云数据库存储

2022-06-29 09:43:14

SQL优化数据库

2022-06-29 16:33:52

安全信息泄露信息安全

2022-06-29 09:58:53

物联网供应链

2022-06-27 15:25:08

架构模型治理

2022-06-17 09:47:04

Linux命令

2022-06-15 16:16:21

分布式数据库鸿蒙

同话题下的热门内容

LeCun预言AGI:大模型和强化学习都是斜道!我的「世界模型」才是新路李飞飞划重点的「具身智能」,走到哪一步了?聊聊七个常见的智能汽车技术新出生的机器狗,打滚1小时后自己掌握走路,吴恩达大弟子成果华为发布两大昇腾计划 推动AI人才发展和科研创新自动驾驶的未来——4D毫米波雷达利用机器学习发起攻击的九种方式监督学习有哪些常见算法?都是如何应用的

编辑推荐

转转公司架构算法部孙玄:AI下的微服务架构Facebook开源相似性搜索类库Faiss,超越已知最快算法8.5倍运维:对不起,这锅,我们不背快消品图像识别丨无人店背后的商品识别技术最全面的百度NLP自然语言处理技术解析
我收藏的内容
点赞
收藏

51CTO技术栈公众号