社区编辑申请
注册/登录
八个常见的机器学习算法的计算复杂度总结
人工智能 机器学习
计算的复杂度是一个特定算法在运行时所消耗的计算资源(时间和空间)的度量。

计算的复杂度是一个特定算法在运行时所消耗的计算资源(时间和空间)的度量。

计算复杂度又分为两类:

1、时间复杂度

时间复杂度不是测量一个算法或一段代码在某个机器或者条件下运行所花费的时间。时间复杂度一般指时间复杂性,时间复杂度是一个函数,它定性描述该算法的运行时间,允许我们在不运行它们的情况下比较不同的算法。例如,带有O(n)的算法总是比O(n²)表现得更好,因为它的增长率小于O(n²)。

2、空间复杂度

就像时间复杂度是一个函数一样,空间复杂度也是如此。 从概念上讲,它与时间复杂度相同,只需将时间替换为空间即可。 维基百科将空间复杂度定义为:

算法或计算机程序的空间复杂度是解决计算问题实例所需的存储空间量,以特征数量作为输入的函数。

下面我们整理了一些常见的机器学习算法的计算复杂度。

1、线性回归

  • n= 训练样本数,f = 特征数
  • 训练时间复杂度:O(f²n+f³)
  • 预测时间复杂度:O(f)
  • 运行时空间复杂度:O(f)

2、逻辑回归:

  • n= 训练样本数,f = 特征数
  • 训练时间复杂度:O(f*n)
  • 预测时间复杂度:O(f)
  • 运行时空间复杂度:O(f)

3、支持向量机:

  • n= 训练样本数,f = 特征数,s= 支持向量的数量
  • 训练时间复杂度:O(n²) 到 O(n³),训练时间复杂度因内核不同而不同。
  • 预测时间复杂度:O(f) 到 O(s*f):线性核是 O(f),RBF 和多项式是 O(s*f)
  • 运行时空间复杂度:O(s)

4、朴素贝叶斯:

  • n= 训练样本数,f = 特征数,c = 分类的类别数
  • 训练时间复杂度:O(n*f*c)
  • 预测时间复杂度:O(c*f)
  • 运行时空间复杂度:O(c*f)

5、决策树:

  • n= 训练样本数,f = 特征数,d = 树的深度,p = 节点数
  • 训练时间复杂度:O(n*log(n)*f)
  • 预测时间复杂度:O(d)
  • 运行时空间复杂度:O(p)

6、随机森林:

  • n= 训练样本数,f = 特征数,k = 树的数量,p=树中的节点数,d = 树的深度
  • 训练时间复杂度:O(n*log(n)*f*k)
  • 预测时间复杂度:O(d*k)
  • 运行时空间复杂度:O(p*k)

7、K近邻:

n= 训练样本数,f = 特征数,k= 近邻数

Brute:

  • 训练时间复杂度:O(1)
  • 预测时间复杂度:O(n*f+k*f)
  • 运行时空间复杂度:O(n*f)

kd-tree:

  • 训练时间复杂度:O(f*n*log(n))
  • 预测时间复杂度:O(k*log(n))
  • 运行时空间复杂度:O(n*f)

8、K-means 聚类:

  • n= 训练样本数,f = 特征数,k= 簇数,i = 迭代次数
  • 训练时间复杂度:O(n*f*k*i)
  • 运行时空间复杂度:O(n*f+k*f)
责任编辑:华轩 来源: 今日头条
相关推荐

2021-01-05 10:41:42

算法时间空间

2021-09-03 16:35:41

2020-10-15 07:13:53

算法监控数据

2022-03-17 17:08:05

机器学习算法类型

2020-07-28 08:06:24

2019-01-23 11:45:47

2020-03-20 11:22:09

人工智能机器学习技术

2021-03-10 14:21:33

人工智能机器学习算法

2016-11-15 15:02:00

机器学习算法

2020-02-25 07:00:54

谷歌Android技术

2021-01-18 05:33:08

机器学习前端算法

2020-11-16 11:56:57

机器学习技术工具

2014-06-17 09:55:24

2020-08-14 12:17:48

算法机器学习

2020-07-09 11:57:50

机器学习函数学习

2019-11-23 23:30:55

Python数据结构时间复杂性

2020-05-26 18:35:00

机器学习人工智能AI

2016-08-31 14:41:31

大数据实时分析算法分类

2019-04-29 12:48:29

机器学习算法程序员

2020-11-06 13:09:59

的机器学习

同话题下的热门内容

基于TensorFlow和QuestDB的时间序列预测人工智能(AI)、机器学习(ML)和深度学习(DL):有什么区别?机器学习中必学的四种交叉验证技术机器学习回归模型相关重要知识点总结一文综述「联邦图机器学习」,概念、技术、应用全都有探索AI在千行百业中的落地实践,AISummit《AI赋能产业实践》分论坛成功举办使用Scikit-lwarn的Imputer机器学习创造新的攻击面,需要专门的防御

编辑推荐

90%的码农即将失业,谷歌AI写的机器学习代码竟完爆程序员!使用TensorFlow构建LSTM模型详细教程深度学习和普通机器学习之间有何区别?一文读懂深度学习与机器学习的差异2018年值得关注的10种机器学习工具
我收藏的内容
点赞
收藏

51CTO技术栈公众号