用Madlib学习『机器学习』之KNN

原创
人工智能 机器学习
本文介绍用Madlib学习『机器学习』之KNN。机器学习(ML)分为:监督学习,无监督学习,半监督学习等。

前言

机器学习(ML)分为:监督学习,无监督学习,半监督学习等。

1.1 监督学习(supervised learning)

监督学习是训练神经网络和决策树的常见技术,高度依赖事先确定的分类系统给出的信息,对于神经网络,分类系统利用信息判断网络的错误,然后不断调整网络参数。对于决策树,分类系统用它来判断哪些属性提供了最多的信息。

从给定的训练数据集中学习出一个函数,当新的数据到来时,可以根据这个函数预测结果。

监督学习的训练集要求包括输入输出,也可以说是特征和目标,训练集中的目标是由人标注的。

常见的有监督学习算法:回归分析和统计分类,最典型的算法是KNN和SVM。

有监督学习最常见的就是:regression & classification

Regression:Y是实数向量,回归问题,就是拟合(x,y)的一条曲线,使得价值函数(cost function) L最小。

Classification:Y是一个有穷数(finite number),可以看做类标号,分类问题首先要给定有label的数据训练分类器,故属于有监督学习过程,分类过程中cost function l(X,Y)是X属于类Y的概率的负对数。

其中fi(X)=P(Y=i/X)。

有监督学习方法必须要有训练集与测试样本,在训练集中找规律,而对测试样本使用这种规律。

有监督学习的方法就是识别事物,识别的结果表现在给待识别数据加上了标签,因此训练样本集必须由带标签的样本组成。

1.2 名词KNN

k-Nearest Neighbors

在一个给定的数据点上找出k个最近的数据点,在分类的情况下输出输出类的多数投票值,以及在回归情况下目标值的平均值。

撸袖子

2.1 新新相映

软件是基于***的postgresql 10.0加上***的madlib 1.12。

为了操作方便,我这里使用基于docker的ubuntu 16.04安装madlib,这样以后就可以拿着这个镜像到处嗨了,以下操作就是在MAC里面进行的。

2.2 查看madlib版本

  1. #select madlib.version();

2.3 导入训练数据

 

  1. DROP TABLE IF EXISTS knn_train_data; 
  2. CREATE TABLE knn_train_data ( 
  3.                     id integer,  
  4.                     data integer[],  
  5.                     label float 
  6.                     ); 

 

 

  1. INSERT INTO knn_train_data VALUES 
  2. (1, '{1,1}', 1.0), 
  3. (2, '{2,2}', 1.0), 
  4. (3, '{3,3}', 1.0), 
  5. (4, '{4,4}', 1.0), 
  6. (5, '{4,5}', 1.0), 
  7. (6, '{20,50}', 0.0), 
  8. (7, '{10,31}', 0.0), 
  9. (8, '{81,13}', 0.0), 
  10. (9, '{1,111}', 0.0);
  1. SELECT * from knn_train_data ORDER BY id; 

2.4 导入测试数据

 

  1. DROP TABLE IF EXISTS knn_test_data; 
  2. CREATE TABLE knn_test_data ( 
  3.                     id integer,  
  4.                     data integer[] 
  5.                     ); 

 

 

  1. INSERT INTO knn_test_data VALUES 
  2. (1'{2,1}'), 
  3. (2'{2,6}'), 
  4. (3'{15,40}'), 
  5. (4'{12,1}'), 
  6. (5'{2,90}'), 
  7. (6'{50,45}');
  1. SELECT * from knn_test_data ORDER BY id; 

2.5 分类训练

 

  1. SELECT * FROM madlib.knn( 
  2.                 'knn_train_data',      -- 训练数据表名 
  3.                 'data',                -- 训练数据所在列 
  4.                 'label',               -- 训练标签 
  5.                 'knn_test_data',       -- 测试数据表名 
  6.                 'data',                -- 测试数据所在列 
  7.                 'id',                  -- 测试数据列名id 
  8.                 'madlib_knn_result_classification',  -- 结果输出 
  9.                 'c',                   -- 分类 
  10.                  3                     -- 最近相邻数 
  11.                 );               

 

2.6 查看分类输出结果

  1. SELECT * from madlib_knn_result_classification ORDER BY id; 

图形化示例:

2.7 进行回归

 

  1. DROP TABLE IF EXISTS madlib_knn_result_regression; 
  2. SELECT * FROM madlib.knn( 
  3.                 'knn_train_data',      -- 训练数据表名 
  4.                 'data',                -- 训练数据所在列 
  5.                 'label',               -- 训练标签 
  6.                 'knn_test_data',       -- 测试数据表名 
  7.                 'data',                -- 测试数据所在列 
  8.                 'id',                  -- 测试数据列名id 
  9.                 'madlib_knn_result_regression',  --结果输出 
  10.                 'r',                   -- 回归 
  11.                  3                     -- 最近相邻数 
  12.                 ); 

 

2.8 查看回归输出结果

 

  1. SELECT * from madlib_knn_result_regression ORDER BY id; 

图形化示例:

小结

postgresql提供了对结构化数据的存储和加工的便捷,madlib提供了ML算法的支持,强强联手,相得益彰。

【作者简介】孙辉,DataHunter技术总监。曾在索尼等知名公司任职,先后担任过系统架构、技术总监等职位,负责过尚邮,索爱中文输入法,快牙,mPush(魔推)等知名产品研发。拥有15年深厚IT技术行业经验,熟悉掌控产品研发各个环节,有丰富的后端、前端、运维、DBA、测试经验。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

责任编辑:王雪燕 来源: 51CTO
相关推荐

2020-11-06 09:00:00

机器学习集成学习人工智能

2021-07-29 13:06:29

Python机器学习编程语言

2018-03-15 11:50:53

机器学习入门Tensorflow

2022-08-09 13:44:37

机器学习PySpark M数据分析

2017-09-01 13:19:21

机器学习Logostic回归

2017-07-25 12:09:10

机器学习预测性维护模型

2022-09-06 08:00:00

机器学习金融数据科学

2023-03-30 11:38:56

机器学习逻辑规则数量

2021-08-23 11:15:20

Python机器学习bilibili

2021-08-21 14:30:58

机器学习bilibili股价

2021-04-21 10:47:48

机器学习逻辑回归

2017-04-11 12:05:07

机器学习python矩阵运算

2017-10-09 12:55:29

机器学习KaggleStacking

2022-04-19 09:00:00

机器学习数据质量人工智能

2021-04-12 10:46:15

人工智能机器学习

2021-03-15 11:35:28

人工智能机器学习

2020-12-16 15:56:26

机器学习人工智能Python

2015-04-14 10:40:31

云计算机器学习

2019-08-05 13:20:50

LogreducePython机器学习

2022-01-18 09:21:17

Python机器学习黄金价格
点赞
收藏

51CTO技术栈公众号