微软开源用于Spark的深度学习库MMLSpark

人工智能 深度学习 Spark
微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

[[207730]]

微软开源了MMLSpark,用于Apache Spark的的深度学习库。MMLSpark可以与微软认知工具包和OpenCV完美整合。

微软发现,虽然SparkML可以建立可扩展的机器学习平台,绝大多数开发者的精力都耗在了调用底层API上。MMLSpark旨在简化PySpark中的重复性工作。

以UCI的成人收入普查数据集举例,使用其他项目预测收入:

 

如果直接使用SparkML,每一列都需要单独处理,整理为正确的数据类型;在MMLSpark中只需要两行代码:

  1. model = mmlspark.TrainClassifier(model=LogisticRegression(), labelCol=” income”).fit(trainData) 
  2.  
  3. predictions = model.transform(testData)  

深度神经网络(DNN)在图像识别和语音识别等领域不逊于人类,但是DNN模型的训练需要专业人员方可进行,与SparkML的整合也十分不易。MMLSpark提供了方便的Python API,可以方便地训练DNN算法。MMLSpark可以方便地使用现有模型进行分类任务、在分布式GPU节点上进行训练、以及使用OpenCV建立可扩展的图像处理管线。

以下3行代码可以从微软认知工具集中初始化一个DNN模型,从图像中抽取特征:

  1. cntkModel = CNTKModel().setInputCol(“images”).setOutputCol(“features”).setModelLocation(resnetModel).setOutputNode(“z.x”) 
  2.  
  3. featurizedImages = cntkModel.transform(imagesWithLabels).select([‘labels’,’features’]) 
  4.  
  5. model = TrainClassifier(model=LogisticRegression(),labelCol=”labels”).fit(featurizedImages)  

MMLSpark已经发布到Docker Hub上,使用下面的命令即可在单机部署:

  1. docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark 

MMLSpark使用MIT协议授权。

责任编辑:庞桂玉 来源: 36大数据
相关推荐

2017-01-11 16:36:51

Intel开源BigDL

2021-07-16 09:00:00

深度学习机器学习开发

2016-01-27 13:34:07

开源语音识别CNTK

2018-12-06 10:07:49

微软机器学习开源

2021-08-10 08:52:15

微软GCToolkit工具

2021-11-19 09:35:25

AI 程序员人工智能

2020-07-15 15:43:22

微软开源Python

2018-05-02 10:17:39

HPC深度学习容器

2019-09-18 09:05:26

微软开源Windows

2020-08-19 09:20:00

机器学习人工智能Python

2017-04-04 21:06:46

深度学习硬件神经网络

2020-09-04 12:07:43

DL

2017-08-10 15:31:57

Apache Spar TensorFlow

2018-07-11 11:27:26

人工智能深度学习机器学习

2020-09-07 22:34:25

Graviton数据库键值存储

2021-12-09 08:56:15

微软开源分析工具

2017-03-07 13:55:30

自动驾驶神经网络深度学习

2021-11-02 11:48:39

深度学习恶意软件观察

2017-11-08 14:26:54

深度学习排名

2019-07-17 09:59:46

JavaScriptJava机器学习
点赞
收藏

51CTO技术栈公众号