社区编辑申请
注册/登录
是时候给AI减负了,Python五大AI库推荐
人工智能
以下这五大Python库可帮助加快数据管道,例如,使用AWS Lambda可对计算量较大的作业进行碎片处理,使用TensorFlow模型可减轻TensorFlow的负载。

机器学习是件令人兴奋的事,但一系列工作是复杂和困难的。作为一名开发人员,要学习的工具实在是太多太杂了。幸运的是,Python是一种广泛应用于大数据和机器学习各类工具上的语言,使用范围极广。机器学习通常涉及大量手动提升的工作,组装工作流和管道、设置数据源以及在内部和云部署的资源之间来回分流。以下这五大Python库可帮助加快数据管道,例如,使用AWS Lambda可对计算量较大的作业进行碎片处理,使用TensorFlow模型可减轻TensorFlow的负载。

PyWren

一个具有强大前提的简单包,PyWren允许将基于Python运行的科学计算工作负载作为AWS Lambda函数的多个实例。The New Stack中项目的配置文件描述了PyWren使用AWS Lambda作为并行处理系统,主要处理不需要消耗大量内存或存储的小项目。

PyWren的一个缺点是lambda函数最多不能运行超过300秒。如果你的工作只需要几分钟,在数据集上运行几千次,PyWren可能是一个很好的选择,它能够以在用户硬件上不可用的规模平行化云端工作。

Tfdeploy

谷歌的TensorFlow框架在机器学习领域脱颖而出,现在已经有一个完整的1.0版本了。用户经常面临一个问题:如何在不使用TensorFlow本身的情况下,利用TensorFlow训练模型呢?

Tfdeploy是这个问题的部分答案。它将一个训练有素的TensorFlow模型导出为“一个简单的基于NumPy的可调用模型”,意味着该模型可以在Python中使用Tfdeploy和NumPy数学和统计库作为唯一依赖。在TensorFlow中可以执行的大多数操作也可以在Tfdeploy中执行,可以通过标准Python隐喻方式(例如重载类)来扩展库行为。

坏消息是:Tfdeploy不支持GPU加速,如果使用NumPy可克服这一点就好了。Tfdeploy的创建者建议使用gNumPy项目作为可能的替代品。

Luigi

批量处理通常只是数据堆处理的一部分,而且还必须将所有任务串在一起成为类似工作流程的东西。Luigi由Spotify创建,定位于“解决运行批处理过程相关的所有管道问题”。

使用Luigi,开发人员可以采取几个不同的、与数据处理不相关的任务——Hive查询,Java中的Hadoop任务,Scala中的Spark任务,从数据库中转储表——并创建一个端到端运行它们的工作流—结束。任务及其依赖关系的完整描述作为Python模块创建,而不作为XML配置文件或其他数据格式创建,因此可以集成到其他以Python为中心的项目中。

Kubelib

如果你使用Kubernetes作为机器学习任务的编排系统,***你想要的肯定是使用Kubernetes来解决更多的问题,而不是带来许多问题。Kubelib为Kubernetes提供了一组Pythonic接口,最初是用Jenkins script作为脚本。但是它可以在没有Jenkins的情况下使用,它可以完成kubectl CLI或Kubernetes API暴露出的一切事情。

PyTorch

不要忘记这个最近发布的、高调的Python新产品,一个实现Torch机器学习框架的工具。PyTorch不仅将Torch移植到了Python,而且增加了许多其他便利,如GPU加速和一个允许使用共享内存(用于跨多个内核分区作业)进行多处理的库。最重要的是,它可以为NumPy中的一些未加速功能提供GPU加速替换。

责任编辑:武晓燕
相关推荐

2022-06-24 10:16:59

Python精选库

2022-05-23 09:46:44

Python

2022-04-24 10:12:25

Python软件包代码

2019-07-01 08:46:37

AI 数据人工智能

2022-03-22 08:50:57

Python代码自带库

2022-03-28 18:48:42

人工智能AI

2020-01-23 15:26:40

Python 开发编程语言

2021-09-10 10:15:24

2019-07-08 14:46:57

AI 数据人工智能

2019-01-08 10:26:19

人工智能 Python技术

2021-12-27 10:08:16

2021-12-21 08:05:19

2021-01-04 09:27:19

Python 开发编程语言

2021-06-17 09:00:00

2019-12-25 09:13:58

Python机器学习编程语言

2020-08-21 10:25:02

PythonWget

2020-09-14 11:10:43

Python代码

2020-03-30 09:22:03

AI语音技术机器视觉

2021-01-15 10:53:46

PythonPython库开源

2020-05-25 10:07:32

Python数据工具

同话题下的热门内容

如何创建一个无代码的自助客户聊天机器人使用机器学习评估异质治疗效果图论其实不难入门中科院打脸谷歌:普通电脑追上量子优越性,几小时搞定原本要一万年的计算负责任的机器学习--“玻璃盒”方法玩转文字、文采飞扬,你也可以是这样的昇腾AI程序员!PathAI利用机器学习推动药物开发七月超受欢迎的AI研究榜单出炉,马毅最新「标准模型」排名第九

编辑推荐

转转公司架构算法部孙玄:AI下的微服务架构Facebook开源相似性搜索类库Faiss,超越已知最快算法8.5倍运维:对不起,这锅,我们不背快消品图像识别丨无人店背后的商品识别技术最全面的百度NLP自然语言处理技术解析
我收藏的内容
点赞
收藏

AISummit人工智能大会