社区编辑申请
注册/登录
详解 Pandas 与 Lambda 结合进行高效数据分析
大数据 数据分析
这篇文章小编来讲讲lambda方法以及它在pandas模块当中的运用,熟练掌握可以极大地提高数据分析与挖掘的效率。

 

这篇文章小编来讲讲lambda方法以及它在pandas模块当中的运用,熟练掌握可以极大地提高数据分析与挖掘的效率。

导入模块与读取数据

我们第一步需要导入模块以及数据集: 

  1. import pandas as pd  
  2. df = pd.read_csv("IMDB-Movie-Data.csv")  
  3. df.head() 

创建新的列

一般我们是通过在现有两列的基础上进行一些简单的数学运算来创建新的一列,例如: 

  1. df['AvgRating'] = (df['Rating'] + df['Metascore']/10)/2 

但是如果要新创建的列是经过相当复杂的计算得来的,那么lambda方法就很多必要被运用到了,我们先来定义一个函数方法。 

  1. def custom_rating(genre,rating):  
  2.     if 'Thriller' in genre:  
  3.         return min(10,rating+1)  
  4.     elif 'Comedy' in genre:  
  5.         return max(0,rating-1)  
  6.     elif 'Drama' in genre:  
  7.         return max(5, rating-1)  
  8.     else:  
  9.         return rating 

我们对于不同类别的电影采用了不同方式的评分方法,例如对于“惊悚片”,评分的方法则是在“原来的评分+1”和10分当中取一个最小的,而对于“喜剧”类别的电影,则是在0分和“原来的评分-1”当中取一个最大的,然后我们通过apply方法和lambda方法将这个自定义的函数应用在这个DataFrame数据集当中。 

  1. df["CustomRating"] = df.apply(lambda x: custom_rating(x['Genre'], x['Rating']), axis = 1

我们这里需要说明一下axis参数的作用,其中axis=1代表跨列而axis=0代表跨行,如下图所示:

筛选数据

在pandas当中筛选数据相对来说比较容易,可以用到& | ~这些操作符,代码如下: 

  1. # 单个条件,评分大于5分的  
  2. dfdf_gt_5 = df[df['Rating']>5]  
  3. # 多个条件: AND - 同时满足评分高于5分并且投票大于100000的  
  4. And_df = df[(df['Rating']>5) & (df['Votes']>100000)]  
  5. # 多个条件: OR - 满足评分高于5分或者投票大于100000的  
  6. Or_df = df[(df['Rating']>5) | (df['Votes']>100000)]  
  7. # 多个条件:NOT - 将满足评分高于5分或者投票大于100000的数据排除掉  
  8. Not_df = df[~((df['Rating']>5) | (df['Votes']>100000))] 

这些都是非常简单并且是常见的例子,但是要是我们想要筛选出电影的影名长度大于5的部分,要是也采用上面的方式就会报错 。

  1. df[len(df['Title'].split(" "))>=5] 

output 

  1. AttributeError: 'Series' object has no attribute 'split' 

这里我们还是采用apply和lambda相结合,来实现上面的功能。 

  1. #创建一个新的列来存储每一影片名的长度  
  2. df['num_words_title'] = df.apply(lambda x : len(x['Title'].split(" ")),axis=1 
  3. #筛选出影片名长度大于5的部分  
  4. new_df = df[df['num_words_title']>=5] 

当然要是大家觉得上面的方法有点繁琐的话,也可以一步到位。 

  1. new_df = df[df.apply(lambda x : len(x['Title'].split(" "))>=5,axis=1)] 

例如我们想要筛选出那些影片的票房低于当年平均水平的数据,可以这么来做。

我们先要对每年票房的的平均值做一个归总,代码如下:

  1. year_revenue_dict = df.groupby(['Year']).agg({'Revenue(Millions)':np.mean}).to_dict()['Revenue(Millions)'] 

然后我们定义一个函数来判断是否存在该影片的票房低于当年平均水平的情况,返回的是布尔值 。

  1. def bool_provider(revenue, year):  
  2.     return revenue<year_revenue_dict[year] 

然后我们通过结合apply方法和lambda方法应用到数据集当中去 。

  1. new_df = df[df.apply(lambda x : bool_provider(x['Revenue(Millions)'],  
  2.                                               x['Year']),axis=1)] 

我们筛选数据的时候,主要是用.loc方法,它同时也可以和lambda方法联用,例如我们想要筛选出评分在5-8分之间的电影以及它们的票房,代码如下: 

  1. df.loc[lambda x: (x["Rating"] > 5) & (x["Rating"] < 8)][["Title", "Revenue (Millions)"]] 

转变指定列的数据类型

通常我们转变指定列的数据类型,都是调用astype方法来实现的,例如我们将“Price”这一列的数据类型转变成整型的数据,代码如下: 

  1. df['Price'].astype('int') 

会出现如下所示的报错信息:

  1. ValueError: invalid literal for int() with base 10: '12,000' 

因此当出现类似“12,000”的数据的时候,调用astype方法实现数据类型转换就会报错,因此我们还需要将到apply和lambda结合进行数据的清洗,代码如下: 

  1. df['Price'] = df.apply(lambda x: int(x['Price'].replace(',', '')),axis=1

方法调用过程的可视化

有时候我们在处理数据集比较大的时候,调用函数方法需要比较长的时间,这个时候就需要有一个要是有一个进度条,时时刻刻向我们展示数据处理的进度,就会直观很多了。

这里用到的是tqdm模块,我们将其导入进来:

  1. from tqdm import tqdm, tqdm_notebook  
  2. tqdm_notebook().pandas() 

然后将apply方法替换成progress_apply即可,代码如下: 

  1. df["CustomRating"] = df.progress_apply(lambda x: custom_rating(x['Genre'],x['Rating']),axis=1

output

当lambda方法遇到if-else

当然我们也可以将if-else运用在lambda自定义函数当中,代码如下:

  1. Bigger = lambda x, y : x if(x > y) else y  
  2. Bigger(2, 10) 

output

  1. 10 

当然很多时候我们可能有多组if-else,这样写起来就有点麻烦了,代码如下:

  1. df['Rating'].apply(lambda x:"低分电影" if x < 3 else ("中等电影" if x>=3 and x < 5 else("高分电影" if x>=8 else "值得观看"))) 

看上去稍微有点凌乱了,这个时候,小编这里到还是推荐大家自定义函数,然后通过apply和lambda方法搭配使用。

 

责任编辑:庞桂玉 来源: AI科技大本营
相关推荐

2022-05-18 23:42:08

网络安全安全分析工具

2022-05-09 15:08:56

存储厂商NFV领域华为

2022-05-20 14:54:33

数据安全数字化转型企业

2022-05-12 13:44:35

2022-05-17 15:51:32

数据中心运维能力基础设施

2022-05-17 14:03:42

勒索软件远程工作

2022-05-11 14:48:33

腾讯云寿险民生保险

2022-05-19 19:26:33

区块链大数据数据分析

2022-05-16 10:49:28

网络协议数据

2022-05-23 10:55:19

华为数字化转型架构蓝图

2022-04-25 14:06:28

数据分析人工智能机器学习

2022-05-10 14:11:05

网络安全网络犯罪

2022-04-17 23:02:08

数据分析数字化转型人工智能

2022-04-01 20:29:26

Pandas数据存储

2022-05-25 16:52:55

数据智能瑞数信息API

2022-05-26 11:37:58

亚马逊云科技C7g实例

2022-05-11 14:05:11

区块链网络安全存储

2022-05-25 10:49:02

云存储云计算

2022-04-21 10:49:30

智慧城市物联网

2022-05-18 08:05:31

同话题下的热门内容

2022年优秀预测分析工具和软件大数据技术的成功案例及趋势使用替代数据的五个隐性成本为什么不能忽视建筑物中的数据分析?数据驱动业务的18个有效策略

编辑推荐

什么是数据分析的漏斗模型?数据分析师还吃香吗?用数据告诉你对比解读五种主流大数据架构的数据分析能力《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)22个免费的数据可视化和分析工具推荐
我收藏的内容
点赞
收藏

51CTO技术栈公众号