这20个Pandas函数,堪称“数据清洗”杀手!

大数据
Pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。本文介绍的这20个【被分成了15组】函数,绝对是数据处理杀手,用了你会爱不释手。

今天准备介绍一篇超级肝货!

Pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。

[[419282]]

本文介绍的这20个【被分成了15组】函数,绝对是数据处理杀手,用了你会爱不释手。

[[419283]]

构造数据集

这里为大家先构造一个数据集,用于为大家演示这20个函数。

  1. import pandas as pd 
  2. df ={'姓名':[' 黄同学','黄至尊','黄老邪 ','陈大美','孙尚香'], 
  3.      '英文名':['Huang tong_xue','huang zhi_zun','Huang Lao_xie','Chen Da_mei','sun shang_xiang'], 
  4.      '性别':['男','women','men','女','男'], 
  5.      '身份证':['463895200003128433','429475199912122345','420934199110102311','431085200005230122','420953199509082345'], 
  6.      '身高':['mid:175_good','low:165_bad','low:159_bad','high:180_verygood','low:172_bad'], 
  7.      '家庭住址':['湖北广水','河南信阳','广西桂林','湖北孝感','广东广州'], 
  8.      '电话号码':['13434813546','19748672895','16728613064','14561586431','19384683910'], 
  9.      '收入':['1.1万','8.5千','0.9万','6.5千','2.0万']} 
  10. df = pd.DataFrame(df) 
  11. df 

效果图:

1. cat函数

这个函数主要用于字符串的拼接;

  1. df["姓名"].str.cat(df["家庭住址"],sep='-'*3) 

效果图:

2. contains函数

这个函数主要用于判断某个字符串是否包含给定字符;

  1. df["家庭住址"].str.contains("广"

效果图:

3. startswith、endswith函数

这个函数主要用于判断某个字符串是否以...开头/结尾;

  1. # 第一个行的“ 黄伟”是以空格开头的 
  2. df["姓名"].str.startswith("黄")  
  3. df["英文名"].str.endswith("e"

效果图:

4. count函数

这个函数主要用于计算给定字符在字符串中出现的次数;

  1. df["电话号码"].str.count("3"

效果图:

5. get函数

这个函数主要用于获取指定位置的字符串;

  1. df["姓名"].str.get(-1) 
  2. df["身高"].str.split(":"
  3. df["身高"].str.split(":").str.get(0) 

效果图:

6. len函数

这个函数主要用于计算字符串长度;

  1. df["性别"].str.len() 

效果图:

7. upper、lower函数

这个函数主要用于英文大小写转换;

  1. df["英文名"].str.upper() 
  2. df["英文名"].str.lower() 

效果图:

8. pad+side参数/center函数

这个函数主要用于在字符串的左边、右边或左右两边添加给定字符;

  1. df["家庭住址"].str.pad(10,fillchar="*")      # 相当于ljust() 
  2. df["家庭住址"].str.pad(10,side="right",fillchar="*")    # 相当于rjust() 
  3. df["家庭住址"].str.center(10,fillchar="*"

效果图:

9. repeat函数

这个函数主要用于重复字符串几次;

  1. df["性别"].str.repeat(3) 

效果图:

10. slice_replace函数

这个函数主要用于使用给定的字符串,替换指定的位置的字符;

  1. df["电话号码"].str.slice_replace(4,8,"*"*4) 

效果图:

11. replace函数

这个函数主要用于将指定位置的字符,替换为给定的字符串;

  1. df["身高"].str.replace(":","-"

效果图:

这个函数还接受正则表达式,将指定位置的字符,替换为给定的字符串。

  1. df["收入"].str.replace("\d+\.\d+","正则"

效果图:

12. split方法+expand参数

这个函数主要用于将一列扩展为好几列;

  1. # 普通用法 
  2. df["身高"].str.split(":"
  3. # split方法,搭配expand参数 
  4. df[["身高描述","final身高"]] = df["身高"].str.split(":",expand=True
  5. df 
  6. # split方法搭配join方法 
  7. df["身高"].str.split(":").str.join("?"*5) 

效果图:

13. strip、rstrip、lstrip函数

这个函数主要用于去除空白符、换行符;

  1. df["姓名"].str.len() 
  2. df["姓名"] = df["姓名"].str.strip() 
  3. df["姓名"].str.len() 

效果图:

14. findall函数

这个函数主要用于利用正则表达式,去字符串中匹配,返回查找结果的列表;

  1. df["身高"
  2. df["身高"].str.findall("[a-zA-Z]+"

效果图:

15. extract、extractall函数

这个函数主要用于接受正则表达式,抽取匹配的字符串(一定要加上括号);

  1. df["身高"].str.extract("([a-zA-Z]+)"
  2. # extractall提取得到复合索引 
  3. df["身高"].str.extractall("([a-zA-Z]+)"
  4. # extract搭配expand参数 
  5. df["身高"].str.extract("([a-zA-Z]+).*?([a-zA-Z]+)",expand=True

效果图:

 

 

责任编辑:未丽燕 来源: 数据分析与统计学之美
相关推荐

2022-04-28 18:47:04

Pandas函数Python

2022-11-03 07:07:49

函数Pandascsv

2021-05-07 09:39:54

数据清洗方式

2020-08-18 11:19:49

Chrome插件浏览器

2023-09-26 01:03:36

Pandas数据数据集

2020-05-16 12:20:40

Excel数据清洗函数

2021-01-25 20:08:36

Pandas数据处理数据分析

2022-04-25 08:43:47

pandas代码Python

2023-02-07 16:21:37

时间序列列数据集

2022-05-13 09:55:19

Python内置函数

2018-04-03 12:07:53

数据清洗PandasNumpy

2020-03-10 08:55:50

PandasNumPy函数

2024-01-03 18:45:35

Pandas绘图函数

2013-03-20 15:49:28

大数据

2018-06-16 08:35:57

UnixLinux命令

2021-07-13 10:02:52

Pandas函数Linux

2017-04-18 09:25:54

CIO企业管理流程管理

2020-08-16 10:58:20

Pandaspython开发

2022-06-13 16:09:17

PandasPython

2019-01-23 09:48:06

数据清洗数据分析代码
点赞
收藏

51CTO技术栈公众号