总结了Pandas实现数据清洗的7种方式

大数据 数据分析
最近在做“对比excel,学习pandas系列”,今天给大家介绍一下excel和pandas实现数据清洗的种方式。

 最近在做“对比excel,学习pandas系列”,前面发了一篇 很受读者喜爱,今天给大家介绍一下excel和pandas实现数据清洗的种方式

1.处理数据中的空值

我们在处理真实的数据时,往往会有很多缺少的的特征数据,就是所谓的空值,必须要进行处理才能进行下一步分析

空值的处理方式有很多种,一般是删除或者填充

Excel通过“查找和替换”功能实现空值的统一替换:

通过“定位”删除空值:

pandas处理空值的方式比较灵活,可以使用dropna函数删除空值

  1. import pandas as pd 
  2. data=pd.read_csv('成绩表.csv',encoding='gbk'
  3. data.dropna(how='any'

用fillna函数实现空值的填充

①使用数字0填充数据表中的空值

  1. data.fillna(value=0)   

②使用平均值填充数据表中的空值

  1. data['语文'].fillna(data['语文'].mean()) 

2.删除空格

excel中清理空格很简单,直接替换即可

pandas删除空格也很方便,主要使用map函数

  1. data['姓名']=data['姓名'].map(str.strip) 
  2. data 

3.大小写转换

excel中大小写转换函数分别为upper()和lower()

pandas中转换函数也为upper()和lower()

  1. data['拼音']=data['拼音'].str.upper() 
  2. data 

  1. data['拼音']=data['拼音'].str.lower() 
  2. data 

4.更改数据格式

excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”:

pandas使用astype来修改数据格式,以将“语文”列改成整数为例

  1. data['语文'].dropna(how='any').astype('int'

5.更改列名称

excel中更改列名称就不说了,大家都会

pandas使用rename函数更改列名称,代码如下:

  1. data.rename(columns={'语文':'语文成绩'}) 

6.删除重复值

excel的功能区“数据”下有“删除重复项”,可以用来删除表中的重复值,默认保留最第一个重复值,把后面的删除:

pandas使用drop_duplicates函数删除重复值:

  1. data['数学'].drop_duplicates() #默认删除后面的重复值 
  2.  
  3. data['数学'].drop_duplicates(keep='last') #删除第一项重复值 

7.修改及替换数据

excel中使用“查找和替换”功能实现数值的替换

pandas中使用replace函数实现数据替换

  1. data['姓名'].replace('成  功','失  败'

 本文转载自微信公众号「python数据分析之禅」,可以通过以下二维码关注。转载本文请联系python数据分析之禅公众号。

 

责任编辑:武晓燕 来源: python数据分析之禅
相关推荐

2023-02-27 22:03:06

数据库内存RocketMQ

2021-08-25 07:47:53

Pandas函数数据处理

2022-07-11 13:30:08

Pandas数据编码代码

2022-04-20 15:10:55

pandas编码函数

2022-04-28 18:47:04

Pandas函数Python

2009-07-02 14:42:55

ExtJS Grid

2022-03-11 12:31:04

Vue3组件前端

2023-09-26 01:03:36

Pandas数据数据集

2018-04-03 12:07:53

数据清洗PandasNumpy

2021-04-09 16:22:39

云计算

2022-03-09 18:09:47

前端CSS代码

2023-12-12 11:06:37

PythonPandas数据

2019-05-16 13:00:18

异步编程JavaScript回调函数

2020-11-20 14:02:22

HashMap遍历Java

2018-09-09 15:13:53

2010-03-12 17:52:35

Python输入方式

2018-09-25 14:21:08

2021-04-09 11:19:11

云计算云计算产业云应用

2018-05-11 09:17:57

CIO

2019-05-28 10:37:59

物联网商业战略IOT
点赞
收藏

51CTO技术栈公众号