用于文本数据分析的 Pandas:使用 Str 访问器清理和操作文本数据

大数据 数据分析
Pandas 中的 str 访问器提供了许多有用的字符串操作,可以应用于 Pandas 系列的每个元素。

文本数据是数据分析和机器学习中最常用的数据类型之一。 然而,文本数据往往是杂乱无章的,需要清洗和预处理才能被有效分析。 Pandas 是一个强大的 Python 数据分析库,它提供了一个方便的 str 访问器来帮助您清理和操作文本数据。

Pandas 中的 str 访问器提供了许多有用的字符串操作,可以应用于 Pandas 系列的每个元素。 这些操作包括字符串拆分、连接、替换等。 在这里,我们将了解一些最有用的 str 操作,它们可以帮助您清理和操作文本数据。

让我们从使用文本数据创建示例数据框开始:

import pandas as pd

data = {"text_column": ["this is a text", "an example", "of text data", "in pandas"]}
df = pd.DataFrame(data)
print(df)

输出

text_column
0 this is a text
1 an example
2 of text data
3 in pandas

1、小写转换

有时,文本数据可能包含混合大小写字符,这会导致难以分析和比较。 str 访问器提供了一个 lower() 方法来将所有字符转换为小写。

df["text_column"] = df["text_column"].str.lower()
print(df)

输出

text_column
0 this is a text
1 an example
2 of text data
3 in pandas

2、strip方法

文本数据可能包含不需要的字符,如空格、制表符或换行符。 str 访问器提供了 strip() 方法来从系列中每个字符串的开头和结尾删除这些字符。

df["text_column"] = df["text_column"].str.strip()
print(df)

输出:

text_column
0 this is a text
1 an example
2 of text data
3 in pandas

3、替代法

str 访问器还提供了一种 replace() 方法,用于在系列的每个元素中用一个字符串替换另一个字符串。 当您想要替换文本数据中的特定单词或字符时,这很有用。

df["text_column"] = df["text_column"].str.replace("text", "string")
print(df)

输出:

text_column
0 this is a string
1 an example
2 of string data
3 in pandas

4、另一个重要的函数是extract()

此功能可用于从文本中提取特定模式。 extract() 函数将正则表达式模式作为参数,并返回一个或多个匹配项作为新的 DataFrame 列。 让我们看一个例子:

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 extract() 函数提取“love”这个词
df['love'] = df['text'].str.extract(r'(\w+)\s(\w+)')
# Check the DataFrame
print(df)

这将产生以下输出:

text   love
0 I love cats! love
1 Dogs are the best NaN
2 I love dogs and cats love

5、另一个有用的函数是split()

此函数可用于根据指定的分隔符将文本拆分为多个部分。 split() 函数返回从原始文本中拆分出来的子字符串列表。 让我们看一个例子:

import pandas as pd

#创建示例 DataFrame
df = pd.DataFrame({'text': ['I love cats!', 'Dogs are the best', 'I love dogs and cats']})
# 使用 split() 函数将文本拆分为单词
df['text'] = df['text'].str.split()
# Check the DataFrame
print(df

这将产生以下输出:

text
0 [I, love, cats!]
1 [Dogs, are, the, best]
2 [I, love, dogs, and, cats]

如您所见,split() 函数已将文本拆分为单词并返回子字符串列表。

6、去除标点符号和特殊字符

在文本数据中,我们经常会有很多与分析无关的标点符号和特殊字符。 要删除它们,我们可以使用 str.translate() 方法和 str.maketrans() 方法。

import string

#创建特殊字符和标点符号到 None 的映射
translator = str.maketrans("", "", string.punctuation)
# 将翻译器应用于文本列
df["text"] = df["text"].str.translate(translator)

7、删除停用词

停用词是对文本意义不大的常用词,通常会被删除以简化分析。 要删除停用词,我们可以使用 nltk 库。

import nltk
from nltk.corpus import stopwords

# 下载停用词语料库
nltk.download("stopwords")
# 获取停用词列表
stop_words = set(stopwords.words("english"))
# 从文本列中删除停用词
df["text"] = df["text"].apply(lambda x: " ".join([word for word in x.split() if word not in stop_words]))

8、对文本进行词干化或词形还原

词干提取和词形还原是两种重要的 NLP 技术,用于将单词简化为基本形式。 它们有助于简化文本数据并使其更易于分析。

词干提取是将单词简化为基本形式或词根形式的过程。 它涉及删除词的后缀或词尾以得到词根。 例如,“running”、“runner”和“ran”都使用词干提取法简化为词根形式“run”。

另一方面,词形还原是使用基于字典的方法将单词简化为基本形式的过程。 与词干提取不同,词形还原考虑单词的上下文并将它们映射到最有意义的基本形式。 例如,“running”将简化为“run”,“is”将简化为“be”。

词干提取和词形还原都有各自的优点和缺点,它们之间的选择取决于用例。 词干化更快更简单,但词形还原更准确并产生更有意义的基本形式。

要在 Pandas 中对文本进行词干化或词形还原,我们可以使用 nltk 库。 以下是如何使用 nltk 执行词干提取的示例:

import nltk
from nltk.stem import PorterStemmer

# 初始化词干分析器
stemmer = PorterStemmer()
# 定义一个函数来阻止文本
def stem_text(text):
return ' '.join([stemmer.stem(word) for word in text.split()])
# 将词干提取功能应用于文本列
df['text_stemmed'] = df['text'].apply(stem_text)

以下是如何使用 nltk 执行词形还原的示例:

import nltk
from nltk.stem import WordNetLemmatizer

#初始化词形还原器
lemmatizer = WordNetLemmatizer()
# 定义一个函数来对文本进行词形还原
def lemmatize_text(text):
return ' '.join([lemmatizer.lemmatize(word) for word in text.split()])
# 将词形还原函数应用于文本列
df['text_lemmatized'] = df['text'].apply(lemmatize_text)

在这两种情况下,词干化或词形化的文本都存储在数据框中的新列中。 这个新列可用于进一步分析或建模。

责任编辑:姜华 来源: 今日头条
相关推荐

2020-11-06 17:42:02

Python开发工具

2020-10-09 09:35:17

数据分析可视化

2021-03-28 08:57:57

Python 文本数据

2023-06-11 17:00:06

2017-11-03 12:57:06

机器学习文本数据Python

2011-04-08 14:45:08

文本数据Oracle

2018-07-24 16:00:38

2023-01-28 10:09:00

Pandas数据分析Python

2023-11-07 08:33:08

2009-08-20 09:15:20

C#操作文本文件

2018-03-15 09:00:28

TED文本分析NLP

2022-08-14 14:54:10

Pandas字符串数字类型

2023-05-17 13:45:31

谷歌PaLM 2

2023-11-28 18:15:42

Pandas数据检查

2016-08-18 14:13:55

JavaScript基本数据引用数据

2023-09-06 08:57:33

NLTK自然语言处理工具

2023-08-15 16:20:42

Pandas数据分析

2024-01-09 13:58:22

PandasPython数据分析

2020-07-26 19:19:46

SQL数据库工具

2023-05-26 16:34:31

HBase数据模型
点赞
收藏

51CTO技术栈公众号