思路总结:对微博情感分析的的挖掘

大数据
一朋友由于工作需要,准备对新浪微博进行相关的抓取挖掘。特别是情感分析这一块,便于他后期的实验实践。实际上,文本挖掘及分析在未来都会产生较大的效果。

 一朋友由于工作需要,准备对新浪微博进行相关的抓取挖掘。特别是情感分析这一块,便于他后期的实验实践。实际上,文本挖掘及分析在未来都会产生较大的效果。举一个简单的例子,现在地铁里的每个人每天都会去刷新自己的人人好友圈,微信好友消息。而这些消息大部分是基于文本的。如何对这些原始的消息进行挖掘。进而为相应的精准营销做准备。在以后的营销中将会产生重大效果。

原始数据

这一部分的内容,我们可以通过爬虫技术来抓取。通过聚类算法,找到相同话题的所有微博。然后拿来做为原始数据。还有就是用户好友圈内的评价消息,还有用户产生的连接消息,等等。这些都可以作为原始数据来归入我们的数据库。

确订目标(商业理解)

这一步也同时与业务理解要很好的关联起来,首先,我们是要用这些原始数据来作什么?比如,我们用情感分析,所有不同用户对同一事件的理解。我们要将他们的微博信息里的关键词找出来。然而进行相应的查找算法,进而确定所有用户对这一事件的评价。然后,我们要通过用户的评价,找到有二次商业利用值的客户。然后确订为目标客户。

数据理解

所抓取到的微博内容是什么,里边带几个链接?是用什么符号与之相连?文字,图片的分类,另外还有评论信息是否也有参考价值。里边的特殊符号代表什么?等等。这些信息,那些是对我们的来说是有用的,如何去用?比如说要从文本中挖掘出关建字,进行相关的营销活动。从而确定博主的情感动向。进而可以做些什么?理解我们的数据,才能更好的抓取到我们所要使用的数据。

模型建立

有人说,搞数据挖掘的人就是要来做这一部分的内容。你要建立一个好的模型,那以后的数据通过你的这个模型,那么你所需要的内容自动地就会呈现出来。而这一部分也是整个数据挖掘里最难的部分。

比如说我们的微博数据,我们可以通过决策树算法建立模型。***输出那些关健字的客户就是我们的目标客户。又或者,我们可以通过神经网络的算法建立模型,找到相关的所的决策项。实际上,数据挖掘所用到的方法很多,也很复杂,我也是到现在还是没有弄清楚一些算法的核心思想。但这样并不影响我们来使用相关的算法来进行挖掘。再者说,现在的挖掘对象,真正上PB内容的资料也不是很多的。很多企业还停留在小型机的阶段。所以,有的时候,我会开玩笑的说:数据量太小的话,EXECL会更好一些,然后是ACCESS数据库。再然后就是ORCALE数据库.....

模型建立是一个比较幸苦的工作,可是如果建立完成后,一般3-5年不会发生变化。比如我们现在的信用卡的信用评分系统。

模型评估

这一部分内容,是进行相关优化。也就是说模型建立好了,开始要跑业务了。要测试一下看它到底能跑到什么样的程度。有的时候,你挖掘了半年,也找到的目标客户,结果被其他人先用其他方法吸引走了,怎么办?所以才要有模型评估这件工作。

先将大数据里的一部分数据,一般是40%拿来先做训练,你也可以拿少量来试一试。然后看完成这些数据需要多长时间。换了其他的算法后,是否可以提高挖掘时间。一般这一步的数据分配要遵守一个4:3:3的原则,即40%拿来做训练,30%来做测试,另外的30%拿来做验证。综合来说,才能够评价这个模型的好坏,以及这个模型是否能产生它的相应价值。

发布模型

这是***一步,让所有微博数据进行相应的算法优化。进而达到***的挖掘效果。

 

在以上的这几个步骤中,模型评估与商业理解其实也是相辅相成的,因为这两个主要是与数据最为密切。而数据理解与商业理解又是相互制约的,很多时候,我们是有了大数据,但是我们找不到我们的所要挖掘的目标在那里,这时就需要不断的修订我们的商业理解与数据理解,然而,模型的相关内容,在整个闭环的过程中并不显的那么重要。有的时候,客户的一个很简单的需求,我们并不一定要用复杂的技术来实现,简单也许就意味着胜利。

 

再来说说在文本挖掘中的思路,少量的文本信息。我们可以放在在WORD里用复制粘贴来完成,多的话可以用EXCEL,再多的话可以用U1,要是还是多就用SAS与R,再多就用其他的了,具体什么软件,我也没用过。

 

博文地址:http://bingyang.blog.51cto.com/533655/1437665

责任编辑:林师授 来源: 51CTO
相关推荐

2017-05-15 14:00:28

大数据Python情感极性分析

2013-06-17 10:39:32

淘宝阿里巴巴新浪微博

2021-07-06 23:53:42

Python微博舆情

2013-06-24 09:28:53

大数据挖掘

2013-04-27 13:55:34

大数据全球技术峰会

2014-08-13 14:26:07

微软小冰

2015-04-16 10:35:08

微博微博如何实现

2017-10-10 15:42:56

Python鹿晗关晓彤

2017-10-10 13:13:48

2015-10-30 11:52:09

数据挖掘术语

2013-03-26 10:40:21

2017-05-25 08:29:30

文本挖掘技术

2012-05-09 14:02:46

HTML5

2011-08-30 14:48:02

2011-08-15 13:42:57

2015-09-24 18:08:50

微博架构架构演进架构

2010-02-06 13:28:31

Android源码

2013-08-05 10:25:00

2020-03-12 09:06:05

数据挖掘聚类分析学习

2015-08-17 13:19:55

大数据
点赞
收藏

51CTO技术栈公众号