社区编辑申请
注册/登录
如何提高你的数据分析能力?
大数据 数据分析
本文为您介绍提高数据分析能力的几个步骤:第一步:数据准备;第二步:数据观察;第三步:数据建模;第四步:数据挖掘......

第一步:数据准备:(70%时间)

  • 获取数据(爬虫,数据仓库)
  • 验证数据
  • 数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
  • 使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
  • 抽样(大数据时。关键是随机)
  • 存储和归档

第二步:数据观察(发现规律和隐藏的关联)

  • 单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
  • 两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
  • 多个变量:假色图、马赛克图、平行左边图

第三步:数据建模

  • 推算和估算(均衡可行性和成本消耗)
  • 缩放参数模型(缩放维度优化问题)
  • 建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)

第四步:数据挖掘

  • 选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
  • 大数据考虑用Map/Reduce
  • 得出结论,绘制最后图表

循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。

业务分析版

“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。

1. 数据为王,业务是核心

  1. 了解整个产业链的结构
  2. 制定好业务的发展规划
  3. 衡量的核心指标有哪些

有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状,发现多维规律

  1. 熟悉产品框架,全面定义每个指标的运营现状
  2. 对比同行业指标,挖掘隐藏的提升空间
  3. 拆解关键指标,合理设置运营方法来观察效果
  4. 争对核心用户,单独进行产品用研与需求挖掘

发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。

3. 规律验证,经验总结

发现了规律之后不能立刻上线,需要在测试机上对模型进行验证。

责任编辑:未丽燕 来源: 知乎
相关推荐

2019-11-06 11:16:00

程序员HTMLPython

2020-07-30 07:50:56

数据分析

2022-04-14 10:07:24

数据安全网络安全网络攻击

2022-06-21 11:14:51

大数据系统架构

2022-04-24 15:28:37

AI模型数字孪生供应链

2022-06-01 10:09:39

Linux网络延迟

2022-04-06 17:48:44

2022-06-15 15:34:12

数据分析分析模型误区

2022-08-03 14:30:52

大数据数据分析数据收集

2021-09-26 07:34:07

2022-07-25 10:05:59

智能汽车数据

2016-08-31 14:33:23

数据分析师工具体系

2022-07-06 12:57:23

大数据供应链

2022-04-01 06:18:48

数据分析IT领导者

2020-10-18 21:30:48

工业物联网数据分析物联网

2022-03-29 14:49:14

大数据数据分析

2021-06-28 17:30:53

2020-10-13 14:22:21

Tableau

2021-05-27 19:10:36

大数据智慧城市运营

2022-03-08 23:46:06

数据分析大数据

同话题下的热门内容

大数据分析技术和方法有哪些?数据专家的晋级之路:大数据中的四大挑战!节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题2022年网购如何对抗大数据杀熟,更换商品名词有惊喜

编辑推荐

什么是数据分析的漏斗模型?数据分析师还吃香吗?用数据告诉你对比解读五种主流大数据架构的数据分析能力《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)22个免费的数据可视化和分析工具推荐
我收藏的内容
点赞
收藏

51CTO技术栈公众号