51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

大数据

8144内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8144 条
数据科学项目管理中的“黄金标准”
我想大多数人至少承认这一点：“你的研究需要让其他人能够轻松地理解你在项目中做了什么，并能复制这些结果”。此外，你还得对文件的命名方式多加注意，具体做法如何，我们一起来看看吧。

2018-10-28 18:30:51

数据科学数据项目管理
数据挖掘领域十大经典算法之—CART算法（附代码）
CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益、C4.5：特征划分基于信息增益比、CART：特征划分基于基尼指数。

2018-10-27 15:47:35

CART算法决策树
Commvault助力山东省立医院搭建一体化数据管理平台
2018年是医疗支付转型和医疗IT转型的拐点之年，新兴医疗健康服务体系、新的医疗IT系统得到了空前充足的发展动力和全新的发展空间。

2018-10-26 15:49:06

Commvault一体化数据管理
GrowingIO B轮融资3000万美元 打造更懂用户和增长的行为分析产品
在数据分析行业布局三年后，GrowingIO 正在用产品和服务影响更多的用户，通过打造基于用户行为的分析产品和增长整体解决方案，帮助产品经理、运营、增长负责人等落地增长，逐步成为行业的领军者。

2018-10-25 16:04:48

GrowingIO数据分析数据洞察
九个经典有趣的数据挖掘案例
全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。

2018-10-25 14:47:53

分析消费数据挖掘
大数据技术在金融行业中的应用
大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工业、农业、互联网等多个方面。根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高高。

2018-10-24 14:36:59

大数据金融保险
详细解读：大数据分析的学习
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。

2018-10-24 14:32:15

数据分析数据科学算法
Apache Kafka与Spark Streaming的两种整合方法及其优缺点 译文
我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

KafkaSpark数据
Adaptive Execution 让 Spark SQL 更智能更高效
本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点,执行计划可动态调整、调整的依据是中间结果的精确统计信息。

2018-10-23 15:20:29

SparkShuffleSpark SQL
如何将kafka中的数据快速导入Hadoop？
Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

KafkaHadoop代码
从面试官的角度谈谈大数据面试
关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。(我是真的找不到那么多资料...)。所以，今天我们只聊面试官。

2018-10-22 14:28:26

面试官数据公司
没有完美的数据插补法，只有最适合的
数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。

2018-10-22 14:00:12

数据数据插补数据科学
用Python分析北京二手房房价
用Python分析北京二手房房价，首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。

2018-10-22 13:10:43

分析Python房价
5个原因告诉你：为什么在成为数据科学家之前，“逻辑回归”是第一个需要学习的
本文将要列出5条原因来说明为什么最开始学习逻辑回归是入门最好的选择。当然，这只是我个人的看法，对于其他人可能有更快捷的学习方式。

2018-10-21 16:10:54

数据科学算法逻辑回归
美团点评基于 Flink 的实时数仓建设实践
近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用 Flink 在实际数据生产上的经验。

2018-10-19 14:16:09

Flink数据仓库数据系统
全球调研报告：分析洞察依旧受制于技术复杂和人才瓶颈
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布，委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研显示，企业想在各部门全面使用智能化技术时严重受阻。

2018-10-18 13:42:06

技术人才数据
大数据和人工智能的未来可以归结为一件事
就大数据、分析和人工智能而言，价值不是来自收集数据(甚至也不是来自于从中获取的一些洞察)，价值来只有一个来源：行动。

2018-10-18 12:47:09

大数据人工智能分析
张峰：工信部将落实四方面战略 推动大数据产业发展
张峰透露下一步工信部将以习近平四新时代中国特色社会主义思想为思想，深入贯彻党的十九大和十九届二中、三中全会精神，充分把握大数据面临的新趋势、新特点，扎实推进国家大数据战略，全面提升我国大数据应用能力。

2018-10-18 12:16:28

大数据张峰工信部
分享：数据可视化专家的七个秘密
数据可视化是数据探索以及数据表现的重要方式， 然而， 对于数据可视化的开发者来说， 依然有很多挑战要去面对。 这些迎接这些挑战的方法， 则是很多专业的数据可视化开发者不愿意让别人知道的秘密。

2018-10-18 11:03:06

数据可视化数据数据集
大数据的阴暗面
数据无疑是企业创新的关键，为企业做出明智商业决策提供了巨大的机会。但是，当企业采用大数据时，他们也应该考虑大数据的阴暗面。

2018-10-18 09:55:15

大数据数据大数据安全
Hadoop，Zookeeper这些名字都是怎么来的呢？
Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就诞生了。

2018-10-17 18:53:20

HadoopSparkZookeeper
掌握这25条小贴士，快速提升数据可视化能力！
可视化不是单纯的数据展示，其真正价值是设计出可以被读者轻松理解的数据展示。设计过程中的每一个选择，最终都应落地于读者的体验，而非设计者个人。本文提到了一些常见错误，也是我们团队总结出的一些技巧。这25条小贴士能够快速提升和巩固你的数据可视化设计。

2018-10-17 12:03:45

可视化设计图表
高德地图联手达摩院推出车载AR导航 颠覆传统驾车体验
高德地图今日宣布与达摩院达成合作，共同推出车载AR导航。该产品借助高德地图专业的交通大数据和车道级导航引擎，以及双方合作共建的图像识别AI技术能力，将真实的道路场景与虚拟的导航指引有机结合，给驾驶员带来更直观的实景导航体验。

2018-10-17 11:41:55

高德AR导航
2018UBDC全域大数据峰会成功举办：重磅发布U-App AI版
10月16日，友盟+主办的2018UBDC全域大数据峰会（以下简称“峰会”）在北京拉开帷幕。峰会以“DI•进化”为主题，旨在让更多企业“会用数据，用好数据”——8小时，10余家黑科技企业，超40位国内顶级专家主题分享，近3500位数据从业者共同见证，从数据、技术、应用、意识各维度对因数据带来的进化加以演绎，重现各行各业的数据变革场景。

2018-10-16 17:37:40

全域大数据AIUBDC
5个系统管理员常用的警报和可视化工具
这些开源工具帮助用户了解系统行为和输出，并为潜在问题提供警报。你可能使用警报和可视化工具，为什么我要将它们作为可观察性工具进行讨论，特别是某些系统将可视化作为特征?

2018-10-16 15:30:49

可视化警报工具
分享 : 数据可视化专家的七个秘密
数据可视化的道路上充满了不可见的陷阱和迷宫，最近ClearStory Data的两位数据可视化开发人员分享了他们总结出来的数据可视化开发的7个不宣之秘，普通开发者了解这些方法能提升视野，少走弯路。

2018-10-16 15:12:48

数据可视化数据集工具
真的缺数据科学家吗? 如今到底有多少数据科学家？
LinkedIn公司在2018年8月发布的美国劳动力报告中提到：“对数据科学家的需求空前高涨……具有数据科学技能的人才短缺问题几乎存在于美国的所有大城市。在全美国范围内，共缺少151717名具有数据科学技能的人，其中纽约市(34032人)、旧金山湾区(31798人)和洛杉矶(12251人)的人才短缺尤为严重。”

2018-10-16 14:37:34

数据科学家数据分析数据科学
几十行代码让你知道朋友圈都是什么样的朋友
微信是一个神奇的存在，它是一个国民级别的全民APP，所以，微信的产品设计一直都是一个有趣的现象，从最初底部Tab的数目、每个Tab的名称、“发现页面的定制、小程序入口、朋友圈入口到朋友圈评论等等一系列的设计细节，都是值得我们透过人性和心理去研究的。

2018-10-16 14:30:22

Python微信朋友圈
做不到那么优秀?那来看看成为一名糟糕的大数据平台工程师有哪些表现?
要想成为一名优秀的大数据平台开发工程师，只要做到深度与广度并重，钻研技术、理解产品、能搭架构、能解Bug，那就妥妥的了。优秀的人都是类似的，说起来就太过无聊了。所以，本文换一个角度，聊聊如何做到不那么优秀，要想成为一名糟糕的开发工程师都需要有哪些表现。

2018-10-16 14:18:14

大数据工程师糟糕
谁“杀死”了大数据创业者？
“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网说出了整个业内的真实现状。

2018-10-16 11:02:03

大数据寒冬创业
Kafka集群内复制功能深入剖析
Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka分布式数据
比拼生态和未来，Spark和Flink哪家强？
Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。

2018-10-15 15:12:12

SpakrFlink大数据
如何将传统关系数据库的数据导入Hadoop？
大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。

2018-10-15 13:57:38

Hadoop数据库MySQL
Teradata天睿公司推出无处不在数据智能平台Teradata Vantage助力企业随时分析所有数据
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布面向所有客户推出下一代分析平台Teradata Vantage。

2018-10-12 16:14:42

Teradata天睿公司数据
大数据干货 | 论Spark高手是怎样炼成的
大数据的处理怎么能变快一点，答案是请用spark，因为它是基于内存的，可以有效减少数据的落地次数。Spark性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2018-10-12 14:26:04

SparkSpark框架Scala
Cloudera和Hortonworks宣布合并：对Hadoop的一记重创！
近日，大数据领域的两大巨头公司Cloudera和Hortonworks宣布平等合并，Cloudera以股票方式收购Hortonworks，Cloudera股东最终获得合并公司60%的股份。 这笔交易意味着Hadoop市场再也无法维持两大竞争对手对峙的状态了。

2018-10-12 14:01:14

Hadoop大数据公有云
Tableau官方推荐：12本关于数据可视化的好书
你想了解更多关于数据可视化的理论知识和历史背景吗?你想受到令人惊叹的可视化示例的启发吗?你希望能够创建更有效的可视化效果吗?或者你是否有兴趣从权威部门获取有关数据可视化的信息吗?

2018-10-11 20:47:23

书籍数据可视化数据分析
大数据生态圈到底是一个什么概念？
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。

2018-10-11 20:38:27

大数据生态圈分布式
大数据杀熟 无解的死循环？
总之，要想杜绝大数据杀熟问题，需要旅行APP平台方、相关监督机构、消费者以及健全的法律法规共同努力。相信在未来的日子里，大数据带给我们更多的是便利，而不是麻烦。

2018-10-10 20:20:14

APP监管大数据杀熟
Teradata天睿公司：超越分析直通成果
1979年诞生于美国加利福尼亚州布伦特伍德市一间车库内。创建至今近四十年间，Teradata天睿公司已成长为占据统治地位的云端数据与分析技术公司，致力于服务全球规模最大、最富有远见的企业。

2018-10-09 17:37:54

超越分析成果
技术分享：Hadoop框架
Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的MapReduce引擎。

2018-10-09 15:00:43

Hadoop分布式架构
Spark灰度发布在十万级节点上的实践
本文介绍了顶级互联网公司数万节点下 Spark 的 CI 与 CD & CD 灰度发布实践。包含如何维护源代码，如何维护 Release 多版本，开发版与正式版，以及如何实现灰度发布，如何进行 hotfix 等。为了提高本文内容的可借鉴性，隐去了公司特有内容，只保留通用部分。

2018-10-09 14:31:32

SparkCI灰度
如何将数据移入和移出Hadoop？
本文是《Hadoop从入门到精通》大型专题的第5章，将完全解答上述问题，让企业走上无忧数据移动之路。本章，我们将首先介绍如何将不同位置和不同格式的数据移动到Hadoop，之后将讲解如何将数据移出Hadoop。

2018-10-09 14:16:21

Hadoop数据移入数据传输
干货 ：5种项目助你找到数据科学工作
或许您已经在网上看了许多的MOOC，阅读了很多工具书，但是您有可能仍然担心找不到工作或根本没有找到工作。在数据科学领域找到合适的工作的确有一定难度。最好的向HR展现您能力的方式就是准备一个文件夹。在文件夹中放入以下五种您做过的数据科学项目。

2018-10-08 12:08:32

数据科学数据清洗数据分析
三行Python代码，让数据预处理速度提高2到6倍
在 Python 中，我们可以找到原生的并行化运算指令。本文可以教你仅使用 3 行代码，大大加快数据预处理的速度。

2018-10-07 05:27:03

Python代码机器学习
大数据的特点是什么，大数据与Hadoop有什么关系？
在大数据时代，Hadoop以其优越的性能受到业界的广泛关注，已经成为大数据处理领域事实上的标准。如今，Hadoop在诸多领域大显身手。随着开源社区和国际众多国际技术厂商对这一开源技术的积极支持与持续的大量投入，相信不久的将来，Hadoop技术会被拓展到更多的应用领域。

2018-09-30 15:55:56

大数据Hadoop分布式
大数据、物联网、区块链：融合趋势三重奏的好处
如今，大数据、物联网、区块链三大巨头板块正在改变着世界。随着全球科技的发展，它们逐渐形成了自己独特的个性趋势，搞技术的人几乎没有不认识它们的。那么大数据、物联网和区块链的结合会带来怎样的技术红利?

2018-09-30 15:08:41

大数据物联网区块链
初探：企业数据湖治理优秀实践！
通常，那些刚接触大数据的人，甚至是精通Hadoop的老手，都会尝试使用不同的脚本、工具和第三方供应商来组建几个集群并拼凑在一起，这既不符合成本效益，也不可持续。本文，作者将描述数据湖与集群拼凑方式相比的优势是什么，集群如何规划和治理才能构建有效的数据湖。

2018-09-30 15:05:38

数据湖数据仓库Hadoop
谷歌正式发布数据可视化工具，提供超500个数据源，主要还免费！
Google宣布在2016年发布的数据可视化工具Data Studio，以及2017年发布的的数据预先处理服务Cloud Dataprep，现在都正式可用。

2018-09-30 10:12:48

数据源数据可视化谷歌
图数据库：释放互联数据的力量 原创
TigerGraph凭借强大的图数据库，为企业提供实时分析应用程序，在反欺诈和反洗钱、消费者智能、智能供应链、智能电网等应用中都有着出色的表现。

2018-09-29 15:33:46

图数据库TigerGraph
上一页 1 ··· 7273747576 ··· 163
点赞

51CTO技术栈公众号

业务
速览
在线客服