直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8805内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8805 条

大数据史记2013：盘点中国2013行业数据量

2013 年中国产生的数据总量超过0.8ZB（相当于8亿TB），2 倍于2012 年，相当于2009 年全球的数据总量。预计到2020 年，中国产生的数据总量将是2013年的10倍，超过8.5ZB。

2014-02-24 09:48:05

数据可视化软件在大数据时代的局限性

如今，数据可视化软件风靡起来，很多企业认为数据可视化软件是启用先进分析技术的入口。但对一些应用而言，情况并不是这样的。

2014-02-21 11:30:08

数据可视化大数据

Hadoop虽然强大，但不是万能的

随着 Hadoop 应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架，但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop。

2014-02-17 10:56:21

大数据之路（二）大数据结构化数据存储应用模式

　胖子哥是我网名，叫了很多年的网名，网名的来历与自己的沧桑和身材有关，不知是IT改变了我，显得苍老，还是我本就苍老，顺应了IT行业的需要。还是继续胖子哥的大数据之路吧，这次要谈的还是数据仓库。

2014-02-17 10:28:34

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

2014-02-14 15:43:16

YARN又被称为MapReduce 2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。

2014-02-14 15:30:18

Hadoop日志分析工具：White Elephant

White Elephant 是一个Hadoop日志收集器和展示器，它提供了用户角度的Hadoop集群可视化。White Elephant 是全球最大的职业社交网站Linkedin开发的一套分析Hadoop作业日志的系统，完全开源。

2014-02-12 10:28:50

大数据之路（一）数据仓库也需要大数据

大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。

2014-02-12 09:22:28

大数据落地什么较困难，是业务整合还是文化采纳?

围绕着大数据的炒作可谓极其疯狂，这种炒作也在推动着大量的投资进入这一领域。

2014-02-11 16:39:49

大数据背景下个性化服务如何成功落地？

身处大数据时代，企业有更多的机会去了解消费者，甚至会比消费者自己还要了解自己的需求。但事实上鲜有顾客真正获得精准、贴心的个性化服务，是企业不够用心还是顾客太挑剔？个性化服务落地难的个中缘由到底是什么？身处在数据时代，企业如何快速把握消费者的个性化需求和心理预期？有了庞大数据的支撑，企业的个性化服务会变得更加靠谱、更接地气吗？

2014-02-10 09:21:25

你会用吗？Linux五大数据可视化工具

Linux上用来实现数据的图形可视化的应用程序有很多，从简单的 2-D 绘图到 3-D 制图，再到科学图形编程和图形模拟。幸运的是，这方面的工具有很多开放源码实现，包括 gnuplot、GNU Octave、Scilab、MayaVi、Maxima 等。每个工具都有自己的优缺点，并且都是针对不同的应用程序而设计的。对这些开放源码图形可视化工具进行一下探索，有助于我们更好地决定哪个工具最适合我们的应用程序。

2014-02-09 16:20:20

大数据挑战：敢不敢不要加入人的判断？

在我们生活的这个时代，有这样一个简单原则：随着数据数量的不断增长，人们判断力的重要性应该逐渐降低。

2014-01-23 16:53:49

Teradata数据仓库加速Sligro食品集团的商业智能建设

全球领先的数据分析平台、应用和服务供应商Teradata天睿公司宣布，欧洲食品零售以及餐饮批发领导企业Sligro食品集团已经选择Teradata数据仓库实现预测性分析。这一全新且高效的平台将帮助该集团获得崭新视角，更好地预测未来的客户和市场发展，进一步实现从供应驱动型向需求驱动型运营模式的转变。

2014-01-22 10:11:49

Teradata 数据仓库

Google打造云中Hadoop便捷版强势对抗AWS

开发人员现在已经能够很轻松的在Google计算虚拟机上进行Hadoop操作了，理论上，Google Cloud Storage Hadoop的预览版将使开发人员不用再花大力气去管理集群和文件系统。这将对AWS和它的EC2造成很大冲击。

2014-01-17 10:03:51

Google Hadoop AWS

预测2014年大数据：不再只是停留在吹捧上

位于俄勒冈州波特兰市的咨询和研究分析机构发布了9项针对新的一年的官方预测，下面来看一下他们如何预测2014年的。

2014-01-17 10:03:31

微软和OpenStack成亚马逊Hadoop即服务新对手

HDInsight通过使用微软和Apache工具让Windows Azure用户可以访问Hadoop。OpenStack的Savanna项目为开源提供商提供了一个选择，但是作为一个不断发展的项目，用户还无法期望得到一个完整的交钥匙解决方案。

2014-01-14 09:11:24

微软 OpenStack 亚马逊

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。

2014-01-07 17:18:51

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

2014-01-07 16:34:36

Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。

2014-01-07 15:23:15

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:17:08

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:05:25

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。

2014-01-07 14:29:14

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。

2014-01-07 14:16:22

Hadoop2.0 日志

Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？

2014-01-07 14:04:13

Hadoop MapReduce

Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。

2014-01-07 13:54:40

Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

2014-01-07 13:54:02

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

Spark：利用Eclipse构建Spark集成开发环境

前一篇文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。

2014-01-07 10:36:32

利用Scala语言开发Spark应用程序

park内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。

2014-01-07 10:12:15

大数据处理利器：Hadoop具有五大优势

Hadoop是一个高度可扩展的存储平台，因为他可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。不同于传统的关系型数据库系统不能扩展到处理大量的数据，Hadoop是能给企业提供涉及成百上千TB的数据节点上运行的应用程序。

2013-12-30 10:40:12

大数据处理大数据 Hadoop

大数据处理利器：Hadoop具有五大优势

作为一个全新的开源项目，Hadoop提供了一中新的方式用来存储和处理器数据。大型的互联网公司，如谷歌、Facebook都使用Hadoop来存储和管理它们庞大的数据集。本文总结了Hadoop再大数据领域的五大优势，希望对您有所帮助。

2013-12-27 16:15:11

Hadoop 大数据处理

2014的12个大数据趋势：Hadoop继续升温，R将进入主流

2013，“大数据”无疑是IT界最火的词汇之一。MapReduce、Storm、Impala以及Spark，大数据领域开源技术林立。翻过2013，走进2014，大数据领域又会向着什么样的方向发展，这里我们看数位行业高管带来的12条预测。

2013-12-27 09:12:39

大数据 Hadoop R语言

携手Hortonworks市场副总裁：探讨Hadoop目前使用情况

我们正生活在“大数据”的时代。大部分公司将Hadoop作为自己分析大数据和掌握大数据挑战的一个主要工具。本文中，InfoQ与Hortonworks公司的市场副总裁David McJannet一起讨论关于Hadoop目前使用情况Hortonworks的调查结果。

2013-12-20 09:46:56

Hadoop 大数据数据处理

英特尔已为Hadoop开启CPU加密机制

芯片巨头英特尔正在加倍努力以捍卫其宝贵的数据中心领地——具体方式为开发其自有技术以推动数据管理与分析技术——例如Hadoop——的实现。

2013-12-19 10:06:18

英特尔 Hadoop

Hadoop大数据分析获本地R语言支持

随着大家对大数据分析越来越感兴趣，软件供应商Revolution Analytics改进了其R语言统计功能旗舰产品，使它能够与Hadoop数据处理平台运行。

2013-12-18 11:26:08

Hadoop 大数据

使用python构建基于hadoop的mapreduce日志分析平台

流量比较大的日志要是直接写入Hadoop对Namenode负载过大，所以入库前合并，可以把各个节点的日志凑并成一个文件写入HDFS。根据情况定期合成，写入到hdfs里面。

2013-12-17 09:52:13

python hadoop mapreduce

开源SQL in Hadoop解决方案：我们处于什么位置？

随着Facebook开源了最近发布的Presto，已经非常拥挤的SQL in Hadoop市场变得更加错综复杂。一些开源工具正在努力获得开发者的注意：Hortonworks 围绕着Hive创建的Stinger、Apache Drill、Apache Tajo、Cloudera的Impala、Salesforce的Phoenix（用于HBase）以及现在的Facebook Presto。

2013-12-13 10:24:34

开源 SQL Hadoop

Hadoop迈入2.0时代更适合企业应用

“现在是企业应用Hadoop的最佳时机。”Hortonworks公司首席技术官Jeff Markham在11月底举行的2013中国Hadoop技术峰会上演讲时表示。在本次峰会上，Hadoop进入2.0时代成了人们谈论的焦点。Jeff Markham表示，Hadoop 2.0拥有更强大、更广泛的符合企业用户需求的新特性，弥补了Hadoop 1.0的不足之处，更符合企业用户的需求。

2013-12-12 12:47:53

Hadoop 2.0 开源大数据

Facebook数据专家：处理大数据，仅有Hadoop不够

随着大数据在各个业务领域的发展和应用，相关的技术和工具也层出不穷，其中Hadoop框架受到更多的关注和应用。Facebook分析主管Ken Rudin最近在纽约举行的一个Strata+Hadoop世界大会发表主题演讲时表示，不要小看关系型数据库技术的价值。他认为，Hadoop编程框架可能是“大数据”运动的代名词，但它并不是企业从大规模存储的非结构化信息中得到价值的唯一工具。

2013-12-12 10:00:03

十八款Hadoop工具帮你驯服大数据译文

Hadoop业界正在迅速发展，从业企业拿出的解决方案也多种多样，其中包括提供技术支持、在托管集群中提供按时租用服务、为这套开源核心开发先进的功能强化或者将自有工具添加到方案组合当中。本文中，我们将一同了解当下Hadoop生态系统当中那些最为突出的杰作。

2013-12-12 09:39:20

Hadoop Hadoop工具大数据

Hadoop无法解决的问题

最近也想写一些Hadoop的学习和使用心得，但是看到网上那么泛滥的文章，我觉得再写点笔记一样的东西实在是没有价值。倒不如在漫天颂歌的时候冷静下来看看，有哪些不适合Hadoop解决的难题呢？

2013-12-05 09:45:04

Hadoop Hadoop架构图

天云趋势蒙世国受邀出席2013Hadoop技术峰会

作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，Haoop中国技术峰会(China Hadoop Summit 2013)于2013年11月22日-23日在北京福朋喜来登集团酒店隆重举行。

2013-12-04 15:03:05

天云趋势 Hadoop

Hadoop2.2.0多节点分布式安装及测试

众所周知，hadoop在10月底release了最新版2.2。很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得。

2013-12-04 13:32:30

Hadoop2.2.0 安装

Jeff Markham：Hadoop YARN的高可用性原创

2013 Hadoop中国技术峰会上，51CTO记者有幸采访到Hortonworks CTO，Jeff Markham先生。Jeff是曾经与VMware，Red Hat，IBM等公司一起构建不同架构的应用，用以处理非结构化数据。

2013-12-04 09:52:50

Hadoop上开源的类SQL实时查询系统对比

总体来说虽然impala、stinger、drill三个系统都是类SQL实时查询系统，但是它们的侧重点完全不同。而且它们也不是为了替换Hive而生，hive在做数据仓库时还是很有价值的。

2013-12-03 10:20:35

开源 SQL 查询系统

关于Hadoop你需要知道的几件事情

Hadoop特别适合大数据处理任务，并且它可以利用其分布式的文件系统，可靠并且低成本的将数据块复制到集群中的节点上去，从而使数据能在本地机器上进行处理。Anoop Kumar从十个方面讲解了利用Hadoop处理大数据所需要的技巧。

2013-12-02 14:07:02

Hadoop 大数据集群

长飞光纤制造商业智能应用经验现场交流会成功举办

由e-works武汉CIO俱乐部组织召开的制造业商业智能（BI）长飞光纤应用经验现场应用交流会于2013年11月23日下午成功举办。

2013-11-29 14:42:13

专访刘涛：京东Hadoop高可用解决方案解析原创

2013年，Hadoop的技术创新不断发展，整个生态系统也变得丰富多彩，大多数机构部署了自己的IT业务系统，京东也自主研发了Hadoop NameNode Cluster方案，51CTO记者很荣幸采访到其Hadoop工程师刘涛，刘涛对京东Hadoop高可用解决方案进行解析，对此感兴趣的网友们，可以通过此文来了解一下。

2013-11-29 12:44:04

Hadoop Hadoop高可用京东Hadoop

优酷土豆单明辉—基于Hadoop平台下的视频推荐系统原创

单明辉，优酷土豆集团技术经理。2008年于中科院声学所获博士学位，主导了优酷土豆视频推荐支撑平台设计与开发，目前负责低延时、高并发的大数据应用支撑平台建设。

2013-11-28 17:56:17

Hadoop 优酷土豆视频

Hadoop完整安装配置

前言* Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景（日志分析和索引建立就是两大应用场景）。

2013-11-28 09:44:00

上一页 1 ··· 160 161 162 163 164 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营