直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8829内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8829 条

Hadoop虚拟化影响大数据存储 SAN成优选？

大数据时代，Hadoop将会会大规模部署于企业之中。VMware新的vSphere Big Data Extensions (BDE) 将其开源项目Serengeti商业化，使企业管理员能够随心所欲地玩转虚拟Hadoop集群。

2013-08-02 10:47:56

Hadoop 大数据存储 SAN

比大数据还大的是什么？

大数据，大数据，大数据。我没有在学唐僧念经，而是近来这个词实在是太热门了，在我耳边余音不绝。看到一个略带批判主义的信息图，审视拷贝数据的体量。

2013-08-01 14:03:50

大数据比大数据还大更大的数据

深入理解Hadoop集群和网络

本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。

2013-07-31 10:04:42

hadoop Hadoop集群集群和网络

将OpenStack部署到Hadoop的四种方案

随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。本文从一些基础知识入手，将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应

2013-07-26 16:38:54

OpenStack Hadoop

科技发展要带我们去向何处原创

今天上海举行的甲骨文全球技术大会上，我听到的最有启发性的演讲之一来自神州数码工程研究院院长谢耘的IT转型与智慧城市发展主题演讲。

2013-07-24 23:49:08

甲骨文全球大会2013 云计算智慧城市

从安全隐患带来的商机来看，Hadoop同样很美

Hadoop，作为被大肆宣传的大数据利器，设计初衷是为搜索引擎建立网页索引，而不是处理信用卡号，所以安全并不是其重点考虑的问题。基于这个原因，许多企业对Hadoop都是浅尝辄止。目前，包括Cloudera、Intel在内等多个Hadoop发行版厂商，都在实行或制定安全方面的计划。

2013-07-24 09:33:46

Hadoop 安全加密

独家提供：最具有价值的Hadoop Summit 2013资料下载_开发技术周刊第094期_51CTO.com

2013-07-23 16:55:31

开发技术周刊

数据分析≠Hadoop+NoSQL，完善现有技术的10条捷径

如果得到正确的应用，Hadoop确实能从根本上提升你公司的业务，然而这条Hadoop的应用之路却充满了荆棘。另一个方面，许多企业(当然不是Google、Facebook或者Twitter)也没有做大数据分析所需要的巨型集群，他们纯粹是被“大数据”这个热门的词语给吸引的。

2013-07-22 09:33:56

NoSQL 大数据 Hadoop

Hortonworks CTO：Hadoop的现在和将来

Hortonworks公司，由Yahoo和Benchmark Capital于2011年7月联合创建。在激烈的市场环境中，与其他竞争者相比Hortonworks有着自己的优势。出身于名门Yahoo!，Hortonworks拥有着许多Hadoop架构师和源代码贡献者，这些源代码贡献者以前均效力于Yahoo，而且已经为Apache Hadoop项目贡献了超过80%的源代码，Hortonworks这样说道。

2013-07-19 11:00:36

Hadoop 2013:最受关注的13款大数据产品

2013年6月26、27日两天，在圣何塞举行的Hadoop Summit 2013，不仅是Hadoop生态圈的盛宴，也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现，也能看到核心玩家Cloudera和Hortonworks互相角力。

2013-07-19 10:15:54

大数据产品 Hadoop

White Elephant：开发者必备的Hadoop利器

为了应对这些超大数据，LinkedIn使用Hadoop进行产品开发，并且为了更好地理解LinkedIn在所有用例中的Hadoop集群使用情况，他们创建了White Elephant。

2013-07-19 09:47:57

White Eleph Hadoop LinkedIn

Hadoop：Cloudera收购Myrrix共创“Big Learning”

目前机器学习已经成为大数据的典型使用案例，通过收购机器学习创业公司Myrrix，Cloudera又朝着其大数据一站式服务点的目标迈进了一步。Myrrix创始人Sean Owen， 7月16日上午在博客中正式宣布了这一收购，Sean Owen目前已担任Cloudera位于伦敦的数据科学部总监。

2013-07-19 09:43:16

Hadoop 大数据 Cloudera

Hadoop新貌，掀起企业工作流的革命

Hadoop走入大型机 — Hadoop能够掀起企业工作流的革命，让企业的业务变得更加快捷，能够直接消除平台限制，为企业节省百万成本。基于Hadoop的生态环境与整体解决方案能够大幅度的降低大型机的批处理时间，在更细致的水平上进行数据存取与分析。

2013-07-19 09:07:28

Hadoop 工业流

大数据与狂野的商业智能

BI（business intelligence）是一个用来处理业务的数字大脑，它是企业的大脑，是一个收集工具。它传达着这样一种商业精神：实现过程和理想目标的统一。

2013-07-18 17:23:43

大数据商业智能化

Hadoop集群部署（部署脚本，namenode高可用）

本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。

2013-07-11 13:39:23

大数据或成“抑郁情绪识别”新兴方法？

由哈工大“社会网络与数据挖掘”联合实验室、国内数据挖掘公司“宏博知微”组成的研发团队，于6月底建成基于社交媒体数据的抑郁倾向识别模型。相关人士表示，这项研究结果或成为抑郁情绪临床识别之外的新兴识别方法。

2013-07-10 16:43:00

大数据大数据应用

微软为Office 365增加商业智能功能

Power BI将向用户提供Kelly所说的“自助服务商业智能”，或者向与商务问题最接近的最终用户提供把数据和信息组合在一起的能力。微软将在本周在休斯顿举行的微软全球合作伙伴大会上推出这项服务。

2013-07-10 09:18:13

微软 Office 365

VMware对大数据平台Hadoop实现虚拟化译文

VMware宣布的这些新功能是公共测试版的一部分，使用vSphere 5.1的客户现在可以报名申领公测版;预计这些功能会在年底前正式投放市场。除了宣布这些扩展件外，VMware还表示Serengeti项目支持来自Apache Hadoop的最新开源代码，其中包括新的YARN功能：Hadoop社区的一些人认为，这款资源管理器有望为基于Hadoop平台开发的新应用程序打开闸门。

2013-07-08 09:50:22

VMware Hadoop 虚拟化

Hadoop+GPU强强联手的性能探索

Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样?能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。

2013-07-08 09:41:50

Hadoop GPU 性能优化

XOR的黄色大象：Erasure Code为Hadoop节省数据恢复带宽

如何在尽可能少的成本下，保证数据安全，或在数据丢失后实现快速恢复？这的确是个不小的挑战。在Azure和Facebook中都使用了Erasure Code，这是一种替代Hadoop三副本和传统Reed Solomon Code的高效算法。

2013-07-05 10:12:35

Hadoop Erasure CodeReed

Hadoop Summit 2013 Day1：BOF&Meetup

YRAN的Developer Meetup是几个HortonWorks的哥们主持的，先是收集大家的问题，主要包括intro、roadmap、API、compability、Storm、HBase等内容，以讨论形式为主。

2013-07-03 14:53:48

Hadoop Summit 2013 Day2：信息大爆炸

今天参加了3个keynotes，42个session中的8个，和一大堆厂商讨论技术，真是信息大爆炸的一天。

2013-07-03 14:27:05

在数据中心人们所做的10件蠢事

导读：在数据中心，小失误可能会导致大问题，不管是对于你公司，还是你个人，都会是大麻烦。

2013-07-03 10:10:22

大数据数据中心大数据应用

大数据初创企业WibiData将Hadoop“打包”

其实WibiData在创立初期，并没有什么宏伟的战略规划，仅仅是想成为第一个提供基于Hadoop商业应用套件的软件供应商(即使不是第一，也应该是之一)。在今年5月份，WibiData宣布获得了1500万美元的B轮融资，该轮融资由Canaan Partners领投，原有的投资者NEA以及谷歌董事长埃里克·施密特也有参投，共同助力WibiData完成这一宏伟的目标。

2013-07-02 13:38:59

WibiData Hadoop Cloudera

VMware筹备Serengeti项目欲推Hadoop虚拟工具

作为一家像VMware这样的服务器虚拟化供应商，其眼中恐怕没有哪种工作负载不能(或者说不应该)，被以抽象形式剥离底层硬件、从而使其变得更具可塑性与便携性。从这个角度出发，VMware理所当然地把Hadoop作为下一个进军目标——顺便赚点经济回报。

2013-07-01 10:07:14

VMware Hadoop虚拟工具

Netflix开源Hadoop工具：日处理近万作业、上千TB数据

而近日，这头来自Netflix的妖怪终于被放出神灯，于GitHub上开源。在这里不得不感叹一句Amazon确实该给Netflix颁发个最佳生态伙伴奖。

2013-06-28 11:29:15

云计算数据 Hadoop

大数据时代可能影响你的7个商业趋势

关于大数据的话题一直在市场中很活跃，今天随时越来越多的数据创新的出现和科技精英证明其在大数据的创新与使用大数据方案上取得的成功。我们觉得大数据到达了这样一个临界点，关于“大数据”的争论以及“大数据”的困惑将很快会顾客的成功案例所取代。

2013-06-28 09:40:42

TCloud牵手WANdisco 加速Hadoop中国发展

通过合作，TCloud将为国内企业客户及现有WANdisco的客户提供综合性的Hadoop解决方案，其中包括业务使用情况调查、开发、集成、交付和服务支持。

2013-06-27 17:48:05

ChinaHadoop夏季技术沙龙

集结号再次响起，ChinaHadoop开源社区再次联络在互联网公司具有多年Hadoop大数据平台使用经验的技术专家，在盛夏之际为大家献上一场精彩的技术分享活动。

2013-06-24 10:45:26

淘宝入股新浪微博，说好的大数据挖掘呢？

背靠阿里巴巴这棵大树，新浪微博希望通过社会化营销产品快速变现，但是目前新浪微博利用淘宝资源做的广告只能用四个字形容——“简单粗暴”。这些广告不仅离个性化推荐相去甚远，而且呈现方式也难称美观

2013-06-24 09:28:53

大数据挖掘

雅虎之子创立Hadoop公司

Altiscale集群服务允许企业用户将Hadoop集群的更新与维护工作外包给由前谷歌及雅虎员工们组成的技术团队，该团队承诺帮助用户从数据分析平台管理工作中解脱出来。

2013-06-17 09:50:26

雅虎 Hadoop 大数据

2013创新中国BizSpark专场（北京）圆满结束

6月13日下午17:00，由创业邦和微软(中国)有限公司BizSpark计划联合主办的2013创新中国微软BizSpark新创企业大赛 —— 云/端专场大赛(北京)在中关村微软大厦完美落幕。来自全国各地的12家创业团队参加了本次大赛。

2013-06-14 16:05:18

前雅虎CTO发布Hadoop云服务Altiscale

最近，Stata创办的Hadoop创业公司Altiscale募集了1200万美元A轮融资。Stata曾亲手将Hadoop从一个小微项目打造成一个规模可达42000个节点的大型生产系统，而Altiscale，正是Stata在Hadoop技术领域浸淫7年的成果。

2013-06-14 09:24:59

Hadoop 云服务 Altiscale

大数据与商业分析：新的TOP-DOWN纠结

本文将给大家介绍大数据时代的商业分析模式，期间有作者本人的疑惑与深思，供大家参考。

2013-06-13 14:56:46

Ubuntu 12.04搭建Hadoop2.0.4单机版伪分布式环境

本文将为您介绍Ubuntu 12.04搭建Hadoop2.0.4单机版环境的过程，希望对大家有所帮助。

2013-06-13 10:39:54

Hadoop 2.0：分布式环境搭建安装配置

今天我们将搭建的是Hadoop 2.0分布式环境，包括真实主机和虚拟机的环境。

2013-06-08 14:34:42

针对大数据 Google Maps Engine API全新发布

今天除了发布Android平台最新键盘应用之外Google发布了全新的Google Maps Engine API，主要为那些大型企业开发者提供大数据大容量的定位数据。

2013-06-06 13:35:33

R语言进阶之5:表达式、数学公式与特殊符号

在R语言的绘图函数中，如果文本参数是合法的R语言表达式，那么这个表达式就被用Tex类似的规则进行文本格式化。

2013-06-03 09:45:53

R语言进阶之4：数据整形（reshape）

从不同途径得到的数据的组织方式是多种多样的，很多数据都要经过整理才能进行有效的分析，数据整形不仅仅是为了改善数据的外观，也是进行一些统计分析和作图前必要的步骤。数据整形和数据凝练/汇总往往密不可分，这是门学问，是R语言数据处理的内容之一。

2013-05-31 10:15:29

Amazon Redshift：本地数据仓库替代品

Amazon Redshift把数据仓库应用提升到了平台即服务(PaaS)产品的高度。这个数据仓库服务是基于PostgreSQL定制版的，这是一个具有其竞争对手商业关系型数据库管理系统所有功能的开源关系型数据库。多年以来，关系型数据库一直都支持服务器集群，但是其早期版本是难以实施和管理的。

2013-05-30 09:26:07

Redshift 数据仓库云存储

详解Hadoop 2.0中的CDH4 MR配置

我们今天要谈到的是Hadoop 2.0中的CDH4 MR配置，另外mr1,mr2不能同时运行在hadoop资源上，但是可以调整配置，使其两者可切换启动。

2013-05-30 09:07:29

技术小白：Hadoop 到底是啥？

大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，遗憾的是今天大多数大数据鼓吹者，甚至专业人士其实并不能说清楚Hadoop到底是什么玩意，以及有何功用，而他们的管理层小白听众更是一头雾水。

2013-05-29 10:17:56

Hadoop 分布式文件系统

Hadoop 2.0 Yarn代码:心跳驱动服务分析

当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。

2013-05-29 09:22:03

Hadoop 2.0发布大数据新突破在即

不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-28 09:49:04

Hadoop 2.0 大数据数据存储

Hadoop 2.0 NameNode HA和Federation实践

天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试。此工作由我和同事张军、钱兴会共同完成。

2013-05-28 09:12:59

Hadoop 2.0：大数据的新突破在即

以往 Hadoop 似乎就是大数据的代名词。不过最近随着大数据应用的深入，大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。接下来的Hadoop 2.0就为了解决之前所出现的问题。

2013-05-27 15:12:49

Hadoop 2.0.3在Linux环境下单机部署

与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。

2013-05-27 14:37:31

Hadoop 2.0的两种RPC

Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC。

2013-05-27 14:31:34

红帽LINUX 5下安装Hadoop 2.0.0-alpha

本文将为大家介绍在红帽Linux 5下安装Hadoop 2.0.0-alpha的全部工作，包括之前安装环境和配置工作。

2013-05-27 14:21:58

Hadoop版本及cloudera的CDH3 CDH4

Hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。

2013-05-27 14:19:39

上一页 1 ··· 163 164 165 166 167 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营