鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9260内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9260 条

Hadoop Summit 2013 Day1：BOF&Meetup

YRAN的Developer Meetup是几个HortonWorks的哥们主持的，先是收集大家的问题，主要包括intro、roadmap、API、compability、Storm、HBase等内容，以讨论形式为主。

2013-07-03 14:53:48

Hadoop Summit 2013 Day2：信息大爆炸

今天参加了3个keynotes，42个session中的8个，和一大堆厂商讨论技术，真是信息大爆炸的一天。

2013-07-03 14:27:05

在数据中心人们所做的10件蠢事

导读：在数据中心，小失误可能会导致大问题，不管是对于你公司，还是你个人，都会是大麻烦。

2013-07-03 10:10:22

大数据数据中心大数据应用

大数据初创企业WibiData将Hadoop“打包”

其实WibiData在创立初期，并没有什么宏伟的战略规划，仅仅是想成为第一个提供基于Hadoop商业应用套件的软件供应商(即使不是第一，也应该是之一)。在今年5月份，WibiData宣布获得了1500万美元的B轮融资，该轮融资由Canaan Partners领投，原有的投资者NEA以及谷歌董事长埃里克·施密特也有参投，共同助力WibiData完成这一宏伟的目标。

2013-07-02 13:38:59

WibiData Hadoop Cloudera

VMware筹备Serengeti项目欲推Hadoop虚拟工具

作为一家像VMware这样的服务器虚拟化供应商，其眼中恐怕没有哪种工作负载不能(或者说不应该)，被以抽象形式剥离底层硬件、从而使其变得更具可塑性与便携性。从这个角度出发，VMware理所当然地把Hadoop作为下一个进军目标——顺便赚点经济回报。

2013-07-01 10:07:14

VMware Hadoop虚拟工具

Netflix开源Hadoop工具：日处理近万作业、上千TB数据

而近日，这头来自Netflix的妖怪终于被放出神灯，于GitHub上开源。在这里不得不感叹一句Amazon确实该给Netflix颁发个最佳生态伙伴奖。

2013-06-28 11:29:15

云计算数据 Hadoop

大数据时代可能影响你的7个商业趋势

关于大数据的话题一直在市场中很活跃，今天随时越来越多的数据创新的出现和科技精英证明其在大数据的创新与使用大数据方案上取得的成功。我们觉得大数据到达了这样一个临界点，关于“大数据”的争论以及“大数据”的困惑将很快会顾客的成功案例所取代。

2013-06-28 09:40:42

TCloud牵手WANdisco 加速Hadoop中国发展

通过合作，TCloud将为国内企业客户及现有WANdisco的客户提供综合性的Hadoop解决方案，其中包括业务使用情况调查、开发、集成、交付和服务支持。

2013-06-27 17:48:05

ChinaHadoop夏季技术沙龙

集结号再次响起，ChinaHadoop开源社区再次联络在互联网公司具有多年Hadoop大数据平台使用经验的技术专家，在盛夏之际为大家献上一场精彩的技术分享活动。

2013-06-24 10:45:26

淘宝入股新浪微博，说好的大数据挖掘呢？

背靠阿里巴巴这棵大树，新浪微博希望通过社会化营销产品快速变现，但是目前新浪微博利用淘宝资源做的广告只能用四个字形容——“简单粗暴”。这些广告不仅离个性化推荐相去甚远，而且呈现方式也难称美观

2013-06-24 09:28:53

大数据挖掘

雅虎之子创立Hadoop公司

Altiscale集群服务允许企业用户将Hadoop集群的更新与维护工作外包给由前谷歌及雅虎员工们组成的技术团队，该团队承诺帮助用户从数据分析平台管理工作中解脱出来。

2013-06-17 09:50:26

雅虎 Hadoop 大数据

2013创新中国BizSpark专场（北京）圆满结束

6月13日下午17:00，由创业邦和微软(中国)有限公司BizSpark计划联合主办的2013创新中国微软BizSpark新创企业大赛 —— 云/端专场大赛(北京)在中关村微软大厦完美落幕。来自全国各地的12家创业团队参加了本次大赛。

2013-06-14 16:05:18

前雅虎CTO发布Hadoop云服务Altiscale

最近，Stata创办的Hadoop创业公司Altiscale募集了1200万美元A轮融资。Stata曾亲手将Hadoop从一个小微项目打造成一个规模可达42000个节点的大型生产系统，而Altiscale，正是Stata在Hadoop技术领域浸淫7年的成果。

2013-06-14 09:24:59

Hadoop 云服务 Altiscale

大数据与商业分析：新的TOP-DOWN纠结

本文将给大家介绍大数据时代的商业分析模式，期间有作者本人的疑惑与深思，供大家参考。

2013-06-13 14:56:46

Ubuntu 12.04搭建Hadoop2.0.4单机版伪分布式环境

本文将为您介绍Ubuntu 12.04搭建Hadoop2.0.4单机版环境的过程，希望对大家有所帮助。

2013-06-13 10:39:54

Hadoop 2.0：分布式环境搭建安装配置

今天我们将搭建的是Hadoop 2.0分布式环境，包括真实主机和虚拟机的环境。

2013-06-08 14:34:42

针对大数据 Google Maps Engine API全新发布

今天除了发布Android平台最新键盘应用之外Google发布了全新的Google Maps Engine API，主要为那些大型企业开发者提供大数据大容量的定位数据。

2013-06-06 13:35:33

R语言进阶之5:表达式、数学公式与特殊符号

在R语言的绘图函数中，如果文本参数是合法的R语言表达式，那么这个表达式就被用Tex类似的规则进行文本格式化。

2013-06-03 09:45:53

R语言进阶之4：数据整形（reshape）

从不同途径得到的数据的组织方式是多种多样的，很多数据都要经过整理才能进行有效的分析，数据整形不仅仅是为了改善数据的外观，也是进行一些统计分析和作图前必要的步骤。数据整形和数据凝练/汇总往往密不可分，这是门学问，是R语言数据处理的内容之一。

2013-05-31 10:15:29

Amazon Redshift：本地数据仓库替代品

Amazon Redshift把数据仓库应用提升到了平台即服务(PaaS)产品的高度。这个数据仓库服务是基于PostgreSQL定制版的，这是一个具有其竞争对手商业关系型数据库管理系统所有功能的开源关系型数据库。多年以来，关系型数据库一直都支持服务器集群，但是其早期版本是难以实施和管理的。

2013-05-30 09:26:07

Redshift 数据仓库云存储

详解Hadoop 2.0中的CDH4 MR配置

我们今天要谈到的是Hadoop 2.0中的CDH4 MR配置，另外mr1,mr2不能同时运行在hadoop资源上，但是可以调整配置，使其两者可切换启动。

2013-05-30 09:07:29

技术小白：Hadoop 到底是啥？

大数据是个铺天盖地的词，而谈论大数据又不可避免地要提到Hadoop，遗憾的是今天大多数大数据鼓吹者，甚至专业人士其实并不能说清楚Hadoop到底是什么玩意，以及有何功用，而他们的管理层小白听众更是一头雾水。

2013-05-29 10:17:56

Hadoop 分布式文件系统

Hadoop 2.0 Yarn代码:心跳驱动服务分析

当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。

2013-05-29 09:22:03

Hadoop 2.0发布大数据新突破在即

不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-28 09:49:04

Hadoop 2.0 大数据数据存储

Hadoop 2.0 NameNode HA和Federation实践

天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。Cloudera也于7月制作了CDH4.0.1，包含了Hadoop 2.0的诸多新功能和组件，于是我们就基于CDH4.0.1进行了HA和Federation的测试。此工作由我和同事张军、钱兴会共同完成。

2013-05-28 09:12:59

Hadoop 2.0：大数据的新突破在即

以往 Hadoop 似乎就是大数据的代名词。不过最近随着大数据应用的深入，大家已经越来越倾向于仅仅把它看成是大数据的一个存储工具了。接下来的Hadoop 2.0就为了解决之前所出现的问题。

2013-05-27 15:12:49

Hadoop 2.0.3在Linux环境下单机部署

与之前的稳定的hadoop-1.x相比，Apache Hadoop 2.x有较为显著的变化。这里给出在HDFS和MapReduce两方面的改进。

2013-05-27 14:37:31

Hadoop 2.0的两种RPC

Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC。

2013-05-27 14:31:34

红帽LINUX 5下安装Hadoop 2.0.0-alpha

本文将为大家介绍在红帽Linux 5下安装Hadoop 2.0.0-alpha的全部工作，包括之前安装环境和配置工作。

2013-05-27 14:21:58

Hadoop版本及cloudera的CDH3 CDH4

Hadoop有两个分支：0.20.x 和0.23.x。其中0.20.x是比较稳定的版本，0.23.x中新特性更多，但相对不稳定。

2013-05-27 14:19:39

Hadoop 2.0.2和Hive 0.10.0单机伪集群配置

今天我们要讲的是Hadoop 2.0.2和Hive 0.10.0单机伪集群配置。

2013-05-27 14:13:51

Hadoop 2.0基本术语解释

在阅读Hadoop 2.0的相关资料时，很多人将一些概念混淆了，本文将对Hadoop 2.0涉及到的术语进行比较全面的介绍。

2013-05-27 14:05:16

Hadoop 2.0将发布大数据的新突破在即

不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶段演进的的完美起点。今年夏天就要亮相的Hadoop 2.0将会令数据仓库中的信息以及非结构化数据池前所未有地容易访问。

2013-05-27 10:21:51

Hadoop 2.0 大数据

从问题域出发认识Hadoop生态系统

Hadoop作为一个生态系统，每个系统只解决某一个特定的问题域（甚至可能很窄），这也是Hadoop的魅力所在：不搞统一型的一个全能系统，而是小而精的多个小系统。本文重点讨论分布式领域的几个系统问题域。

2013-05-27 10:01:33

Hadoop Hadoop系统

R语言基础（一）

我们要谈到的是R语言对象的产生、排列、删除，以及内存的查看等等。

2013-05-24 10:01:40

大数据分析--R语言开始之旅

在R的官方教程里是这么给R下注解的:一个数据分析和图形显示的程序设计环境(A system for data analysis and visualization which is built based on S language.)。

2013-05-22 08:55:14

英特尔让大数据“接地气”：Hadoop从架构做起

当大数据成为常挂在口边的一个词，那么，接地气就显得尤为重要。英特尔将大数据解决方案英特尔Hadoop发行版软件最先发布在中国，并在通信等行业得以实施，更要紧的是，英特尔为ISV、应用软件供应商在大数据上的实施带来了便捷。

2013-05-21 10:24:11

英特尔大数据 Hadoop

Hadoop 文件系统多次关闭的问题

当读写文件的时候，Hadoop抛异常说文件系统已经关闭。后来发现，是一个多线程的程序。FileSystem.get(getConf())返回的可能是一个cache中的结果，它并不是每次都创建一个新的实例。这就意味着，如果每个线程都自己去get一个文件系统，然后使用，然后关闭，就会有问题。

2013-05-21 10:10:29

Hadoop 文件系统

专为Mac本跟踪Hadoop任务的应用

JobTracker.app是一个针对Hadoop JobTracker的Mac菜单栏应用。它提供了对Mapreduce 任务启动、完成、失败的通知，可以通过它轻松访问这些任务的详细页面。

2013-05-20 16:42:17

Hadoop目前只是“穷人的ETL”

根据IDC发布的Hadoop-MapReduce软件生态系统预测报告，Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析，而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

2013-05-20 09:36:32

Hadoop 大数据分析工具大数据

R语言进阶之3：数据汇总/透视/提炼

汇总、透视、提炼、凝炼，对数据处理来说这些词的意思都差不多，R语言提供了很多函数处理这些事情，还有一些软件包也提供了非常方便的数据汇总功能，方法不胜枚举。summary是获取数据概要最常用的函数，应该很熟悉了。这里只简单介绍rowSums, colSums, rowMeans, colMeans, table、apply、lapply、sapply、vapply、tapply、mapply、by 和 aggregate等函数的用法。

2013-05-16 09:37:14

R语言进阶之2：文本（字符串）处理与正则表达式

处理文本是每一种计算机语言都应该具备的功能，但不是每一种语言都侧重于处理文本。R语言是统计的语言，处理文本不是它的强项，perl语言这方面的功能比R不知要强多少倍。幸运的是R语言的可扩展能力很强，DNA/RNA/AA等生物序列现在已经可以使用R来处理。

2013-05-15 13:32:16

用R语言对JPG/JPEG图片进行背景透明处理

我们在准备会议或工作报告时经常要把单位或组织的徽标插入到幻灯片中，但从照片或网上截屏获得的徽标图片的背景色通常和我们幻灯片的背景不搭配，能把徽标本身的背景色透明掉就好了。如果你会用R，过程就非常简单，只要几行代码。

2013-05-15 10:27:05

Hadoop傻瓜化：Datameer大数据收入翻三番

Datameer这样的硅谷大数据创业公司摸准了企业的需求，并且已经淘到了真金白银，这将进一步刺激大数据淘金热，同时也为其他大数据创业公司指明了方向。

2013-05-15 09:45:50

Hadoop Datameer 大数据

Twitter收购大数据分析公司Luchy Sort

Twitter周一宣布已收购大数据分析公司Luchy Sort。后者的服务将在未来数月里陆续关闭。

2013-05-14 10:01:57

R语言学习笔记(3)：绘图

经过前面两篇的学习内容，我们已经大体知道了R是什么以及R中主要的数据类型和数据结构。尽管了解得很粗浅，但我还是迫不及待的进入了“绘图”这一主题。

2013-05-14 09:42:36

走出沙盒 Hadoop数据管理重要性提升

在Web应用方面Hadoop已经证明了自己，但是迄今为止大多数的工作也仅仅归为POC的范畴。健壮的管理能力缺失是造成这一现象的主要原因，然而事情正在发生改变：在企业中，Hadoop有待于更进一步的融入运营工作流，以期带来更好的安全性和查询功能。

2013-05-13 10:32:01

Hadoop 数据管理提升

Cloudera释放Impala 1.0：与Hadoop完全整合，各方面完爆Hive

5月1日，Cloudera释放了Impala 1.0版本(下载传送门);对比旧版本，新的版本基于社区回馈和现实世界中不同的负载做出了修改，其根本的设计理念是与Hadoop无缝的整合——共同使用一个存储池、元数据模型、安全框架以及系统资源集。

2013-05-13 09:36:28

Cloudera Impala 1.0 Hadoop

R语言学习笔记(2)：数据类型和数据结构

尽管前面提到R是面向对象的，但是个人认为R中的所谓对象其实只是一种结构（struct）。还是要使用函数对其进行操作。

2013-05-10 15:27:07

R语言学习笔记(1)：R是什么

在学习量化投资的时候，我发现了R（www.r-project.org）。R到底是什么呢？在开始之前，先看看R的神奇之处。

2013-05-10 14:37:37

上一页 1 ··· 172 173 174 175 176 ··· 186 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营