鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9258内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9258 条

Apache Spark源码走读之2：Job的提交与运行

本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。

2014-07-04 10:58:47

巧用云平台简化Spark集群与大数据部署译文

在本届Spark 2014峰会上，Databricks公司CEO Ion Stoica在主题演讲中公布了Databricks云——这是一套针对内存内集群计算的交钥匙平台，承诺以Hadoop MapReduce为基础给大数据处理任务带来显著性能提升。

2014-07-04 10:01:08

通过添加一些gems来提升Rails应用的性能

使用Rails一段时间之后，你可能就会开始吹毛求疵的想要提高它性能。这是一系列文章中第一次考虑如何提高（即使微不足道的）Rails的性能。

2014-07-04 09:58:15

Apache Spark源码走读之1:论文阅读笔记

源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性的认识，阅读Matei Zaharia做的Spark论文是一个非常不错的选择。在阅读该论文的基础之上，再结合Spark作者在2012 Developer Meetup上做的演讲Introduction to Spark Internals，那么对于Spark的内部实现会有一个比较大概的了解。有了上述的两篇文章奠定基础之后，再来进行源码阅读，

2014-07-03 15:40:09

VMware张振伦：Hadoop的虚拟化之恋

从服务器虚拟化到整个数据中心虚拟化，今天我们已经充分感受到了虚拟化这个小子的力量!如果虚拟化能和Hadoop来场恋爱，企业数据中心选择Hadoop的羁绊是不是都会一扫而光呢?答案是肯定的。虚拟化能让Hadoop和底层物理硬件分离，真正步入云端翩跹起舞，Hadoop从而轻松步入快速部署、高可用、资源弹性调度和安全多租户的云端殿堂，企业数据中心大数据分析和利用的美梦才能真正成为现实。

2014-07-02 16:06:07

Spark:星星之火即将燎原

大数据时代，Spark是继Hadoop之后，成为替代Hadoop的下一代云计算大数据核心技术，目前Spark已经构建了自己的整个大数据处理生态系统，如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术，并且是Apache顶级Project，可以预计的是2014年下半年到2015年Spark在社区和商业应用上会有爆发式的增长。目前Spark的技术在国内还属于起步阶段，为了更好地帮助大家了解Spark技术特点及应用前景，我们走访了Spark亚太研究院的院长王家林。

2014-07-02 13:55:17

在Docker上建立多节点的Hadoop集群

在上篇文章中你已经看到了在你的devbox创建一个单点Hadoop 集群是多么简单。现在我们提高门槛，在Docker上创建一个多点hadoop集群。

2014-07-01 09:53:21

Docker Hadoop集群

VMware张振伦:Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力，让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据

2014-06-27 10:14:01

如何成为云计算大数据Spark高手？

Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。

2014-06-25 13:57:50

云计算大数据 Spark

数据挖掘中易犯的11大错误

本文主要讲解在数据挖掘中容易犯错误以及相关的解决方案，从第7点轻信预言中挺有意思的，作者用没有正确的结论，只有越来越准确的结论作为修正。

2014-06-24 09:23:03

未来预测：Hadoop将无法独自处理大数据

大数据的世界正在稳步发展壮大。随着数据数量和种类的不断膨胀，读者都想知道接下来会发生什么。Sriram Mohan博士是罗斯豪曼理工学院计算机科学和软件工程的副教授。同时他还兼任着Avalon咨询公司大数据解决方案高级顾问一职。他融汇理论与实践于一身，他绝对是回答“2014年企业大数据发展趋势”的正确人选。下面是他的一些独到见解。

2014-06-17 09:44:30

快数据：大数据发展的下一个起点译文

开源工具正帮助企业大量处理数据流，而为了引入复杂查询与事务型处理能力，VoltDB公司的John Hugg建议采用内存内NewSQL数据存储模式。

2014-06-16 09:11:29

快数据大数据

深入理解Redis主键失效原理及实现机制

最近本博主就对Redis中的主键失效机制产生了几个疑问，并根据这些疑问对其进行了仔细的探究，现总结所得如下，以飨各位看客。

2014-06-13 11:08:52

Redis 主键失效

无所不能的大数据：预测本届世界杯赛事结果译文

我们能否利用数据来预测谁会最终夺冠？为了避免有失偏颇，我们将一边了解怀疑论者的观点、一边感受高盛集团等支持者对于数据驱动模型能够成功预测世界杯冠军归属的坚定决心。

2014-06-13 02:21:14

大数据预测世界杯

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

一次不经意发现Hadoop的系统态CPU使用率很高，然后百度一下居然是个已知问题。RHEL6优化了内存申请的效率，而且在某些场景下对KVM的性能有明显提升。

2014-06-12 20:00:14

CentOS 6 Hadoop

2014世界杯冠军预测图：基于大数据与JavaScript 原创

一年一度的球迷盛宴——2014巴西世界杯即将6月13号凌晨即将打响，在世界杯过往的84年历史中，巨星闪耀,，留下无尽的传奇史话。这个夏天注定会被桑巴足球的热情所点燃：32支强队、64场激烈的角逐。

2014-06-12 11:32:16

世界杯大数据

给Hadoop新手的一封信

晚上整理邮箱，找到了一封之前网友的关于hadoop学习的来信以及我的回信，我想应该对初学者会有帮助，就贴出来给大家看看!

2014-06-09 15:43:50

解析Spark在腾讯、雅虎、优酷的成功应用

Spark作为Apache顶级的开源项目，项目主页见http://spark.apache.org。在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、Spark Streaming、MLbase、GraphX、SparkR等。从13年起Spark开始举行了自已的Spark Summit会议，会议网址见http://spark-summit.org。Amplab实验室单独成立了独立公司Databricks来支持Spark的研发。

2014-06-09 14:44:44

快扔掉MapReduce，拥抱Spark吧！译文

Apache Spark也许能为Hadoop MapReduce带来一套速度表现更出色的替代方案。

2014-06-05 08:47:52

Spark 1.0 Mapreduce

广州农商银行选择天睿公司部署企业数据仓库

全球数据分析平台、应用和服务供应商天睿公司今日宣布，广州农商银行已经采用天睿公司全球领先的动态企业数据仓库，并借助其专业服务制定数据质量治理标准，实现统一的企业级业务视图。该项目将为该行实现“数据战略”奠定坚实基础，为未来开展各种业务应用提供强大的后台支持能力。

2014-05-28 16:02:34

Teradata 数据仓库

大数据利器：Spark的单机部署与测试笔记

Spark作为最有可能代替mapreduce的分布式计算框架，正受到广泛的关注。相比Hadoop来说，Spark的中间计算结果存于内存无疑给计算过程节省了很多时间，于是想试试看其与Hadoop有什么不一样的地方，就有了这篇Spark的单机部署与测试笔记。

2014-05-16 10:55:47

Splunk推出Hunk 6.1 面向Hadoop与NoSQL Data Stores

实时运维智能软件供应商Splunk 宣布推出面向Hadoop与NoSQL Data Stores的6.1版Hunk™: Splunk® Analytics for Hadoop and NoSQL Data Stores。Hunk 6.1可以更快速、更便捷地将Hadoop与NoSQL 数据存储中的原始非结构化数据转化为商业洞察。

2014-05-08 10:12:04

大数据的结果是福是祸？

在已经到来的大数据时代，我们可能得到非常多的关于人和社会的各种数据和分析结果，面对这些结果，我们如何利用是个非常大的问题。如果我们依照目前一味迎合的做法，大数据的效果可能未必产生正能量。

2014-04-30 15:37:05

一文读懂大数据：Hadoop，大数据技术及相关应用

你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？

2014-04-29 09:59:44

2014年值得关注的十个Hadoop大数据创业公司

开源大数据框架Apache Hadoop已经成了大数据处理的事实标准，同时也几乎成了大数据的代名词，虽然这多少有些以偏概全。

2014-04-24 09:41:06

为什么大数据与传统商业智能有所不同

大数据，这个术语已被过度使用，同样也被过度误解。现在我们陷入了这样一个怪圈：每个人都在谈论这件事，每个人都认为别人在做这件事，所以每个人都说他们正在做这件事。

2014-04-22 10:14:49

Spark基本概念解析

Spark作为一个资源管理器的存在，类似YARN、Mesos的角色，为Spark Application提供资源。

2014-04-16 15:11:19

Spark多语言编程实践

了解了Spark编程的基本概念，可以看出Spark编程都是围绕着RDD进行的。关于编程的基础知识，可以参看spark编程基础。

2014-04-16 14:50:20

Spark的Standalone模式部署

首先，下载并解压缩Spark的源码，切换到解压缩所生成的目录，运行部署包生成程序make-distribution.sh。就可以开始Standalone模式部署过程了。

2014-04-16 14:04:34

Spark Standalone

Spark的YARN模式部署

Spark可以通过SBT（Scala Build Tool）或者Maven来编译，官方提供的二进制安装文件是用Maven编译。

2014-04-16 13:47:43

Spark On Yarn(HDFS HA)详细配置过程

我们将要介绍Spark On Yarn详细配置过程，包括服务器分布以及Spark的部署全部过程。

2014-04-16 11:01:07

Spark集群部署

本文将为您介绍如何在虚拟机环境部署Spark集群。集群上已经成功部署了Hadoop2.2，软件环境为64位Ubuntu12.04 LTS。

2014-04-16 10:41:58

大数据基础知识：分布式计算、服务器集群

大数据，官方定义是指那些数据量特别大、数据类别特别复杂的数据集，这种数据集无法用传统的数据库进行存储，管理和处理。大数据的主要特点为数据量大（Volume），数据类别复杂（Variety），数据处理速度快（Velocity）和数据真实性高（Veracity），合起来被称为4V。

2014-04-16 09:12:10

百度、阿里、腾讯对待大数据的不同思路

拥有海量数据的公司已在多个领域尝试对掌握的数据进行利用，大数据意识和能力进步飞快，体系和工具日趋成熟。

2014-04-14 10:02:48

Apache Spark三种分布式部署方式比较

目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。

2014-04-09 14:59:55

Cloudera将Spark划入Hadoop

Spark作为一个通用的并行计算框架，已经成为继Hadoop之后又一大热门开元项目，逐渐获得很多企业的支持。近日，Cloudera正式宣布开始商业支持Apache Spark 机器学习和数据流处理环境。

2014-04-09 10:55:55

PostgreSQL痛点的解决方案

PostgreSQL是一个很老的系统，可以追溯到1996；它被很多用户在多种操作系统上运行。因此，PostgreSQL开发商被他们可以添加的Linux指定代码的数量所限制。它是基于合作进程的，没使用线程。系统 V 共享内存用于进程间通信。重要的是，PostgreSQL维护它自己的内部缓冲区，但也使用 I/O 缓冲来读写磁盘数据。这种缓冲的组合导致了 PostgreSQL 用户所经历的一些问题。

2014-04-08 09:49:27

PostgreSQL 双缓冲

开源Hadoop较高下：IBM与AWS关键看啥？

多年来，开源初创公司Cloudera和Hortonworks在Hadoop市场一直占有绝对地位，诸如Oracle、微软以及其他一些公司也想在这个市场占有一席之地，但更多是通过与专业的Hadoop初创公司建立伙伴关系间接地参与市场争夺。

2014-04-01 11:14:29

AWS IBM 开源Hadoop

原来是这么玩，解析全球十大电信巨头如何玩大数据

对于电信运营商而言，没有哪一个时代能比肩4G时代，轻松掌握如此海量的客户数据。4G时代，手机购物、视频通话、移动音乐下载、手机游戏、手机IM、移动搜索、移动支付等移动数据业务层出不穷。它们在为用户创造了前所未有的新体验同时，也为电信运营商挖掘用户数据价值提供了大数据的视角。数据挖掘、数据共享、数据分析已经成为全球电信运营商转变商业模式，赢取深度商业洞察力的基本共识。

2014-03-31 14:59:08

Spark会是大数据领域的下一个大家伙吗？_IT技术周刊第359期

2014-03-31 13:47:35

大数据时代的数据库集群技术漫谈

本篇文章将对集群的概念、形式以及目前主流的数据库集群技术进行探讨。

2014-03-28 15:10:09

大数据数据库集群

MongoDB集群搭建及Sharding的实现思路

选择一个合适索引而减少索引量，这种索引叫做重复索引,能够在索引中直接查找到所有要查询的索引，叫做覆盖索引，能够满足覆盖索引的条件并且排序次序又能够与索引的次序相同，这种次序是"3星"的,所以任何时候创建索引的目的一定要与搜索码完全匹配，至少保持一致.

2014-03-28 09:35:11

MongoDB Sharding

优酷土豆应用Spark完善大数据分析案例

优酷土豆作为国内最大的视频网站，和国内其他互联网巨头一样，率先看到大数据对公司业务的价值，早在2009年就开始使用Hadoop集群，随着这些年业务迅猛发展，优酷土豆又率先尝试了仍处于大数据前沿领域的Spark/Shark 内存计算框架，很好地解决了机器学习和图计算多次迭代的瓶颈问题，使得公司大数据分析更加完善。

2014-03-27 09:36:36

对比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工业大学机器学习专业的博士后，他通过描述了自己对Spark逐步认识的过程，为我们剖析了Spark的原理和应用。

2014-03-26 11:09:27

Apache Spark是大数据领域的下一个大家伙吗？

Spark是一个基于内存in-memory数据处理平台，兼容于Hadoop 数据源但是比Hadoop MapReduce运行得快得多。.特别适合于机器学习处理。

2014-03-26 10:59:14

Apache Spark的R语言前端：SparkR

SparkR是一个R语言包提供了一个轻量级的前端，用于从R语言中使用Apache Spark。SparkR通过RDD类暴露Spark API，允许用户以交互方式在集群上从R shell运行jobs。

2014-03-26 10:52:24

Hadoop部署常用的小脚本

最近抛弃非ssh连接的Hadoop集群部署方式了，还是回到了用ssh key 验证的方式上了。这里面就有些麻烦，每台机器都要上传公钥。恰恰我又是个很懒的人，所以写几个小脚本完成，只要在一台机器上面就可以做公钥的分发了。

2014-03-18 10:19:55

Hadoop部署 hadoop集群脚本

使用Windows Azure搭建Hadoop集群

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群。

2014-03-17 10:05:45

淘宝主搜索离线集群完成Hadoop 2.0升级

淘宝搜索离线dump集群(hadoop&hbase)2013进行了几次重大升级，本文中将这些升级的详细过程、升级中所遇到的问题以及这些问题的解决方案分享给大家。至此，淘宝主搜索离线集群完全进入Hadoop 2.0时代。

2014-03-13 10:14:59

离线集群 Hadoop 2.0 淘宝

如何让Hadoop结合R语言做大数据分析？

R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。

2014-03-12 10:17:22

上一页 1 ··· 168 169 170 171 172 ··· 186 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营