鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9228内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9228 条

英特尔大数据智慧：Apache Hadoop更优性能

英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的最高性能——同时保证复杂度处于最低限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。

2013-02-18 15:15:32

英特尔大数据 Apache

使用大数据做出更明智业务决策

大数据咨询公司NewVantage Partners在近期公布的报告中指出，尤其是金融服务公司这类大型公司正在快速采用大数据，并且这一速度比预期的要快。这些公司是如何利用大数据做出更明智的业务决策的呢?

2013-02-18 11:16:10

华为通过微软2012 Fast Track数据仓库认证

华为今天宣布成为中国首家通过微软SQL Server 2012 Fast Track数据仓库认证的厂家，华为Tecal RH2288 V2成为基于SSD加速卡的SQL Server Fast Track认证服务器。

2013-02-01 12:42:58

华为微软数据库

Apache Hadoop集群的安全性架构

虽然基于现有的基础设施或定制的内部监控程序不同，使用的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说，部署必不可少的“警卫”和检查，进而来保护Hadoop节点的安全性都是至关重要的。以下的10个组件应该作为部署Apache Hadoop安全性架构的讨论指南。

2013-01-29 10:20:06

MapReduce Hadoop 架构

小白学数据分析：留存率分析

最近在做留存分析时，遇到了不少的情况，也经常会有人问我，为什么我的游戏突然次日留存率降了一半。如果留存率是单单作为一个简单的指标的话，那对你价值还是蛮有限的，今天就和大家说说一个case，这是不久前解决掉的问题，相信会帮助不少人。OK，这也将作为留存率分析的第一篇文章，后续在和各位分享。

2013-01-29 09:57:23

2015年65%高级分析产品将嵌入Hadoop

尽管在2012年部署Hadoop系统需要特殊技巧，但是，机构认识到Hadoop驱动的分析给大数据程序带来的实力。这对于分析糟糕的结构化数据、文本、行为分析和基于时间的查询更是如此。虽然IT机构在过去几年里进行了测试，特别是使用具有Hadoop功能的数据库管理系统产品和设备进行了测试，但是，应用提供商将更进一步，在打包的应用中嵌入专用的、基于Hadoop的分析功能。

2013-01-29 09:16:43

分析 Hadoop 大数据

Joyent和SkyTap分别推出云Hadoop服务

这是厂商通过推出最新技术使自己的产品差异化的最新举措，也是提高大数据分析云应用的最新举措。在这种应用中，实际上有无限的资源根据按使用付费的定价模式向用户提供。

2013-01-25 11:09:29

大数据 Hadoop集群云Hadoop服务

Gartner和Ovum看淡“大数据”热潮

在2012年，“大数据”和行业发展趋势度过了“得意”的一年，但根据分析公司Ovum和Gartner表示，这股热潮很快就会淡出人们的视线。

2013-01-25 10:14:24

Gartner 大数据

Hadoop：为什么RAID-0不行？

RAID-0又称为Stripe或Striping，其原理是把连续的数据分散到多个磁盘上存取，这样，系统有数据请求就可以被多个磁盘并行的执行，每个磁盘执行属于它自己的那部分数据请求。这种数据上的并行操作可以充分利用总线的带宽，显著提高磁盘整体存取性能。多年应用下来，RAID-0优势很明显。

2013-01-22 09:35:27

Hadoop 新 MapReduce 框架 Yarn 详解

本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。读者通过本文中新旧 hadoop map-reduce 框架的对比，更能深刻理解新的 yarn 框架的技术原理和设计思想，文中的 Demo 代码经过微小修改即可用于用户基于 hadoop 新框架的实际生产环境。

2013-01-21 13:22:56

高负载低延迟：我们用的是Hadoop+AWS+NoSQL

使用信用卡进行支付的款项是巨大的，但是很明显，通过分析所有的交易，我们也可以从数据中得到内在的价值。比如客户忠诚度、人口统计数据、活动的受欢迎程度、商店的建议和许多其他的统计数据，这对商家和银行来说都是非常有用的，可以改进他们与市场的联系。

2013-01-18 09:36:51

Voldemort Hadoop AWS

Apache Hadoop最佳实践和反模式解析

本文总结了一些Hadoop应用的最佳实践。实际上，类似于设计模式，我们引进一个网格模式的的概念，来提供一个通用且可复用的针对运行在网格上的应用的解决方案。

2013-01-16 14:45:47

Hadoop Apache Hado

Hadoop、OpenStack上榜2012年十大最成功开源项目

海量数据(Big Data)革命掀起的浪潮，带动了数据分析行业的增长，要在网路上处理这种规模的资料，目前比较经常被使用的平台就是Hadoop，而Facebook就是使用Hadoop下的HBase资料库。

2013-01-16 09:43:55

开源 Hadoop OpenStack

分布式文件系统HDFS中的Federation

HDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。

2013-01-09 10:16:09

HDFS中的Namenode和Datanode

大数据中，HDFS集群以Master-Slave模式运行，主要有两类节点：一个Namenode(即Master)和多个Datanode(即Slave)。Namenode管理者文件系统的Namespace。它维护着文件系统树(filesystem tree)以及文件树中所有的文件和文件夹的元数据(metadata)。

2013-01-08 10:01:56

为什么我们应该杀死“大数据”？

本文作者Leena Rao，为TechCrunch资深编辑。大数据在今年是很火的一个概念，这个概念不同的人有不同的见解。然而我们对大数据的关注是不是有点偏离了正常的轨道呢？现在许多的讨论都是围绕着“大数据”这个词来展开，人们似乎忘记了大数据是要为我们解决实际问题的，我们更应该讨论贴近实用的方面。

2013-01-07 11:31:11

大数据大数据应用

分布式文件系统HDFS中Block介绍

Block是一块磁盘当中最小的单位，HDFS中的Block是一个很大的单元。在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存储。

2013-01-07 10:42:43

分布式文件系统HDFS设计

我们都知道，Hadoop除了计算部分Mapreduce外，还有一个分布式文件系统HDFS，全称Hadoop Distributed Filesystem。今天我们将介绍一下他的设计问题。

2013-01-07 10:29:31

惠普企业数据仓库一体机应对海量数据

惠普企业数据仓库一体机(Enterprise Data Warehouse Appliance，EDW)就是这样一种解决方案。它将HP服务器和微软Windows Server 2008和SQL Server Parallel Data Warehouse(PDWAU3.5)整合在一起。如果你正在寻找一个快速无痛的实现方案，这个一体机能够证明是一个理想的解决方案。

2013-01-06 11:11:06

惠普数据仓库一体机

大数据分析的三个技巧

大数据分析是将数据转化成有用信息的重要步骤。随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。

2013-01-06 11:01:59

大数据分析

大数据的未来是App 而非基础架构

本文作者Justin LaFayette，为我们解读他眼中大数据的未来。

2013-01-06 10:18:58

大数据大数据的未来

大数据的两点常见误解

一谈到大数据，大家都是赞扬声一片。高效、能预测未来走势。但任何技术都有其局限性，今天我们就来谈两点常见误解。

2013-01-05 14:25:27

Hadoop实例：二度人脉与好友推荐

在新浪微博、人人网等社交网站上，为了使用户在网络上认识更多的朋友，社交网站往往提供类似“你可能感兴趣的人”、“间接关注推荐”等好友推荐的功能。一直很好奇这个功能是怎么实现的。

2013-01-05 02:37:30

Hadoop Hadoop实例

MySQL数据库查询优化

总体上来说，对数据库查询的优化，我们采取了一些常规的优化之后，如果还没有取得想要的效果，我们有时候不必硬碰硬去优化查询本身，改变一下使用模式，找找业务处理流程是否还有可修改的，说不定就轻松解决了存在的难题。

2013-01-04 10:00:12

MySQL 数据库数据库查询优化

大数据误区：不是所有公司都需要大数据

2012年“大数据”的发展如火如荼，然而本文的作者，数据分析公司SiSense副总裁BrunoAziza却认为并不是每个人都需要大数据。

2012-12-31 10:25:52

Exadata X3闪存提升4倍 In-Memory进入主流

到 2015 年，65% 部署在私有云环境中的服务器将成为一体机。IDC认为一体机提供一种标准化架构，该架构可通过预配置和优化处理多重工作负，其卓越的建筑模块可减少部署时间，并增加不动产的投资回报。

2012-12-27 09:52:28

数据库云服务器 Exadata X3 内存计算

Facebook数据科学家要具备的六大技能

数据科学家到底应该具备哪些技能？对于这个新兴职业的定位和展望，我们也许Facebook的招聘说明中找到答案。

2012-12-27 09:50:36

数据科学家正在崛起

2012年美国大选成就了一批大数据技术人员，也拉开了数据科学家们崛起的大幕。数据科学家们，都与具体的行业紧密相联，有扎实的统计基础，也有丰富的行业经验。

2012-12-26 10:51:20

数据科学家

数据科学家不用太多应该让大数据更好用

大数据时代已经来临，因此数据科学家曾被冠以最性感职业之称。可是电子商务咨询公司Baynote创始人兼CTO Scott Brave 却说我们不需要更多的数据科学家，让大数据更方便使用就够了。

2012-12-25 09:58:50

数据科学家大数据

坐看大数据之道：51CTO专访大数据专家郑玮原创

大数据的概念日趋火热,究竟国外的大数据技术是怎样的发展情况?对国内技术人员有什么借鉴作用?51CTO本次将专访大数据方面的专家郑玮女士。请她为我们讲述大数据之道。

2012-12-24 09:01:35

解读微软大数据原创

“微软针对关系型数据、非关系型数据和数据流的管理，第一步是打造一个平台，在这个平台下，各种类型的数据都可以进来集中整合。第二步是提供一个工具，让所有的数据可以进行清理和分析。”

2012-12-20 13:02:20

大数据 Hadoop 内存计算

没有数据驱动的流程和产品大数据将毫无价值

在当下的IT业界，大数据并不少见。哪怕你只是一家小型创业公司，一天下来你可能就拿到了几个 G 的数据，而 Instagram 一天产生的数据则高达 500 个 T。坐在不断增加的数据上的你，挠着头苦想：“大数据我是有了，要怎么利用它们？”

2012-12-18 16:09:01

Google Dremel vs. Apache Hadoop

Google Dremel是个可扩展的、交互式的即时查询系统，专注于只读嵌套(nested)数据的分析。通过集合不同层次的执行树和柱状的数据布局，他能够在几秒内完成在万亿张表上的聚合查询。系统可以扩展到成千上万的CPU上，满足Google上万用户操作PB及的数据。

2012-12-17 10:01:27

Google Drem Apache Hado 云计算

紧随AWS数据仓库服务Rackspace力鼎Cloudant

2012年12月13日，Rackspace宣布自己也完全具备数据库托管和管理的能力，矛头直指亚马逊数据仓库服务Redshift。Cloudant公司推出的基于NoSQL的数据库服务(DBaaS)今天已经在Rackspace的云端开始运行，这说明Rackspace已经为用户提供了这套数据库工具，并且支持很多在云端托管的数据库平台。

2012-12-17 09:57:25

AWS数据仓库服务 Rackspace Cloudant

微软数据仓库一体机国内首单花落国家审计总署

自云计算和大数据概念被提出后，针对该市场应运而生的解决方案层出不穷，软硬件一体化设备作为大数据解决方案中的一员，扮演着重要的角色。微软并行数据仓库一体机，将多种先进的数据存储与处理技术结合为一体，是微软大数据战略的重要组成部分。

2012-12-16 20:40:16

数据仓库一体机大数据

微软数据库一体机升级新技术架构满足大数据挑战原创

在技术门槛较高的大数据领域，有着传统优势的厂商是否能够依然占据主流，加速推动资源的整合、优化，提出端到端的一体化解决方案正变的尤为重要。

2012-12-16 16:50:52

数据库一体机 PDW 云计算

急性子的开源大数据，第 1 部分: Hadoop 教程

本文的重点是解释大数据，然后在 Hadoop 中提供简单的工作示例，Hadoop 是在大数据领域的主要开源选手。您会很高兴地听到，Hadoop 并不是 Informix® 或 DB2® 的替代品，但事实上与现有的基础架构配合得很好。Hadoop 家族有多个组件，本文将深入探讨演示各功能的具体代码示例。如果您在自己的 PC 上尝试这些示例，是不会造成系统混乱的。

2012-12-13 11:06:31

AWS数据仓库服务Redshift是最好的选择吗？

Amazon近日刚刚发布了Redshift，这是一个基于云计算的数据仓库服务，Amazon也想以此与IBM、Microsoft和Oracle等IT巨头一较高低，虽然Redshift的使用成本仅仅只有市场价格的十分之一左右，但是对数据仓库来说，云计算是数据仓库的栖身之所吗？

2012-12-12 09:59:00

Redshift 数据仓库 JeffKelly

商业智能、政府管理及公共服务是中国大数据的应用重点

浪潮集团系统软件总监、云计算产品研发部总经理张东在浪潮集团大数据战略发布暨云海大数据一体机产品发布会上，指出：商业智能、政府管理及公共服务是中国大数据产业的重点应用领域。

2012-12-06 16:13:57

云海大数据一体机

让大数据成为我们捕捉网络安全威胁的眼睛译文

数据爆炸式增长已经成为我们无法回避的现实，而大数据分析技术则应当成为我们迎接挑战的有利武器。但除了日常管理之外，大数据是否也能帮助我们抵御企业黑客的觊觎？就这一话题，我们与Seculert公司创始人展开了探讨。

2012-12-06 13:25:36

Hadoop云服务之战：微软vs.亚马逊

Hadoop逐渐普及的背后主要的驱动力在于大数据和社交计算的炒作，广泛的企业级开源软件应用，拥有Hadoop熟练技能的开发人员资源池以及Hadoop可以用预期达成的性能以低廉的商业服务器集群成本交付高可用性。后面的这个性能让企业能够将Hadoop工作负载部署到IaaS和PaaS提供商的云上，代替数据中心资本投资中的几次付费费用。

2012-12-04 10:54:21

Hadoop 云服务微软

Etu Appliance大数据一体机 2.0 诠释 Hadoop 简单之美

大数据起源于互联网，因而使用大数据的人才大多也扎根互联网。为了改善“人才瓶颈就是技术瓶颈”的现状，Etu 知意图为了更好的帮助中国用户实现 Hadoop 大数据处理与分析价值。

2012-12-03 23:19:12

Etu 知意图大数据一体机

Hadoop云服务之战：微软vs.亚马逊

毫无疑问，Apache Hadoop软件库拥有当今最多的大数据分析思想。Gartner在2012年三月的报告中指出Hadoop作为一个流行的搜索词，在网站上的搜索量增长很快。本文介绍了微软和亚马逊之间关于Hadoop的竞争。

2012-12-03 09:29:52

Hadoop MapReduce Hive

用户研究：如何解读数据？解读“人”！

一提到“数据”，可能经常会想到“数字”、“图表”、“模型”、“方程”等容易让人怯步的词语。其实“数据”的真正意义，是躲在背后的那些“人”。在营销学中，市场的根本在于需求，需求由人而生。因此，我们不应该就数字而数字，就算法而算法，应该自始自终关注“人”，市场研究则更是如此。

2012-11-30 11:12:03

数据大数据

京东商城布局云计算自主研发Hadoop解决方案

记者近日获悉，京东商城在Hadoop高可用方面的研究，取得了重大成果。在Hadoop集群运维方面，一直以来都有这样一个难题困扰着业界：线上集群，由于NameNode的异常，极有可能导致Hadoop集群服务中断;NameNode软硬件系统定期维护、升级也一直是让人头疼的问题——整个集群可用性会受到影响。

2012-11-27 11:11:41

Hadoop 京东云计算

在Hadoop中保护大数据安全的9个技巧

应用大数据，不要忘记法规遵从和控制。下面是保证大数据安全的9个技巧。在启动大数据项目之前要考虑安全问题。不应该等到发生数据突破事件之后再采取保证数据安全的措施。

2012-11-20 10:36:23

Hadoop 大数据大数据安全

R语言与GIS实践:Shapefile导入与地图显示

R语言和GIS的结合，之所以要使用R语言是因为R语言能够以Hadoop集成,希望利用R语言更高效地处理空间聚类问题。

2012-11-15 16:49:03

大数据时代的总统选举

奥巴马已经赢得连任，在这个大数据横行的年代，政治选举也开始借助大数据的手段来拉票了。

2012-11-14 11:27:20

HBase设计：看上去很美

随着hadoop系列的兴起，基于HDFS的大规模KV存储系统HBase也进入“大规模使用阶段”。网上的Hbase资料很多，学习成本正在下降。从公开的资料看，国外facebook、国内taobao均宣称在线上环境大规模使用hbase。一切都让人很兴奋。

2012-11-14 09:48:57

HBase 大数据

IDC分析师关于中国大数据市场的十大预测

随着云计算概念日渐深入人心，大数据也越来越受到关注。IDC在长期对云计算市场进行跟踪研究的同时，也对大数据市场保持着密切关注。IDC将大数据技术定义为：“为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。

2012-11-14 09:36:07

IDC IDC分析师大数据

上一页 1 ··· 174 175 176 177 178 ··· 185 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营