直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8819内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8819 条

职业体育进入大数据分析时代

《点球成金》这部电影点醒了不少企业家，那些看似呆头呆脑，缺乏运动细胞的数据分析人员原来都是火眼神探，那些看似无聊的数据下其实埋藏着金矿。在体育界，数据分析已经走到了企业应用的前面，传感器和3D雷达正采集着大量的运动员数据，而数据分析的广泛应用也促使职业体育内部发生着广泛而深刻的变化

2012-08-31 09:49:02

大数据分析

Twitter将采用Spark分析大数据

Twitter数据科学家Edwin Chen最近在接受媒体采访的时候透露，Twitter内部希望尝试一种全新的大数据系统——Spark。

2012-08-30 14:33:03

小白学数据分析:付费用户的金子塔模型实践操作

最近看了不少文章，对于付费用户的模型也有了很深刻的理解和认识，早先我做了不少关于大R，中间R，低端R用户的分析，想来还是觉得草草了事，近来有网友提出来，理论探讨的多了些，实践上手的东西少了点，毕竟还是叫做小白学数据分析啊，今天就把以前说过的付费用户的模型具体的实践一下。

2012-08-29 08:49:51

海量数据的二度人脉挖掘算法（Hadoop 实现）

最近做了一个项目，要求找出二度人脉的一些关系，就好似新浪微博的“你可能感兴趣的人” 中，间接关注推荐；简单描述：即你关注的人中有N个人同时都关注了 XXX 。

2012-08-28 09:15:33

Hadoop 海量数据挖掘算法

开源八预言：桌面linux必亡、Hadoop要火_IT技术周刊第286期_51CTO.com 原创

近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-27 10:23:24

Google Dremel让大数据不再“恐怖”

Mike Olson是硅谷创业公司Cloudera的CEO，这家公司专门围绕开源软件平台Hadoop发展自身的业务。也许很多人对Hadoop并不是很了解，但是Google正是依赖它成为网络世界最具主导力的巨头。预计到2016年，Hadoop将为整个软件市场创造8.13亿美元的价值，但是Mike Olson居然很淡定的表示这个已经不是什么新闻了。

2012-08-27 10:04:20

PostgreSQL的数组

PostgreSQL 有很多丰富的开箱即用的数据类型，从标准的数字数据类型、到几何类型，甚至网络数据类型等等。虽然很多人会忽略这些数据类型，但却是我最喜欢的特性之一。

2012-08-23 09:33:25

数据库数组 PostgreSQL

2012 IBM软件技术峰会大数据预见未来原创

2012年8月23日，北京国际饭店会议中心，2012 IBM软件技术峰会盛大起航。本次技术峰会涵盖大数据、云计算、敏捷开发和移动开发四大方面，将会有多位IBM技术领头人和专家亲临会场与广大开发者交流。

2012-08-23 08:56:36

运用大数据为你推荐最爱的景点

大数据时代下，不光是Google、Facebook这样的大企业可以做好大数据的分析工作，越来越多的创业公司也开始了自己的大数据之旅。

2012-08-20 09:56:48

开源八预言：桌面linux必亡、Hadoop要火

近两年，在IT圈中开源这个词已经变得越来越常见，人人开口闭口谈云计算OpenStack、大数据Hadoop、手机Android，开源Linux。开发者、运维人员和IT媒体们也开始关注Eucalyptus、OpenStack、Hadoop、Ubuntu这些开源项目。

2012-08-20 08:58:40

开源 linux Hadoop

天云趋势联合中云学院举办Hadoop培训火热报名中

天云趋势联合中云学院举办Hadoop培训火热报名中

2012-08-09 15:40:16

图解数据挖掘K-means算法

K均值聚类算法是指将n个观察值分成k个类，使得每一类中的观察值与该类的均值最接近，与其他的类的均值较远。

2012-08-09 09:57:54

近期Hadoop实施心得与总结

Hadoop实施已经有快一个月了，对Hadoop(1.0.3)的概念理解、使用，Linux 与 Shell脚本，甚至对 Mysql 都有了更多的理解。

2012-08-09 09:42:23

Hadoop NoSQL 实施

用Hadoop和MapReduce进行大数据分析

Google在2001年发布图像搜索功能时，只有2.5亿索引图像，不到10年，这个巨大的搜索功能已经可以检索超过100亿个图像了，每分钟有35小时的内容上传到YouTube。据称，Twitter每天平均5500万条记录。早些时候，搜索功能每天记录6亿条查询记录。这就是我们讨论大数据的意义所在。

2012-08-08 09:53:23

Hadoop MapReduce

浅谈数据分析师的级别

我们将简单谈一下数据分析师的集中级别，及其工作的大概范围。供大家参考。

2012-08-08 09:00:29

数据分析师

大数据时代数据分析师的尴尬

这个七月着实忙碌了好久，也是工作的小事情不断，回头想想自己忙什么了，感觉好像真的没什么忙的，不过却又忙碌了这些天。这也是导致这么多天啥也没写的原因。确实现在有点感受到了一个好朋友说的，东西很散，有时候太忙了，没办法写出来。体味了一下这样的感觉，确实很忙，不过每天还是可以拿出那么一点时间来写些东西。

2012-08-07 17:32:25

数据分析师

推销高手亚马逊的秘密:数据挖掘

我们都知道Facebook、谷歌以及苹果等公司十分了解用户。事实上，亚马逊可能更胜一筹。这家零售巨头每天都在证明这一点。市场调研公司的数据显示，亚马逊网站推荐的销售转化率可以高达60%。

2012-08-07 09:27:13

中国民生的大数据之路原创

中国民生的大数据之路中国大多数之国民对于大数据并没有特别的印象，但我们一定都有为了办理某个证件去各大机关求神拜佛的经历。其实这二者，本因由一根叫“大数据”的链条连接。

2012-07-25 09:28:10

交通银行基于Teradata数据仓库平台构建事件式营销系统

全球金融市场竞争日趋激烈，各大银行的产品和服务差异越来越小，银行正将赢利聚焦点转向“以客户为中心”。全球领先的数据分析解决方案厂商Teradata天睿公司(Teradata Corporation，美国纽约证券交易所交易代码：TDC)再度助力中国第五大商业银行——交通银行，以数据仓库平台为基础，构建事件式营销系统，实现了经营效益与管理效率双丰收。

2012-07-24 13:52:32

Oracle内存数据仓库Exalytics

Oracle Exalytics硬件被设计在一个3U的机架单元中，并针对商业智能工作负载中的内存分析进行了优化。多个Oracle Exalytics机可以聚集在一起，以扩大可用内存容量，从而提供高可用性

2012-07-23 14:38:16

天云趋势联合中云学院推出Hadoop培训公开课

目前，互联网正从数据爆炸进一步发展到海量数据分析和挖掘的时代，而基于Hadoop技术的解决方案为海量数据存储和处理提供了经济、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成为大数据行业发展背后的驱动力。

2012-07-18 10:30:40

大数据时代最缺的是什么？人才原创

大数据已经是IT业界耳熟能详的词语，现在每一场技术盛会上不谈论大数据你都不好意思跟人打招呼。Hadoop、Mapreduce、NoSQL以及各大厂商自己的软硬件大数据解决方案层出不穷。不过大数据时代的中国最缺的是什么呢？人才。

2012-07-17 10:54:21

大数据到底会是谁的机会？原创

从2011年开始，英文IT界开始时不时的蹦出“Big Data”这一词汇；到了2012年，大数据成为了一发不可收拾的一个行业热门概念，仿佛出口不提大数据，都不好意思说自己是搞IT的。整个网络的数据积累速度之快，对于从上个世纪成长起来的人们而言实在是非常震惊。接下来的问题就是，究竟谁会对这些数据感兴趣？

2012-07-13 16:29:30

Hadoop危机？替代HDFS的8个绝佳方案

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。

2012-07-13 10:17:39

Hadoop的十大应用场景

在大数据背景下，Apache Hadoop已经逐渐成为一种标签性，业界对于这一开源分布式技术的了解也在不断加深。但谁才是Hadoop的最大用户呢？

2012-07-12 09:41:42

Hadoop 分布式技术

Hadoop架构中的HDFS和NameNode

到目前为止，我们谈到Hadoop是一个创建分布式集群的框架，能够处理大的、不同的数据集。然而，另一个说法是将Hadoop理解为一个存储设备或存储环境。确实，它是一个能够在其上创建应用的平台，有存储PB级数据的能力。此外，它能够处理并分析数据;提供越来越多的“大数据”应用结果。

2012-07-11 17:21:23

BigQuery谷歌企业级大数据分析平台初体验

自Google发布BigQuery以来，国内除一些资讯和简短的介绍性文章外，似乎很少有人提及。作为Google基于云平台的企业级数据分析服务，BigQuery还是值得深入了解的，至少它是一种可选的低成本解决方案。

2012-07-10 09:29:44

Hadoop集群系列9:HDFS初探之旅

本文为Hadoop集群系列第九。HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-05 10:51:57

关于大数据 CEO们需要了解的五个问题

大数据是当下最热门的技术词汇，而且它的确有充足的理由证明自己的热度。其处理巨大数据量的能力在之前是无法想象的，而现在，各行各业都可以借助这种大数据处理的能力，且不需要类似超级计算机这样的硬件条件。

2012-07-04 17:06:53

告诉你Hadoop是什么

Hadoop是什么？Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算.

2012-07-03 16:56:12

Facebook的Hadoop应用与故障转移方案

我们知道，Facebook使用Hadoop来进行大数据的处理，但Facebook又是如何保障频繁、庞大的数据请求等高压环境下不发生故障的呢？我们一起来了解一下Facebook内部的Hadoop使用情况以及其NameNode故障转移技术。

2012-07-03 11:38:32

Facebook Hadoop

Hadoop核心机制详细解析

Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。在现实的实例中，通过Hadoop，可以轻易的将多台普通的或低性能的服务器组合成分布式的运算-存储集群，提供大数据量的存储和处理能力。

2012-07-03 10:57:54

Hadoop 核心机制

Hadoop集群系列8：Eclipse开发环境设置

本文为Hadoop集群系列第八篇，今天我们讲讲Hadoop条件下，Eclipse开发环境设置。

2012-07-03 08:37:24

汉庭酒店打造业务分析和商业智能系统

全面预算解决方案的成功实施，让汉庭酒店集团高级管理层能够深入、多角度地看到非常细节的实时数据、全面了解各部门预算流程执行情况及问题。

2012-07-02 10:17:52

汉庭酒店业务分析商业智能系统

Hadoop集群系列7：WordCount运行详解

本文为Hadoop集群系列第七篇，单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"。

2012-06-29 10:58:27

小白学数据分析之解析在线平高比

这是一篇很早的杂文了，当时我记得是看到在线平高比比较好奇，索性就研究了一番，后来很多人对我这种行为很不理解，就是一个简单的在线平高比，有什么可以研究和追问的。但是，其中仔细研究下发现还不是那么简单的。接下来我们解决几个问题。

2012-06-29 10:26:47

大数据计算：Hadoop的前世今生

大数据计算我们把它理解成为一个什么事情呢?目前现在这个时代通信、网络等等这些电子信息技术发展，使数据规模得到了极大的增加。

2012-06-29 09:19:39

了解关于Hadoop的12个事实

本文中，分析师给出了关于Hadoop的12点事实，帮助您认识一个真实的Apache Hadoop生态系统。

2012-06-28 15:57:08

Hadoop集群6：JDK和SSH无密码配置

本文为Hadoop集群系列第六篇，包括JDK和SSH无密码配置。如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。

2012-06-28 10:52:06

Hadoop 2.0预计将在一年内面世

Hadoop 1.0于2011年年底发布，具有强大的Kerberos身份验证功能，并支持HBase数据库，但该版本由于MapReduce的限制，让个人用户无法卸载集群。新的Hadoop 2.0即将面世，HortonWorks公司(该公司一直是Apache Hadoop的贡献者)首席技术官Eric Baldeschwieler透露了即将发布的2.0中包含的功能。

2012-06-26 15:20:30

快速部署Hadoop基础架构

据国外媒体消息，为应对海量数据浪潮，VMware启动Serengeti开放原始码计划，便于企业在VMware vSphere虚拟化平台上快速部署与管理Apache Hadoop集群，部署虚拟化技术与分布式计算混用的基础架构。

2012-06-26 15:13:50

Hadoop 数据架构

Hadoop集群系列5:Hadoop安装配置

本文为Hadoop集群系列第五篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-25 10:30:06

VMware的Hadoop大数据战略：精明还是错误？

虚拟基础架构云上的Hadoop消除了可靠性问题;通过vSphere,Hadoop应用如果节点失败能够自动重启。此外，虚拟化巨鳄也正致力于同Hadoop社区成员合作，包括Cloudera Inc.、Greenplum、Hortonworks、IBM,继续致力于ASF的可扩展性，这也是Hadoop“虚拟化感知”的要害所在。

2012-06-21 09:56:50

VMware 大数据

Hadoop集群系列4:SecureCRT使用

本文为Hadoop集群系列第四篇，SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。

2012-06-20 09:19:19

Hadoop集群系列3:VSFTP安装配置

本文为Hadoop集群系列第三篇，VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP。

2012-06-19 15:51:22

Hadoop，有所为而有所不为译文

但是尽管Hadoop颇具吸引力，想了解Hadoop能够为企业扮演什么角色、如何最有效地部署它，仍要面临一条很陡的学习曲线。换句话说，学起来很费劲。只有明白了Hadoop的有所为而有所不为，你才能更清楚地了解如何才能最有效地把它部署到你自己的数据中心或云环境。然后，才可以为部署的Hadoop落实最佳实践。

2012-06-19 09:28:46

Hadoop集群系列2:机器信息分布表

本文为Hadoop集群系列第二篇，讲述如何采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

2012-06-19 09:28:33

Hadoop体系的强大工具组合

HDFS和MapReduce只是打造Hadoop平台最基本的核心套件，在Apache基金会的网站中还有其他的相关开源套件，共同组成了一个Hadoop体系（Hadoop Ecosystem）。

2012-06-15 14:38:29

Hadoop 分布式文件系统

Facebook分享：解决Hadoop的单一故障点译文

Facebook的工程师们开发出了一种方法，以规避Hadoop数据分析平台的一个根本缺点：只依赖单单一台名称服务器来协调所有运营。Facebook估计，如果可以克服这个缺点，就能将其数据仓库的停机时间缩短几乎一半。为了解决这个问题，Facebook开发出了一款名为Avatarnode的软件：万一主名称节点由于某种原因而失效，该软件就会切换至备用名称节点。

2012-06-15 09:54:19

Facebook Hadoop

VMware推Serengeti项目支持Hadoop虚拟化

VMware于美国时间本周三宣布了Serengeti开源项目，旨在为Hadoop在VMware虚拟化环境中的使用进行优化。

2012-06-15 09:22:56

上一页 1 ··· 168 169 170 171 172 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营