鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9005内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9005 条

企业大数据战略中的生命周期管理研究

世界潮流浩浩荡荡，大数据时代已然来临。您的公司将如何应对大数据时代的挑战呢？战略决定未来的发展方向。没有清晰的大数据战略，不了解大数据的生命周期，您的公司将如同盲人摸象般不仅无法驾驭大数据，而且会被大数据淹没。本文探讨的就是企业的大数据生命周期设计。

2013-05-07 10:50:27

大数据战略

大数据“流言”：剖析Hadoop和大数据的七误解

如今，Hadoop成为解决大数据需求的主要投资领域之一，而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言，是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念。

2013-05-06 10:22:28

大数据 Hadoop

小白学数据分析:3D移动网络游戏需要关注的问题

前几天在顽石讲了一些3D手游的问题，抽点时间写点东西，简单来说说3D游戏的研发和运营过程中，我们可能面临的问题。

2013-05-03 09:23:36

挑战大数据浅析NoSQL技术原创

目前我们都生活在一个庞大的数据存数时代，然而大数据及其底层技术NoSQL也正成为了互联网的一个流行语。对于谷歌以及Facebook，IBM这样的全球互联网企业，NoSQL这种高扩展的非关系型数据库存数的使用往往已经超过关系型数据库。事实上，在海量数据和半结构化数据的一些问题过程中，已经诞生了一系列新型数据库产品，而这些数据库我们称之为NoSQL。

2013-05-03 00:41:57

大数据 NoSQL

Hadoop大数据分析：Azure HDInsight服务预览

微软全球副总裁Scott Guthrie三月份宣布了该公司HDInsight服务预览版的主要升级，即Hortonworks Hadoop Data Platform v1.1.0。此次更新的预览版中的DevOps特性，让开发者可以更轻松的用Windows Azure服务订阅创建高性能HDInsight计算集群，通过Windows Azure Management Portal实现（图一）。

2013-04-28 10:01:28

HDInsight Windows Azu Hadoop

向磊：Hadoop落地为何如此之难原创

Hadoop落地之所以难，是因为有一下几点问题：1. Hadoop集群部署管理难，麻烦；2. 想办法在工作上偷懒才是王道；3. 解决的问题和为人民服务。

2013-04-27 10:31:56

大数据全球技术峰会 Hadoop

罗李：基于Hadoop数据服务平台

Hadoop最重要的两项服务是HDFS和MapReduce，阿里通过分组对资源做了切分，HDFS通过文件数和空间的配额做限制，mapreduce是做slot的限制。数据可以在阿里的平台上方便的共享，计算资源通过分时共享，白天进行开发和测试任务，晚上进行生产任务。

2013-04-27 10:07:04

大数据全球技术峰会阿里淘宝

【51CTO快讯】维基百科从MySQL迁移到MariaDB

甲骨文与开源社区关系的恶化正促使许多发行版用MariaDB取代MySQL，现在使用MySQL的流行网站维基百科也宣布从MySQL迁移到MariaDB，部分原因是甲骨文的MySQL有免费版和企业版，而企业版的新功能没有公开源码，而MariaDB则没有这方面的问题。

2013-04-25 10:43:33

维基百科 MySQL MariaDB

7个大数据流言——避免错误的Hadoop和云分析决策

数据体积和数据使用在以惊人的速度增长着，这一点从分析师的分析中不难获得——IDC今年在数据存储上的增长速度将达到53.4%，AT&T声称无线数据的流量在过去的5年内增长200倍，如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。

2013-04-25 10:24:19

大数据 Hadoop 云分析

Hadoop集群10：MapReduce初级案例

本文为Hadoop集群系列第九。 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。

2013-04-24 10:47:48

小议Hadoop HDFS Balancer

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，我们该如何应对？

2013-04-23 11:17:47

查看HBase表在HDFS中的文件结构

为了查看HBASE表在HDFS中的文件结构

2013-04-23 10:58:28

48小时：大数据时代我们应该怎么应对雅安地震？

下午，看到我的新浪微博中几乎都是关于雅安地震的消息，其中不少还是我认识的人在转发各种信息，让我无法不动容。而微信里真的是冷冷清清啊。这个时候觉得新浪微博不商业化又怎么了，起码它在让很多人关注雅安地震后每一分每一秒发生的事情。

2013-04-22 14:03:20

大数据雅安雅安地震

Apache Hadoop 为什么如此风靡？

Apache Hadoop是MapReduce计算模型的一个开源实施。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 13:59:00

51CTO独家报道ChinaHadoop技术沙龙

阳春四月，京师草长，杂花生树，群莺乱飞。ChinaHadoop开源社区联络在一线互联网公司具有多年Hadoop大数据平台使用经验的技术专家，将为大家献上一场精彩的技术分享活动。

2013-04-19 10:43:47

为什么Apache Hadoop让人如此着迷？

Apache Hadoop是MapReduce计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 10:06:51

Apache Hadoop MapReduce计算

Project Savanna：让Hadoop运行在OpenStack之上

用户需要给Savanna提供一些信息来建立集群，比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后，Savanna将帮助用户在几分钟之内建立起集群，同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

2013-04-19 09:51:21

Hadoop OpenStack Savanna

曹政：数据分析这点事

其实，这个话题还有很多延伸，比如，如何看一个年轻人有没有数据分析潜质；以及如何培养数据分析和产品分析人才，等等，不过，就这样吧。今天说的不少了，我水平有限，吃饭的就这几招，而且又老又笨，大家都会了我离下岗也不远了，您就凑活看吧。

2013-04-17 10:12:43

数据分析大数据

SQL Server数据挖掘规则实现商品推荐2

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-04-16 09:35:52

淘宝车品觉：数据，你准备好了没有？

4月11日杭州举办的“淘宝开放日”活动中，阿里集团数据委员会会长车品觉在论坛上分享了其在大数据领域的从业经验。

2013-04-15 10:49:54

加速大数据应用落地英特尔IDF推Hadoop新发行版原创

在本届IDF2013英特尔信息技术峰会上，英特尔正式发布了Apache Hadoop发行版的最新版本2.3版，针对大数据存储、管理、处理和查询等应用的开发和优化，通过改进和增添多种特性及功能，在性能、可管理性及易用性上实现了进一步的提升。

2013-04-13 14:10:27

大数据应用落地英特尔

大数据Hadoop重塑数据中心

大数据很火，从近日的年度盛会IDF上就能看出端倪。英特尔高级副总裁兼数据中心及互联系统事业部总经理柏安娜，在介绍英特尔数据中心战略时特别强调，英特尔将持续投资Hadoop，为开源社区提供代码，面向至强优化发行，提供硬件增强的压缩功能。

2013-04-12 10:56:31

R语言多元分析系列

R语言中进行主成分分析可以采用基本的princomp函数，将结果输入到summary和plot函数中可分别得到分析结果和碎石图。但psych扩展包更具灵活性。

2013-04-10 10:31:21

数据分析决定大数据成败

企业的IT高管们已然开始意识到，如果没有强大的分析系统，大数据几乎没什么价值。而借助分析系统，他们可以处理这些数据，以便给企业的重要决策者(他们的老板)提供易于消化的信息。

2013-04-09 09:28:20

大数据大数据全球技术峰会

甲方乙方：大数据分析内外有别

现在是一个大数据时代，人人嘴边都挂着数据创造价值、数据挖掘等一些热词。各公司内部也逐渐认识到数据的重要性，纷纷成立数据部门，期待数据可以真正的为业务服务。

2013-04-08 09:57:05

大数据分析

保障Hadoop数据安全的十大措施

Dataguise为多家财富200强企业提供Hadoop安全服务，总结出了一套适合大规模多样化环境的大数据安全实践和流程。

2013-04-08 09:38:37

Hadoop 大数据数据安全

VMware为Serengeti虚拟化方案加入Hadoop支持

在本周二公布的Serengeti 0.8.0中，这款专为Hadoop虚拟化打造的开源工具已经能够支持数个Hadoop发行版，外加多项能够简化Hadoop之上HBase数据仓储设置流程的功能。

2013-04-08 09:32:23

VMware Serengeti Hadoop

确保Hadoop数据安全的十大最佳方法

Dataguise日前公布了实施Hadoop的十大最佳做法。信息技术工具的日益更新和功能的不断优化成熟，使得大数据的使用变得更具有可行性。然而，这一新技术领域的优势往往还伴随着数据隐私的问题。在这些庞大的信息库中，个人身份信息(PII )，如姓名，地址和社会安全号码都存在泄露的可能。

2013-04-07 09:43:52

Hadoop 数据安全大数据

为大数据与人工智能而生新职业：算法师

大家应该还记得《黑客帝国》里面Leo躲避枪林弹雨的高难度动作，这部电影，充满了大数据与人工智能的色彩。算法师通过对数据库的标记、对数据库的检测、编排，甚至对敌人发出攻击，当时看起来相当科幻的镜头，如今已经是被广泛运用的技术。

2013-04-07 09:32:55

海关数据仓库云平台：大块头有大智慧

数据处理是一个很重要的能力。之前海关的数据都由各个部门分散去做，而我们想找到一个解决方案，将这些数据梳理并构建一个体系，从而提升海关整体的数据处理能力。”任林口中的方案，正是他的团队(XRZ队)参加微软Windows Server 2012云创益大赛团队赛的作品——动态数据仓库高性能云计算平台(简称数据仓库云平台)。

2013-04-03 11:01:56

海关数据仓库云平台微软

大数据挖掘让PE/VC更高效 LinkedIn成最佳工具

作为硅谷风投公司Greylock Partners的数据科学家，对于泛滥的数据如何改变风投公司的运营方式，DJ Patil当然心知肚明。这位LinkedIn前首席科学家表示，风投仍然是关乎勇气和直觉的生意，但是数据挖掘技术可以帮助风投资本家变得更有效率。

2013-04-03 09:49:48

LinkedIn 大数据

北京大学EasyHadoop校园行引关注

Hadoop从互联网领域蓬勃发展，广大搜索、电商、视频、门户、游戏公司都纷纷开始实施Hadoop技术解决方案替代老旧的脚本分析和数据仓库平台。同时Hadoop大数据解决方案已经扩展到通信、安全、工业、电力、乃至生物医药等传统基础设施领域,成为公认的大数据分析处理领域规范标。

2013-04-02 11:23:17

Hadoop中IPC的源码分析

最近开始看 Hadoop 的一些源码，展开 hadoop 的源码包，各个组件分得比较清楚，于是开始看一下 IPC 的一些源码。

2013-04-02 10:51:09

Hadoop Hadoop源码

微软推出自写生工具SketchInsight 帮助理解大数据

移动互联网时代，呈现在普通用户面前的是一种全新的体验方式——通过各种终端便利的触网，接受并制造信息，而这直接加速催生了另外一个热门领域：大数据。如果说把移动互联网称作是前端的话，那么大数据处理应该可以叫做后端。

2013-04-02 09:54:05

Foursquare的野心：大数据时代“活点地图”

镜头转向 2009 年，在西南偏南大会上，LBS 应用 Foursquare 红爆，“签到”功能风光无限。而时至今日，签到类应用已经从倒出的”新鲜感“到习惯，甚至遗忘。已经积累了3000 万用户，30 亿条”签到“信息的 Foursquare 不愿意放过海量的数据。他们的新野心，不在于让更多人“签到”，而是将这些签到和评价信息汇聚成类似《哈利波特》中的“活点地图”（Marauder’s Map)——一幅关于霍格沃茨魔法学校的地图，显示每条通道，每座城堡内每个人的即时位置的行动方向。

2013-04-01 11:17:43

BI项目中的ETL设计详解（数据抽取、清洗与转换）

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析的依据。

2013-03-27 15:10:14

创建SSIS包:ETL中典型的数据清洗

我们熟悉了很多ELT任务，这一个节来讨论复杂点的数据清洗。这里我们要使用的数据源是.dat文件，这种文件在大型主机上，或者是比较老旧的应用系统中非常常见。

2013-03-27 13:34:49

计算机审计中电子数据清洗的主要步骤

在这里我们将介绍计算机审计中电子数据清洗的主要步骤，包括数据分析和定义清洗转换规则。

2013-03-27 11:09:26

Teradata释放数据仓库专用平台能量拓宽分析视野

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，行业领先的高性能数据仓库专用平台——Teradata数据仓库平台2700在全球范围内正式出货。作为Teradata统一数据架构TM(UDA)的重要组件，Teradata数据仓库平台帮助企业快速应对不断变化的商业环境，确保在竞争中保持领先。

2013-03-27 10:53:27

Teradata 大数据天睿

微软在Windows Azure服务中推出首个Hadoop公共预览版

截至目前，微软已经完成了Azure HDInsight服务三个内部预览版的小范围测试工作。(我刚开始以为去年十月公布的已经是公共版本，但根据微软官方的说法，这周推出的才是首个公共预览版。)

2013-03-27 09:55:17

微软 Windows Azu Hadoop

EasyHadoop第八次免费技术讲座介绍

EasyHadoop社区从2012年举办了七次,汇集各行各业的案例和相关实践。以小规模技术聚会开始,希望能提供给大家真正企业一线的实战经验分享。构建一个开放,简单(小而美)的Hadoop技术沟通分享平台,让大家的大数据之梦得到落地。

2013-03-26 17:09:50

数据仓库中的数据清洗

可以将数据仓库的数据清洗比做政客们募集资金的过程。几乎不存在任何一方独立存在的可能性。数据清洗往往是数据仓库项目中时间最密集的，最有争议的进程。

2013-03-20 16:23:53

大数据清洗工具

在进行数据分析和可视化之前，经常需要先“清洗”数据。这意味着什么？可能有些词条列表里是“New York City”，而其他人写成“New York, NY”。然而，你在看到某些模式前得将各种各样的输入词汇标准化。又或者，出现一些数值输入错误，错别字什么的。

2013-03-20 15:49:28

忘记“大数据”，从“中数据”开始吧

对于很多市场研究人员来说， “中数据”才是真正能够提供ROI价值回报的分析目标。而所谓“大数据”分析，则会呈现递减的ROI。

2013-03-20 11:03:05

企业如何应对大数据：关注数据价值而非大小

福布斯网站日前发表保罗•马尼奥（Paul Magnone）的文章，谈论了大数据对企业的影响。马尼奥认为，人们在制定大数据计划前，应该弄清企业需要什么样的数据，以及如何用好这些数据。

2013-03-20 10:40:19

大数据大数据应用

电子商务企业如何把握大数据？

所谓的大数据，是需要跨视角、跨媒介、跨行业的海量数据，也可以理解为数据的收集方法。当数据的规模和丰富度达到一定程度，大家才开始提出大数据的概念。那么，电商大数据现状如何?

2013-03-20 10:30:22

在Hadoop的战争中 MapR获新一轮3000万美元融资

MapR，是一个Hadoop优化公司，专注于可用性和数据安全的优化。该公司日前获得了一个3000万美元的C轮融资，本轮融资由Mayfield Fund领投。在此之前，光速创投、NEA(New Enterprise Associates)和红点投资(Redpoint Ventures)也对MapR进行了投资。这轮融资让MapR的总金额达到了5900万美元， MapR在2011年获得2000万美元的B轮融资。

2013-03-20 09:49:06

MapR Hadoop 融资

Hadoop和Couchbase结合使用的技巧

Hadoop非常适合处理大量数据并将该信息解析为您可查询的较小的信息集。但是，通过与 Couchbase Server 集成，您可以对信息执行实时查询和报告，同时继续使用 Hadoop 处理大型数据集和数据集的繁重处理工作。Couchbase Server 还使用了一个 MapReduce 查询系统，这使您能够轻松地迁移和集成索引和查询系统，从而有效地提取和操作信息。

2013-03-18 11:05:26

Hadoop Couchbase

Nate Silver给创业公司忠告：寻找和大数据相关领域

你作为某位成功人士的粉丝，满怀期待的聆听他的演讲，结果他却对你说：“我的成功没法复制。”

2013-03-18 10:35:40

硬件提速英特尔推Hadoop一体化方案

英特尔架构事业部和数据中心软件事业部副总裁和总经理Boyd Davis表示，英特尔将会充分挖掘Hadoop以给广大用户带来巨大利益。Hadoop可以成为多种不同应用的平台，而且英特尔也将以服务支持的角色来推动开源向前迈进。

2013-03-18 10:16:35

英特尔 Hadoop 一体化

上一页 1 ··· 168 169 170 171 172 ··· 181 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营