直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8818内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8818 条

Hadoop目前只是“穷人的ETL”

根据IDC发布的Hadoop-MapReduce软件生态系统预测报告，Hadoop市场正在以60%的年复合增长率高速扩张。但是该报告也揭示了一个让人吃惊的事实，作为大数据分析应用的代名词，Hadoop的流行其实与数据分析无关。实际上大多数采用Hadoop的公司都没有将Hadoop用于大数据分析，而是把Hadoop作为一种廉价的海量存储和ETL(抽取、转换、加载)系统。

2013-05-20 09:36:32

Hadoop 大数据分析工具大数据

R语言进阶之3：数据汇总/透视/提炼

汇总、透视、提炼、凝炼，对数据处理来说这些词的意思都差不多，R语言提供了很多函数处理这些事情，还有一些软件包也提供了非常方便的数据汇总功能，方法不胜枚举。summary是获取数据概要最常用的函数，应该很熟悉了。这里只简单介绍rowSums, colSums, rowMeans, colMeans, table、apply、lapply、sapply、vapply、tapply、mapply、by 和 aggregate等函数的用法。

2013-05-16 09:37:14

R语言进阶之2：文本（字符串）处理与正则表达式

处理文本是每一种计算机语言都应该具备的功能，但不是每一种语言都侧重于处理文本。R语言是统计的语言，处理文本不是它的强项，perl语言这方面的功能比R不知要强多少倍。幸运的是R语言的可扩展能力很强，DNA/RNA/AA等生物序列现在已经可以使用R来处理。

2013-05-15 13:32:16

用R语言对JPG/JPEG图片进行背景透明处理

我们在准备会议或工作报告时经常要把单位或组织的徽标插入到幻灯片中，但从照片或网上截屏获得的徽标图片的背景色通常和我们幻灯片的背景不搭配，能把徽标本身的背景色透明掉就好了。如果你会用R，过程就非常简单，只要几行代码。

2013-05-15 10:27:05

Hadoop傻瓜化：Datameer大数据收入翻三番

Datameer这样的硅谷大数据创业公司摸准了企业的需求，并且已经淘到了真金白银，这将进一步刺激大数据淘金热，同时也为其他大数据创业公司指明了方向。

2013-05-15 09:45:50

Hadoop Datameer 大数据

Twitter收购大数据分析公司Luchy Sort

Twitter周一宣布已收购大数据分析公司Luchy Sort。后者的服务将在未来数月里陆续关闭。

2013-05-14 10:01:57

R语言学习笔记(3)：绘图

经过前面两篇的学习内容，我们已经大体知道了R是什么以及R中主要的数据类型和数据结构。尽管了解得很粗浅，但我还是迫不及待的进入了“绘图”这一主题。

2013-05-14 09:42:36

走出沙盒 Hadoop数据管理重要性提升

在Web应用方面Hadoop已经证明了自己，但是迄今为止大多数的工作也仅仅归为POC的范畴。健壮的管理能力缺失是造成这一现象的主要原因，然而事情正在发生改变：在企业中，Hadoop有待于更进一步的融入运营工作流，以期带来更好的安全性和查询功能。

2013-05-13 10:32:01

Hadoop 数据管理提升

Cloudera释放Impala 1.0：与Hadoop完全整合，各方面完爆Hive

5月1日，Cloudera释放了Impala 1.0版本(下载传送门);对比旧版本，新的版本基于社区回馈和现实世界中不同的负载做出了修改，其根本的设计理念是与Hadoop无缝的整合——共同使用一个存储池、元数据模型、安全框架以及系统资源集。

2013-05-13 09:36:28

Cloudera Impala 1.0 Hadoop

R语言学习笔记(2)：数据类型和数据结构

尽管前面提到R是面向对象的，但是个人认为R中的所谓对象其实只是一种结构（struct）。还是要使用函数对其进行操作。

2013-05-10 15:27:07

R语言学习笔记(1)：R是什么

在学习量化投资的时候，我发现了R（www.r-project.org）。R到底是什么呢？在开始之前，先看看R的神奇之处。

2013-05-10 14:37:37

宁波银行选择Teradata建设数据仓库和数据治理机制

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，宁波银行将采用Teradata天睿公司企业数据仓库以及专业的数据治理咨询服务，强化全行级统一数据整合平台，满足快速增长的业务需求以及法规监管要求。

2013-05-09 16:22:03

Teradata 数据仓库数据治理

Teradata业内独创技术支持直接访问Hadoop数据

全球大数据分析和数据仓库解决方案厂商Teradata天睿公司宣布，成为业内独家向业务分析师提供优化、自助、低成本访问Apache Hadoop解决方案的厂商。通过Teradata企业级Hadoop访问工具(Teradata Enterprise Access for Hadoop)，帮助他们实现更快、更加明智的战略业务决策。

2013-05-09 16:18:20

Teradata Hadoop 天睿

Teradata天睿公司为“西南第一行”建设数据仓库

全球大数据分析和数据仓库解决方案厂商Teradata天睿公司宣布，中国西南地区最大的地方银行四川省农村信用社(以下简称：“四川农信社”)将采用Teradata天睿公司数据仓库建设全行级统一数据仓库系统。这是Teradata天睿公司在中国西南地区最大的金融项目，也将成为托举我国西南地区金融信息化水平的里程碑项目。

2013-05-09 16:09:19

Teradata 数据仓库天睿

如何让你的作业在Hadoop集群中真正实现分布式运行？

搭建过hadoop之后，如何让程序在hadoop集群中分布式运行成了一件令人头痛的事。如何让你的作业在Hadoop集群中真正实现分布式运行？本文有解决方案，敬请关注！

2013-05-09 15:39:30

Hadoop集群分布式

企业大数据战略中的生命周期管理研究

世界潮流浩浩荡荡，大数据时代已然来临。您的公司将如何应对大数据时代的挑战呢？战略决定未来的发展方向。没有清晰的大数据战略，不了解大数据的生命周期，您的公司将如同盲人摸象般不仅无法驾驭大数据，而且会被大数据淹没。本文探讨的就是企业的大数据生命周期设计。

2013-05-07 10:50:27

大数据战略

大数据“流言”：剖析Hadoop和大数据的七误解

如今，Hadoop成为解决大数据需求的主要投资领域之一，而类似Facebook等互联网巨头在都公开的吹捧Hadoop上取得的成功，同样初入大数据领域的公司也必先着眼于Hadoop。但对于Hadoop技术而言，是一个多维的解决方案，可以通过不同的方式进行部署和使用。下面就了解一些关于Hadoop和大数据的七大错误理念。

2013-05-06 10:22:28

大数据 Hadoop

小白学数据分析:3D移动网络游戏需要关注的问题

前几天在顽石讲了一些3D手游的问题，抽点时间写点东西，简单来说说3D游戏的研发和运营过程中，我们可能面临的问题。

2013-05-03 09:23:36

挑战大数据浅析NoSQL技术原创

目前我们都生活在一个庞大的数据存数时代，然而大数据及其底层技术NoSQL也正成为了互联网的一个流行语。对于谷歌以及Facebook，IBM这样的全球互联网企业，NoSQL这种高扩展的非关系型数据库存数的使用往往已经超过关系型数据库。事实上，在海量数据和半结构化数据的一些问题过程中，已经诞生了一系列新型数据库产品，而这些数据库我们称之为NoSQL。

2013-05-03 00:41:57

大数据 NoSQL

Hadoop大数据分析：Azure HDInsight服务预览

微软全球副总裁Scott Guthrie三月份宣布了该公司HDInsight服务预览版的主要升级，即Hortonworks Hadoop Data Platform v1.1.0。此次更新的预览版中的DevOps特性，让开发者可以更轻松的用Windows Azure服务订阅创建高性能HDInsight计算集群，通过Windows Azure Management Portal实现（图一）。

2013-04-28 10:01:28

HDInsight Windows Azu Hadoop

向磊：Hadoop落地为何如此之难原创

Hadoop落地之所以难，是因为有一下几点问题：1. Hadoop集群部署管理难，麻烦；2. 想办法在工作上偷懒才是王道；3. 解决的问题和为人民服务。

2013-04-27 10:31:56

大数据全球技术峰会 Hadoop

罗李：基于Hadoop数据服务平台

Hadoop最重要的两项服务是HDFS和MapReduce，阿里通过分组对资源做了切分，HDFS通过文件数和空间的配额做限制，mapreduce是做slot的限制。数据可以在阿里的平台上方便的共享，计算资源通过分时共享，白天进行开发和测试任务，晚上进行生产任务。

2013-04-27 10:07:04

大数据全球技术峰会阿里淘宝

【51CTO快讯】维基百科从MySQL迁移到MariaDB

甲骨文与开源社区关系的恶化正促使许多发行版用MariaDB取代MySQL，现在使用MySQL的流行网站维基百科也宣布从MySQL迁移到MariaDB，部分原因是甲骨文的MySQL有免费版和企业版，而企业版的新功能没有公开源码，而MariaDB则没有这方面的问题。

2013-04-25 10:43:33

维基百科 MySQL MariaDB

7个大数据流言——避免错误的Hadoop和云分析决策

数据体积和数据使用在以惊人的速度增长着，这一点从分析师的分析中不难获得——IDC今年在数据存储上的增长速度将达到53.4%，AT&T声称无线数据的流量在过去的5年内增长200倍，如果你着眼自己通信渠道的话，将毫无疑问的发现互联网内容、电子邮件、应用通知、社交消息以及每天自动接收的消息都在显著的增长。

2013-04-25 10:24:19

大数据 Hadoop 云分析

Hadoop集群10：MapReduce初级案例

本文为Hadoop集群系列第九。 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。

2013-04-24 10:47:48

小议Hadoop HDFS Balancer

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，我们该如何应对？

2013-04-23 11:17:47

查看HBase表在HDFS中的文件结构

为了查看HBASE表在HDFS中的文件结构

2013-04-23 10:58:28

48小时：大数据时代我们应该怎么应对雅安地震？

下午，看到我的新浪微博中几乎都是关于雅安地震的消息，其中不少还是我认识的人在转发各种信息，让我无法不动容。而微信里真的是冷冷清清啊。这个时候觉得新浪微博不商业化又怎么了，起码它在让很多人关注雅安地震后每一分每一秒发生的事情。

2013-04-22 14:03:20

大数据雅安雅安地震

Apache Hadoop 为什么如此风靡？

Apache Hadoop是MapReduce计算模型的一个开源实施。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 13:59:00

51CTO独家报道ChinaHadoop技术沙龙

阳春四月，京师草长，杂花生树，群莺乱飞。ChinaHadoop开源社区联络在一线互联网公司具有多年Hadoop大数据平台使用经验的技术专家，将为大家献上一场精彩的技术分享活动。

2013-04-19 10:43:47

为什么Apache Hadoop让人如此着迷？

Apache Hadoop是MapReduce计算模型的一个开源实施。MapReduce是由谷歌公司推广开的，用于构建公司的互联网索引。在其最初形式中，MapReduce被当做一种系统集群分布式工作的方法，开发出来。

2013-04-19 10:06:51

Apache Hadoop MapReduce计算

Project Savanna：让Hadoop运行在OpenStack之上

用户需要给Savanna提供一些信息来建立集群，比如Hadoop版本、集群拓扑、节点硬件详情以及一些其它的信息。在用户提供这些参数之后，Savanna将帮助用户在几分钟之内建立起集群，同样还可以帮助用户根据需求对集群进行扩展(增加或者删除工作节点)。

2013-04-19 09:51:21

Hadoop OpenStack Savanna

曹政：数据分析这点事

其实，这个话题还有很多延伸，比如，如何看一个年轻人有没有数据分析潜质；以及如何培养数据分析和产品分析人才，等等，不过，就这样吧。今天说的不少了，我水平有限，吃饭的就这几招，而且又老又笨，大家都会了我离下岗也不远了，您就凑活看吧。

2013-04-17 10:12:43

数据分析大数据

SQL Server数据挖掘规则实现商品推荐2

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-04-16 09:35:52

淘宝车品觉：数据，你准备好了没有？

4月11日杭州举办的“淘宝开放日”活动中，阿里集团数据委员会会长车品觉在论坛上分享了其在大数据领域的从业经验。

2013-04-15 10:49:54

加速大数据应用落地英特尔IDF推Hadoop新发行版原创

在本届IDF2013英特尔信息技术峰会上，英特尔正式发布了Apache Hadoop发行版的最新版本2.3版，针对大数据存储、管理、处理和查询等应用的开发和优化，通过改进和增添多种特性及功能，在性能、可管理性及易用性上实现了进一步的提升。

2013-04-13 14:10:27

大数据应用落地英特尔

大数据Hadoop重塑数据中心

大数据很火，从近日的年度盛会IDF上就能看出端倪。英特尔高级副总裁兼数据中心及互联系统事业部总经理柏安娜，在介绍英特尔数据中心战略时特别强调，英特尔将持续投资Hadoop，为开源社区提供代码，面向至强优化发行，提供硬件增强的压缩功能。

2013-04-12 10:56:31

R语言多元分析系列

R语言中进行主成分分析可以采用基本的princomp函数，将结果输入到summary和plot函数中可分别得到分析结果和碎石图。但psych扩展包更具灵活性。

2013-04-10 10:31:21

数据分析决定大数据成败

企业的IT高管们已然开始意识到，如果没有强大的分析系统，大数据几乎没什么价值。而借助分析系统，他们可以处理这些数据，以便给企业的重要决策者(他们的老板)提供易于消化的信息。

2013-04-09 09:28:20

大数据大数据全球技术峰会

甲方乙方：大数据分析内外有别

现在是一个大数据时代，人人嘴边都挂着数据创造价值、数据挖掘等一些热词。各公司内部也逐渐认识到数据的重要性，纷纷成立数据部门，期待数据可以真正的为业务服务。

2013-04-08 09:57:05

大数据分析

保障Hadoop数据安全的十大措施

Dataguise为多家财富200强企业提供Hadoop安全服务，总结出了一套适合大规模多样化环境的大数据安全实践和流程。

2013-04-08 09:38:37

Hadoop 大数据数据安全

VMware为Serengeti虚拟化方案加入Hadoop支持

在本周二公布的Serengeti 0.8.0中，这款专为Hadoop虚拟化打造的开源工具已经能够支持数个Hadoop发行版，外加多项能够简化Hadoop之上HBase数据仓储设置流程的功能。

2013-04-08 09:32:23

VMware Serengeti Hadoop

确保Hadoop数据安全的十大最佳方法

Dataguise日前公布了实施Hadoop的十大最佳做法。信息技术工具的日益更新和功能的不断优化成熟，使得大数据的使用变得更具有可行性。然而，这一新技术领域的优势往往还伴随着数据隐私的问题。在这些庞大的信息库中，个人身份信息(PII )，如姓名，地址和社会安全号码都存在泄露的可能。

2013-04-07 09:43:52

Hadoop 数据安全大数据

为大数据与人工智能而生新职业：算法师

大家应该还记得《黑客帝国》里面Leo躲避枪林弹雨的高难度动作，这部电影，充满了大数据与人工智能的色彩。算法师通过对数据库的标记、对数据库的检测、编排，甚至对敌人发出攻击，当时看起来相当科幻的镜头，如今已经是被广泛运用的技术。

2013-04-07 09:32:55

海关数据仓库云平台：大块头有大智慧

数据处理是一个很重要的能力。之前海关的数据都由各个部门分散去做，而我们想找到一个解决方案，将这些数据梳理并构建一个体系，从而提升海关整体的数据处理能力。”任林口中的方案，正是他的团队(XRZ队)参加微软Windows Server 2012云创益大赛团队赛的作品——动态数据仓库高性能云计算平台(简称数据仓库云平台)。

2013-04-03 11:01:56

海关数据仓库云平台微软

大数据挖掘让PE/VC更高效 LinkedIn成最佳工具

作为硅谷风投公司Greylock Partners的数据科学家，对于泛滥的数据如何改变风投公司的运营方式，DJ Patil当然心知肚明。这位LinkedIn前首席科学家表示，风投仍然是关乎勇气和直觉的生意，但是数据挖掘技术可以帮助风投资本家变得更有效率。

2013-04-03 09:49:48

LinkedIn 大数据

北京大学EasyHadoop校园行引关注

Hadoop从互联网领域蓬勃发展，广大搜索、电商、视频、门户、游戏公司都纷纷开始实施Hadoop技术解决方案替代老旧的脚本分析和数据仓库平台。同时Hadoop大数据解决方案已经扩展到通信、安全、工业、电力、乃至生物医药等传统基础设施领域,成为公认的大数据分析处理领域规范标。

2013-04-02 11:23:17

Hadoop中IPC的源码分析

最近开始看 Hadoop 的一些源码，展开 hadoop 的源码包，各个组件分得比较清楚，于是开始看一下 IPC 的一些源码。

2013-04-02 10:51:09

Hadoop Hadoop源码

微软推出自写生工具SketchInsight 帮助理解大数据

移动互联网时代，呈现在普通用户面前的是一种全新的体验方式——通过各种终端便利的触网，接受并制造信息，而这直接加速催生了另外一个热门领域：大数据。如果说把移动互联网称作是前端的话，那么大数据处理应该可以叫做后端。

2013-04-02 09:54:05

Foursquare的野心：大数据时代“活点地图”

镜头转向 2009 年，在西南偏南大会上，LBS 应用 Foursquare 红爆，“签到”功能风光无限。而时至今日，签到类应用已经从倒出的”新鲜感“到习惯，甚至遗忘。已经积累了3000 万用户，30 亿条”签到“信息的 Foursquare 不愿意放过海量的数据。他们的新野心，不在于让更多人“签到”，而是将这些签到和评价信息汇聚成类似《哈利波特》中的“活点地图”（Marauder’s Map)——一幅关于霍格沃茨魔法学校的地图，显示每条通道，每座城堡内每个人的即时位置的行动方向。

2013-04-01 11:17:43

上一页 1 ··· 164 165 166 167 168 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营