直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

大数据

8818内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8818 条

BI项目中的ETL设计详解（数据抽取、清洗与转换）

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析的依据。

2013-03-27 15:10:14

创建SSIS包:ETL中典型的数据清洗

我们熟悉了很多ELT任务，这一个节来讨论复杂点的数据清洗。这里我们要使用的数据源是.dat文件，这种文件在大型主机上，或者是比较老旧的应用系统中非常常见。

2013-03-27 13:34:49

计算机审计中电子数据清洗的主要步骤

在这里我们将介绍计算机审计中电子数据清洗的主要步骤，包括数据分析和定义清洗转换规则。

2013-03-27 11:09:26

Teradata释放数据仓库专用平台能量拓宽分析视野

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，行业领先的高性能数据仓库专用平台——Teradata数据仓库平台2700在全球范围内正式出货。作为Teradata统一数据架构TM(UDA)的重要组件，Teradata数据仓库平台帮助企业快速应对不断变化的商业环境，确保在竞争中保持领先。

2013-03-27 10:53:27

Teradata 大数据天睿

微软在Windows Azure服务中推出首个Hadoop公共预览版

截至目前，微软已经完成了Azure HDInsight服务三个内部预览版的小范围测试工作。(我刚开始以为去年十月公布的已经是公共版本，但根据微软官方的说法，这周推出的才是首个公共预览版。)

2013-03-27 09:55:17

微软 Windows Azu Hadoop

EasyHadoop第八次免费技术讲座介绍

EasyHadoop社区从2012年举办了七次,汇集各行各业的案例和相关实践。以小规模技术聚会开始,希望能提供给大家真正企业一线的实战经验分享。构建一个开放,简单(小而美)的Hadoop技术沟通分享平台,让大家的大数据之梦得到落地。

2013-03-26 17:09:50

数据仓库中的数据清洗

可以将数据仓库的数据清洗比做政客们募集资金的过程。几乎不存在任何一方独立存在的可能性。数据清洗往往是数据仓库项目中时间最密集的，最有争议的进程。

2013-03-20 16:23:53

大数据清洗工具

在进行数据分析和可视化之前，经常需要先“清洗”数据。这意味着什么？可能有些词条列表里是“New York City”，而其他人写成“New York, NY”。然而，你在看到某些模式前得将各种各样的输入词汇标准化。又或者，出现一些数值输入错误，错别字什么的。

2013-03-20 15:49:28

忘记“大数据”，从“中数据”开始吧

对于很多市场研究人员来说， “中数据”才是真正能够提供ROI价值回报的分析目标。而所谓“大数据”分析，则会呈现递减的ROI。

2013-03-20 11:03:05

企业如何应对大数据：关注数据价值而非大小

福布斯网站日前发表保罗•马尼奥（Paul Magnone）的文章，谈论了大数据对企业的影响。马尼奥认为，人们在制定大数据计划前，应该弄清企业需要什么样的数据，以及如何用好这些数据。

2013-03-20 10:40:19

大数据大数据应用

电子商务企业如何把握大数据？

所谓的大数据，是需要跨视角、跨媒介、跨行业的海量数据，也可以理解为数据的收集方法。当数据的规模和丰富度达到一定程度，大家才开始提出大数据的概念。那么，电商大数据现状如何?

2013-03-20 10:30:22

在Hadoop的战争中 MapR获新一轮3000万美元融资

MapR，是一个Hadoop优化公司，专注于可用性和数据安全的优化。该公司日前获得了一个3000万美元的C轮融资，本轮融资由Mayfield Fund领投。在此之前，光速创投、NEA(New Enterprise Associates)和红点投资(Redpoint Ventures)也对MapR进行了投资。这轮融资让MapR的总金额达到了5900万美元， MapR在2011年获得2000万美元的B轮融资。

2013-03-20 09:49:06

MapR Hadoop 融资

Hadoop和Couchbase结合使用的技巧

Hadoop非常适合处理大量数据并将该信息解析为您可查询的较小的信息集。但是，通过与 Couchbase Server 集成，您可以对信息执行实时查询和报告，同时继续使用 Hadoop 处理大型数据集和数据集的繁重处理工作。Couchbase Server 还使用了一个 MapReduce 查询系统，这使您能够轻松地迁移和集成索引和查询系统，从而有效地提取和操作信息。

2013-03-18 11:05:26

Hadoop Couchbase

Nate Silver给创业公司忠告：寻找和大数据相关领域

你作为某位成功人士的粉丝，满怀期待的聆听他的演讲，结果他却对你说：“我的成功没法复制。”

2013-03-18 10:35:40

硬件提速英特尔推Hadoop一体化方案

英特尔架构事业部和数据中心软件事业部副总裁和总经理Boyd Davis表示，英特尔将会充分挖掘Hadoop以给广大用户带来巨大利益。Hadoop可以成为多种不同应用的平台，而且英特尔也将以服务支持的角色来推动开源向前迈进。

2013-03-18 10:16:35

英特尔 Hadoop 一体化

英特尔重定义Hadoop核心：优化CPU 原创

继Cloudera与Hortonworks之后，英特尔近日宣布推出Hadoop新版本，包括Hadoop发行版(Intel Distribution)以及Hadoop管理工具Intel Manager与Intel Active Tuner，这是英特尔从2009年开始投入大数据研究以来，首度发布的大数据软件产品，英特尔将以开源分布式数据分析平台Hadoop进军大数据市场

2013-03-15 17:37:33

Hadoop 英特尔 CPU

提速25%！Hadoop助英特尔研发周期缩短

通过这种Hadoop新平台来收集生产过程中的历史数据，并结合没经过使用的其他来源信息，在英特尔的一个五人组成的部门工作下即可帮助减少300万美金，当然，这还仅仅是去年英特尔酷睿处理器检测过程中的成本节省。

2013-03-13 11:41:12

Hadoop 英特尔研发周期

基于Hadoop云盘系统3：小文件存储优化

首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难。

2013-03-11 14:42:08

Teradata入选商业智能及信息管理咨询全球企业榜单

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata及其Claraview业务部门荣获Gartner公司2013年度《北美地区商业智能和信息管理市场分析报告》中针对咨询和系统集成服务供应商的”正”(positive)评级。该报告为北美地区正在或已经部署商业智能(BI)和信息管理(IM)产品或服务的用户提供明确指南，涵盖数据仓库、商业智能和数据分析市场指南。

2013-03-11 13:18:27

Teradata 商业智能天睿

基于Hadoop云盘系统2：HDFS文件访问控制

Hadoop开源技术框架在实际业务应用中，其早期的安全机制饱受诟病，具体到HDFS应用方面的问题，包括：用户到服务器的认证问题、服务器到服务器的认证信息。

2013-03-08 10:09:30

应需而变融易致远华为Hadoop大数据解决方案

人人都在谈论大数据,但是究竟什么是大数据呢?大数据主要来源于互联网领域和一些垂直行业，数据量达到PB级，甚至10PB以上;它需要更高性能、更大吞吐量、更大扩展能力.据统计，全球80%的数据在近两年生成，平均年增长率超过50%。

2013-03-07 18:28:11

华为 Hadoop 大数据

基于Hadoop云盘系统1：上传和下载效率优化

基于任何平台实现的云盘系统，面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。

2013-03-07 14:47:14

英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-03-07 10:56:03

英特尔 Hadoop Xeon

Hadoop生态系统地图：大象王国的八大族群

为了帮助企业和业界的大数据技术和应用的实践者快速理清Hadoop生态系统的头绪，GigaOM最近制作了一张Hadoop生态系统地图，按照不同的应用场景和交付模式，将Hadoop生态系统的厂商和产品划分为六大层面和八类玩家。

2013-03-07 10:05:53

Hadoop 大数据

如何在Linux上安装与配置Hadoop？

Hadoop的安装非常简单，大家可以在官网上下载到最近的几个版本，在Unix上安装Hadoop的过程与在Linux上安装基本相同，因此本文主要讲解如何在Linux上安装与配置Hadoop。

2013-03-06 13:27:03

Teradata再获数据仓库数据库管理系统魔力象限领导者

全球大数据分析和数据仓库解决方案厂商 Teradata 天睿公司日前宣布，Teradata天睿公司连续第14年入选Gartner公司2013年度《数据仓库数据库管理系统魔力象限》(Magic Quadrant for Data Warehouse Database Management Systems)的“领导者象限”。这一殊荣无疑是对Teradata卓越的产品创新能力和最佳实践的权威认可。

2013-03-05 10:13:10

Teradata 大数据天睿

大数据发展简史

在研究《数据科学发展简史》之外，我也比较关注大数据是如何产生的。在这里，我着重探讨那段尝试确定数据量增长速度的历史，或者将其称之为众所周知的“数据爆炸”（据牛津英语辞典记载，这一术语首次使用于1941年）。

2013-03-04 15:04:16

Twitter程序员推动Hadoop开发进程

由于Twitter的数百万用户能够彼此间实时分享最新新闻、想法、意见，Twitter成为了目前最受欢迎的通信平台。所有这些活动都为Twitter带来了海量的元数据，而这些元数据对于Twitter来说是一笔宝贵财富。

2013-03-01 09:39:53

Hadoop Twitter 大数据

[爆料]英特尔：将Hadoop“固化”到Xeon中

对于大数据分析而言，最基础的需求就是对于大量的结构化和非结构化数据，可以支持可变的数据结构和高效的数据导入、查询、统计分析。Hadoop在这些方面“当仁不让”。作为被称为“或可媲美Linux”的项目，Hadoop吸引了诸多顶级玩家的加入。

2013-02-28 10:32:07

hadoop 英特尔 apache

英特尔Hadoop应对大数据“芯” 应用

英特尔加强为数据中心提供了一个框架，可以连接和管理设备并实现一个可扩展的方式，Hadoop架构具有巨大的潜力，可以做为硬件基础层存在，并在此之上构建可以实现水平分布的各式各样的堆栈。

2013-02-28 10:04:27

英特尔 Hadoop 大数据

揭露云数据分析商业智能价值

“大数据”的宽松定义是过大而不能用传统数据管理技术和基础架构处理的数据集。详细的服务器日志、点击流数据、社交网络数据和移动设备数据都是数据仓库中和商业智能系统中交易型数据类型的补充。此外，公有云数据存储库和第三方加速器也提供了大数据集话题，从Twitter流和Meetup博文到经济和人口普查数据。

2013-02-28 09:59:55

云数据分析大数据分析 Hadoop应用

看大数据时代的用户隐私

大数据时代全局数据分析的的这种特质，让用户隐私保护几乎是一个伪命题。互联网时代我们都清楚我们在网络上的一切行为都可以被服务方知晓。

2013-02-27 10:56:39

在Hadoop上运行SQL：程序员需知晓的13种数据工具

其实，对SQL支持并不是Hadoop的最终目标，但是这一特性将会帮助Hadoop找寻自己的生存方式，让Hadoop在那些已经明白下一代分析的重要性但又不想迈向MapReduce专家之路的公司中取得一席之地。

2013-02-27 10:36:36

rackspace google GCE

NoSQL数据库的35个应用场景

当纵览一些不用的数据模型和产品的时候，综合考虑数据模型、产品特性和应用情景。不同产品功能各异，只凭数据模型来决定选择谁是不可能的。

2013-02-27 10:23:55

NoSQL 数据库

英特尔：相同的大数据不同的Hadoop

全球的数据使用量到2020将将会增长44倍，达到35.2ZB(1ZB=10亿TB)。Facebook、Twitter、微博等各种社交平台的海量数据，以及视频通讯、医疗影像、地理信息和监控录像等视频内容也会极具增加，加之传感器、RFID阅读器、导航终端等非传统IT设备和移动设备，都将产生越来越多的数据。增加的这些数据当中，有80%的数据属于非结构化。

2013-02-27 10:19:35

英特尔大数据 Hadoop

大数据平民化：Hortonworks推出Windows版Hadoop

本周一，在与微软合作一年后，Hortonworks终于发布了Windows版Hortonworks 大数据平台(Hortonworks Data Platform)，目前已经开放下载，通用版本预计将在今年第二季度完成。这标志着Hortonworks发布的Hadoop商业发行版本将能同时运行在Linux和Windows两大平台。

2013-02-26 09:40:00

Hortonworks Windows Hadoop

SQL Server数据挖掘规则实现商品推荐1

假如你有一个购物类的网站，那么你如何给你的客户来推荐产品呢？这个功能在很多电商类网站都有，那么，通过SQL Server Analysis Services的数据挖掘功能，你也可以轻松的来构建类似的功能。

2013-02-25 10:33:36

Red Hat开源其Hadoop存储系统

Red Hat本周三宣布开源其Red Hat Storage Hadoop插件，作为HDFS的替代产品。RedHat Storage hadoop插件基于Gluster文件系统。

2013-02-22 11:07:36

Red Hat 开源 Hadoop

企业大数据如何起步：从小数据到大数据

前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

2013-02-21 16:36:09

初创公司Citus Data将CitusDB扩展到Hadoop

大数据已经打开了企业数据分析以及选择性数据存储的视野。那么这两项的结合往往意味着需要学习新的语言，使用多工具处理，而且在分析平台上还可能需要牺牲一部分性能。

2013-02-21 09:41:49

CitusData 数据库 Postgres

“夫妻档”初创公司百万美元打造实时Hadoop系统

如果问及任何Hadoop的有关人士， Hadoop如何超越目前的批量处理平台，那么“实时”无疑是其中最主要的一个答案。事实上，这也是下个月“ Structure: Data”的一个讨论主题，企业希望Hadoop成为一个可操作的数据库以及具有各种类型的OLAP引擎。

2013-02-20 09:51:17

HStreaming JanaUhlig 初创公司

Informatica牵手亚马逊Redshift 改变数据仓库的经济性

全球独立企业数据集成软件提供商Informatica，近日宣布了“用于Amazon Redshift的Informatica云连接器”(Informatica Cloud Connector for Amazon Redshift)，作为基于云数据仓库的服务，它是一个可直接连接到Amazon Web Service(AWS)的云数据集成解决方案。在云分析的基础之上，Informatica这个新型产品可为小型及大型机构提供一个可行和极具经济效益的选择，旨在改变数据仓库的经济性。

2013-02-19 15:33:25

Informatica 数据仓库 Amazon Reds

英特尔大数据智慧：Apache Hadoop更优性能

英特尔与 Apache Hadoop 社区开展协作，支持系统管理员尽可能地实现其 Apache Hadoop 集群的最高性能——同时保证复杂度处于最低限度。英特尔开发了 HiTune 性能分析器和 HiBench 基准测试套件，用它们来降低 Apache Hadoop 性能调优的复杂性，用户可以在更短的时间内更有信心地设计和实现 Apache Hadoop 解决方案。

2013-02-18 15:15:32

英特尔大数据 Apache

使用大数据做出更明智业务决策

大数据咨询公司NewVantage Partners在近期公布的报告中指出，尤其是金融服务公司这类大型公司正在快速采用大数据，并且这一速度比预期的要快。这些公司是如何利用大数据做出更明智的业务决策的呢?

2013-02-18 11:16:10

华为通过微软2012 Fast Track数据仓库认证

华为今天宣布成为中国首家通过微软SQL Server 2012 Fast Track数据仓库认证的厂家，华为Tecal RH2288 V2成为基于SSD加速卡的SQL Server Fast Track认证服务器。

2013-02-01 12:42:58

华为微软数据库

Apache Hadoop集群的安全性架构

虽然基于现有的基础设施或定制的内部监控程序不同，使用的工具也可能有所不同。但是对于依靠Hadoop业务运营的公司来说，部署必不可少的“警卫”和检查，进而来保护Hadoop节点的安全性都是至关重要的。以下的10个组件应该作为部署Apache Hadoop安全性架构的讨论指南。

2013-01-29 10:20:06

MapReduce Hadoop 架构

小白学数据分析：留存率分析

最近在做留存分析时，遇到了不少的情况，也经常会有人问我，为什么我的游戏突然次日留存率降了一半。如果留存率是单单作为一个简单的指标的话，那对你价值还是蛮有限的，今天就和大家说说一个case，这是不久前解决掉的问题，相信会帮助不少人。OK，这也将作为留存率分析的第一篇文章，后续在和各位分享。

2013-01-29 09:57:23

2015年65%高级分析产品将嵌入Hadoop

尽管在2012年部署Hadoop系统需要特殊技巧，但是，机构认识到Hadoop驱动的分析给大数据程序带来的实力。这对于分析糟糕的结构化数据、文本、行为分析和基于时间的查询更是如此。虽然IT机构在过去几年里进行了测试，特别是使用具有Hadoop功能的数据库管理系统产品和设备进行了测试，但是，应用提供商将更进一步，在打包的应用中嵌入专用的、基于Hadoop的分析功能。

2013-01-29 09:16:43

分析 Hadoop 大数据

Joyent和SkyTap分别推出云Hadoop服务

这是厂商通过推出最新技术使自己的产品差异化的最新举措，也是提高大数据分析云应用的最新举措。在这种应用中，实际上有无限的资源根据按使用付费的定价模式向用户提供。

2013-01-25 11:09:29

大数据 Hadoop集群云Hadoop服务

Gartner和Ovum看淡“大数据”热潮

在2012年，“大数据”和行业发展趋势度过了“得意”的一年，但根据分析公司Ovum和Gartner表示，这股热潮很快就会淡出人们的视线。

2013-01-25 10:14:24

Gartner 大数据

上一页 1 ··· 165 166 167 168 169 ··· 177 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营