鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9005内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9005 条

大数据也有西大荒：这个行业有点乱

大数据已经发展到了一个关键阶段。到 2017 年，整个大数据市场将增长到 500 亿美金，但很不幸 55% 的大数据项目都是失败的。与机遇同在的是炒作和不实的信息，我们正处在大数据的西大荒阶段。

2013-09-16 11:04:23

大数据大数据发展

大数据产业未来的瓶颈在哪里？

通过对大数据产业链的分析，我们可以清楚地看到，在大数据产业链的各个生产环节中，各大公司都已开占位，随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题都终将不会成为问题。

2013-09-16 10:18:06

大数据时代互联网企业比金融机构更有优势？

“在大数据时代，很多互联网公司如果搭建金融服务会比现在的金融机构更有优势。”宏源证券研究所副所长易欢欢说。

2013-09-16 10:12:52

达沃斯上演首场辩论会:大数据还是大忽悠

本届夏季达沃斯论坛,一场关于“大数据还是大忽悠?”的论坛辩论会昨日掀起了会场里的一个小高潮。4位“辩手”精彩的演讲使得现场笑声、掌声、敲桌鼓励声连连响起。最终由北大副教授苏萌和日本科学技术担当相山本太一联手向人们展示了大数据未来发展和现实操作中的巨大能量,一举扭转了与会者的观点。

2013-09-13 10:37:59

银行业须直面“大数据”挑战

日前，某互联网安全中心发布重大安全警报称，“超级网银”跨行账户管理功能已成为黑客攻击目标，近期全国连续出现多起银行客户被骗案例。

2013-09-13 10:27:52

大数据银行业

大数据时代的商业智能高峰论坛成功召开

继移动互联、云计算之后，大数据再次挑动整个IT产业的神经。这场发端于互联网企业的草根技术让我们可以以全新角度重新审视数据资产，更让潜藏在这些数据中的商业价值前所未有地得到发挥。大数据让“智能之门”从来没有像现在这样距离我们这么近。

2013-09-13 10:19:04

地理空间可视化为大数据注入活力

大数据，是当下IT界热议的话题之一。高容量、高速度、多类型等它的特点，数据的管理、数据的扩充以及数据的展现则是它价值的三个方面。这其中如何把数据很好的呈现出来，从而对其进行挖掘，是所有开发者共同关注的话题。数据呈现的方式多种多样，将大数据进行地理空间可视化，就是其中重要的一种。

2013-09-13 10:11:22

互联网金融还是大数据金融

近来，颇有几个新名词在市面上流行，诸如“互联网金融”，“信息消费”之类。这些新名词并非产自概念日日翻新的互联网业，却来自传统金融业甚至政界，其气势之大，梦想之美，内涵之广，投入之多，逻辑之混乱，可行性之差，似乎值得一辨。

2013-09-11 16:40:35

互联网金融大数据金融大数据

Spark：一个高效的分布式计算系统

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

2013-09-11 16:02:00

Spark 分布式计算系统

教你怎样玩转千万级别的数据

大数据处理是一个头疼的问题，特别当达不到专业DBA的技术水准时，对一些数据库方面的问题感到无奈。所以还是有必要了解一些数据库方面的技巧，当然，每个人都有自己的数据库方面的技巧，只是八仙过海，所用的武功不同而已。

2013-09-10 10:20:12

数据大数据大数据应用

Twitter发布Storm-Hadoop混合系统

Twitter 博客发文公布了Summingbird，公布细节的技术成分很大。但是，如果你想想Twitter 如何运行的，本质问题是很容易理解的。像Trending Topics(话题趋势)和搜索一类的服务需要实时数据处理才会有用。但是最终还是需要准确性或许还要做一些深度分析。Storm有点像医院里的治疗类选科，而Hadoop则是长期患者护理。

2013-09-05 09:47:35

Twitter Summingbird 开源

MongoDB升级Hadoop连接器新增Hive支持

也许很多人没有发现，MongoDB和Hadoop在过去几年里已经变得非常流行。MongoDB之所以成为很多网络和移动应用的业务数据库，是因为它支持JSON文件类型;Hadoop也成为很多公司大数据处理和分析的平台，尤其是大型网络公司和财富500强企业。

2013-09-02 17:24:54

MongoDB Hadoop连接器 Hive

海量数据相似度计算之simhash和海明距离

过采集系统我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。

2013-08-29 14:28:58

海量数据 simhash

大数据时代的商业智能

在大数据概念面世之前，商业智能（BI）几乎是我们进入“智慧世界”的不二选择，然而，价格不菲的数据库、数据仓库、ETL等工具共同构筑的高门槛挡住了很多企业一探究竟的脚步，而数据规模的爆炸式增长更是加高了这个门槛，让企业在获得“智慧”的投入成本越发高企。

2013-08-29 11:24:31

迎接商业智能3.0时代

继移动互联、云计算之后，大数据再次挑动整个IT产业的神经。这场发端于互联网企业的贫民技术让我们可以以全新角度重新审视数据资产，更让潜藏在这是数据中的商业价值前所未有地得到发挥。大数据让“智能之门”从来没有像现在这样距离我们这么近。

2013-08-29 11:21:05

社会化海量数据采集爬虫框架搭建

随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。

2013-08-27 13:44:49

爬虫框架数据采集

关于Hadoop的六大误解

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:42:03

有关Hadoop的六大误解

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:18:06

当商业智能遇上大数据

虽然眼下各家关于大数据的宣传重点各有不同，但描绘的前景基本相同，即通过数据探查、数据分析及数据展示等相关技术，让我们可以从海量数据中很快找到新的商业机会，或者做出更正确的决策。

2013-08-22 11:08:27

大数据商业只能 Hadoop

大数据：从开源告诉你身边的IT故事

最近我们Team利用Dream分布式计算平台，做了这样一件事情，将Github的大量数据通过爬虫抓取下来，通过分析后，我们抽取最近一年中部分的开发者和项目信息，得到了如下有趣的信息，故分享之，数据原汁原味，无人工干涉。(感谢Iveely Team 所有成员的付出)

2013-08-22 10:56:34

初窥InnoDB的Memcached插件

前些年，HandlerSocket的横空出世让人们眼前一亮，当时我还写了一篇文章介绍了其用法梗概，时至今日，由于种种原因，HandlerSocket并没有真正流行起来，不过庆幸的是MySQL官方受其启发，研发了基于InnoDB 的Memcached插件……

2013-08-21 15:47:05

InnoDB Memcached Memcached插件

大数据时代如何保证hadoop安全

Jon Clay说，Hadoop其实是一个软件库，由于这个软件库是开源的，所以安全措施比较差，突出表现在以下几个方面。

2013-08-20 09:26:03

大数据时代 hadoop

构建Hadoop安全模型让大数据安全落地原创

构建Hadoop的安全模型可采用分层方式进行。在最外层必须进行良好的访问控制，确保只有有相关权限的人才可访问Hadoop数据；第二层是网络威胁防御，设定相关机制，防止网络受到入侵；第三层是应用层程序升级，确保没有漏洞；第四层是数据保密，防止数据被窃取；第五层是保证数据的完整性。

2013-08-19 18:22:55

大数据 Hadoop 趋势科技

美国军方厉查大数据监控技术“反噬”自身风险

美国国家安全局(NSA)“棱镜”计划的曝光令美国民众谈“监”色变，但如今五角大楼也对大数据带来的威胁提高警惕。美国《外交政策》杂志8月12日刊文称，一方面美国政府安慰公众不必对通信数据搜集计划感到恐惧，另一方面国防部则担心敌对势力使用相同手段威胁美国国家安全，由此呈现出带有讽刺性的情景。

2013-08-15 10:13:51

大数据监控

大数据吹响智慧农业前进的号角

据相关报告显示，世界人口到2050年将达到90亿。目前，农业生产力与50年前相比提高了三倍，但土地使用量仅比过去提高了12%。尽管如此，据联合国粮食及农业组织预测，粮食生产力必须提高60%才能应对人口快速增长带来的负担。

2013-08-12 09:39:37

大数据大数据农业

你的隐私数据可以卖钱啦！

互联网已经固定的商业模式：大公司通过收集用户的隐私数据来为企业提供收费服务以支撑公司发展，同时以免费的网络服务来补偿用户。想想看，Facebook、百度、Google 等网站都是这样的模式，用户免费用产品，但是无法得到看得见的实惠。

2013-08-02 16:41:37

大数据个人数据隐私数据

Hadoop虚拟化影响大数据存储 SAN成优选？

大数据时代，Hadoop将会会大规模部署于企业之中。VMware新的vSphere Big Data Extensions (BDE) 将其开源项目Serengeti商业化，使企业管理员能够随心所欲地玩转虚拟Hadoop集群。

2013-08-02 10:47:56

Hadoop 大数据存储 SAN

比大数据还大的是什么？

大数据，大数据，大数据。我没有在学唐僧念经，而是近来这个词实在是太热门了，在我耳边余音不绝。看到一个略带批判主义的信息图，审视拷贝数据的体量。

2013-08-01 14:03:50

大数据比大数据还大更大的数据

深入理解Hadoop集群和网络

本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。

2013-07-31 10:04:42

hadoop Hadoop集群集群和网络

将OpenStack部署到Hadoop的四种方案

随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。本文从一些基础知识入手，将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应

2013-07-26 16:38:54

OpenStack Hadoop

科技发展要带我们去向何处原创

今天上海举行的甲骨文全球技术大会上，我听到的最有启发性的演讲之一来自神州数码工程研究院院长谢耘的IT转型与智慧城市发展主题演讲。

2013-07-24 23:49:08

甲骨文全球大会2013 云计算智慧城市

从安全隐患带来的商机来看，Hadoop同样很美

Hadoop，作为被大肆宣传的大数据利器，设计初衷是为搜索引擎建立网页索引，而不是处理信用卡号，所以安全并不是其重点考虑的问题。基于这个原因，许多企业对Hadoop都是浅尝辄止。目前，包括Cloudera、Intel在内等多个Hadoop发行版厂商，都在实行或制定安全方面的计划。

2013-07-24 09:33:46

Hadoop 安全加密

独家提供：最具有价值的Hadoop Summit 2013资料下载_开发技术周刊第094期_51CTO.com

2013-07-23 16:55:31

开发技术周刊

数据分析≠Hadoop+NoSQL，完善现有技术的10条捷径

如果得到正确的应用，Hadoop确实能从根本上提升你公司的业务，然而这条Hadoop的应用之路却充满了荆棘。另一个方面，许多企业(当然不是Google、Facebook或者Twitter)也没有做大数据分析所需要的巨型集群，他们纯粹是被“大数据”这个热门的词语给吸引的。

2013-07-22 09:33:56

NoSQL 大数据 Hadoop

Hortonworks CTO：Hadoop的现在和将来

Hortonworks公司，由Yahoo和Benchmark Capital于2011年7月联合创建。在激烈的市场环境中，与其他竞争者相比Hortonworks有着自己的优势。出身于名门Yahoo!，Hortonworks拥有着许多Hadoop架构师和源代码贡献者，这些源代码贡献者以前均效力于Yahoo，而且已经为Apache Hadoop项目贡献了超过80%的源代码，Hortonworks这样说道。

2013-07-19 11:00:36

Hadoop 2013:最受关注的13款大数据产品

2013年6月26、27日两天，在圣何塞举行的Hadoop Summit 2013，不仅是Hadoop生态圈的盛宴，也是各路玩家的战场。不仅有Sqrrl、Wandisco、GridGain等新创业公司涌现，也能看到核心玩家Cloudera和Hortonworks互相角力。

2013-07-19 10:15:54

大数据产品 Hadoop

White Elephant：开发者必备的Hadoop利器

为了应对这些超大数据，LinkedIn使用Hadoop进行产品开发，并且为了更好地理解LinkedIn在所有用例中的Hadoop集群使用情况，他们创建了White Elephant。

2013-07-19 09:47:57

White Eleph Hadoop LinkedIn

Hadoop：Cloudera收购Myrrix共创“Big Learning”

目前机器学习已经成为大数据的典型使用案例，通过收购机器学习创业公司Myrrix，Cloudera又朝着其大数据一站式服务点的目标迈进了一步。Myrrix创始人Sean Owen， 7月16日上午在博客中正式宣布了这一收购，Sean Owen目前已担任Cloudera位于伦敦的数据科学部总监。

2013-07-19 09:43:16

Hadoop 大数据 Cloudera

Hadoop新貌，掀起企业工作流的革命

Hadoop走入大型机 — Hadoop能够掀起企业工作流的革命，让企业的业务变得更加快捷，能够直接消除平台限制，为企业节省百万成本。基于Hadoop的生态环境与整体解决方案能够大幅度的降低大型机的批处理时间，在更细致的水平上进行数据存取与分析。

2013-07-19 09:07:28

Hadoop 工业流

大数据与狂野的商业智能

BI（business intelligence）是一个用来处理业务的数字大脑，它是企业的大脑，是一个收集工具。它传达着这样一种商业精神：实现过程和理想目标的统一。

2013-07-18 17:23:43

大数据商业智能化

Hadoop集群部署（部署脚本，namenode高可用）

本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。

2013-07-11 13:39:23

大数据或成“抑郁情绪识别”新兴方法？

由哈工大“社会网络与数据挖掘”联合实验室、国内数据挖掘公司“宏博知微”组成的研发团队，于6月底建成基于社交媒体数据的抑郁倾向识别模型。相关人士表示，这项研究结果或成为抑郁情绪临床识别之外的新兴识别方法。

2013-07-10 16:43:00

大数据大数据应用

微软为Office 365增加商业智能功能

Power BI将向用户提供Kelly所说的“自助服务商业智能”，或者向与商务问题最接近的最终用户提供把数据和信息组合在一起的能力。微软将在本周在休斯顿举行的微软全球合作伙伴大会上推出这项服务。

2013-07-10 09:18:13

微软 Office 365

VMware对大数据平台Hadoop实现虚拟化译文

VMware宣布的这些新功能是公共测试版的一部分，使用vSphere 5.1的客户现在可以报名申领公测版;预计这些功能会在年底前正式投放市场。除了宣布这些扩展件外，VMware还表示Serengeti项目支持来自Apache Hadoop的最新开源代码，其中包括新的YARN功能：Hadoop社区的一些人认为，这款资源管理器有望为基于Hadoop平台开发的新应用程序打开闸门。

2013-07-08 09:50:22

VMware Hadoop 虚拟化

Hadoop+GPU强强联手的性能探索

Hadoop并行处理可以成倍地提高性能。现在的问题是如果将一部分计算工作从CPU迁移到GPU会怎么样?能否更快理论上，这些处理如果经过了并行计算的优化，在GPU上执行会比CPU快50-100倍。

2013-07-08 09:41:50

Hadoop GPU 性能优化

XOR的黄色大象：Erasure Code为Hadoop节省数据恢复带宽

如何在尽可能少的成本下，保证数据安全，或在数据丢失后实现快速恢复？这的确是个不小的挑战。在Azure和Facebook中都使用了Erasure Code，这是一种替代Hadoop三副本和传统Reed Solomon Code的高效算法。

2013-07-05 10:12:35

Hadoop Erasure CodeReed

Hadoop Summit 2013 Day1：BOF&Meetup

YRAN的Developer Meetup是几个HortonWorks的哥们主持的，先是收集大家的问题，主要包括intro、roadmap、API、compability、Storm、HBase等内容，以讨论形式为主。

2013-07-03 14:53:48

Hadoop Summit 2013 Day2：信息大爆炸

今天参加了3个keynotes，42个session中的8个，和一大堆厂商讨论技术，真是信息大爆炸的一天。

2013-07-03 14:27:05

在数据中心人们所做的10件蠢事

导读：在数据中心，小失误可能会导致大问题，不管是对于你公司，还是你个人，都会是大麻烦。

2013-07-03 10:10:22

大数据数据中心大数据应用

大数据初创企业WibiData将Hadoop“打包”

其实WibiData在创立初期，并没有什么宏伟的战略规划，仅仅是想成为第一个提供基于Hadoop商业应用套件的软件供应商(即使不是第一，也应该是之一)。在今年5月份，WibiData宣布获得了1500万美元的B轮融资，该轮融资由Canaan Partners领投，原有的投资者NEA以及谷歌董事长埃里克·施密特也有参投，共同助力WibiData完成这一宏伟的目标。

2013-07-02 13:38:59

WibiData Hadoop Cloudera

上一页 1 ··· 166 167 168 169 170 ··· 181 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营