51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
认识数据湖——拥抱开源大数据技术的前提
随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?

2016-03-28 10:24:49

数据湖大数据技术开源
你的分析为何让你失望 ？
真正的挑战是洞察，利用大数据和分析法，以改善解决问题和决策的方式，会掩盖组织里一个现实情况，那就是新的分析法往往需要新的行为。讽刺的是，大数据和分析法的质量，不如分析的目的来得重要。

2016-03-28 09:39:54

数据分析大数据CIO
大道至简的数据治理方法论
数据分析师的角色犹如一位大厨，原料有问题，大厨肯定烹饪不出色香味俱佳的大菜，数据有问题，数据分析师得出的结论自然也就不可靠，再好的数据分析方法论也只是建立在失真的数据基础上，苦心构建的数据体系当然也被白白浪费了。

2016-03-25 15:37:18

数据治理数据分析BI
大数据应该成为一种基本的使用和操作能力 原创
“大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。

2016-03-25 10:33:44

大数据百分点BD-OS数据处理
腾讯刘黎春：社交数据在征信领域的应用探索 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-24 11:05:22

社交数据征信应用
WOT2016卢学裕：小团队如何玩转大数据 原创
大数据能为企业带来什么?更多的订单，更低的成本，更快捷的管理，更新的业务模式。然而在每轮技术变革中，中小企业似乎都是被最后照顾到的。在这场新变革的席卷下，我们不禁又要问小团队，你的大数据在哪里?

2016-03-22 10:02:23

WOT2016创业团队大数据
RDD、DataFrame和DataSet的区别是什么
RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。

2016-03-21 10:40:53

RDDSpark SQL数据集
用“下馆子”来理解推荐系统的版本演进
然后经过了这么多年的发展，信息进一步丰富，因为很多信息，我们根本就不知道它的存在，这时搜索引擎也不适用了，出现了推荐系统，将你想要的信息主动的推送给你。推荐系统是推荐商品的，但是它如何推荐的呢?以饭馆吃饭来举一波例子。

2016-03-21 10:31:39

推荐系统用户推荐用户画像
借助 Redis ，让 Spark 提速 45 倍！
提速幅度有多大?如果Redis和Spark结合使用，结果证明，处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%，而是快整整45倍!

2016-03-21 10:16:06

RedisSpark大数据处理
共筑Spark大数据引擎的七大工具 译文
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改进不断添加进来，每个部分都在不断完善之中。

2016-03-21 09:56:41

Spark大数据处理Apache
星环科技上榜Gartner 2016年数据仓库及数据管理解决方案魔力象限

2016-03-18 11:00:37

企业网D1Net
如何使用队列数据分析来留住你的用户 译文
在种种数据分析工具中，有一种工具经常不被人使用，那就是队列分析。虽然队列分析是一种非常强大的分析方式，但因为它看起来非常复杂而总是被人放在一边。然而，队列分析能够为我们提供大量的有效结果，今天就让我们深入浅出的了解一下它。

2016-03-18 09:44:05

队列分析应用留存用户行为
沼泽里的掘金术：大数据时代数据资产管理“五星模型” 原创
数据就像企业的根基。然而并非所有数据都可能成为资产。如果没有将数据视为资产加以有效管理，即使数据再多，对于企业来说也只是垃圾和负担。

2016-03-17 18:17:15

大数据大数据沼译数据资产管理
新浪微博王传鹏：认识每一个“你” 微博中的用户模型 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自新浪微博推荐及广告技术总监王传鹏做了以《认识每一个“你”：微博中的用户模型》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-17 16:00:51

新浪微博用户模型
整合企业NoSQL的10大要点
虽然关系数据库有自己的一席之地,但是今天数据的复杂性,海量和需求使它们不适合一些特定的应用程序。在很多这样的情况下,NoSQL技术的加入填补了这一缺憾。不过,要想实现NoSQL系统进入你的企业可并不是易事。Pasqua将分享 10个要点，有助于顺利整合NoSQL系统集成到你的企业。

2016-03-17 10:29:03

NoSQL数据整合系统集成
Apache五大主流流计算框架详细对比
如你所想，分布式的流处理也就是通常意义上的持续处理、数据富集以及对于无界数据的分析过程的组合。现在我们会在这篇文章中讨论下各种框架之间的相似点以及区别在哪里，还有就是从我的角度分析的，推荐的适用的用户场景。

2016-03-17 09:59:40

Apache流计算框架分布式流处理
还不懂HDFS的工作原理？快来扫扫盲
分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。让我们通过本文来了解。

2016-03-17 09:55:52

HDFSHadoop分布式文件系统
游族MOb兰旭：大数据背景下的社交分享解决方案 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自游族Mob的联合创始人兼CMO兰旭做了以《大数据背景下的社交分享解决方案》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-16 18:23:13

MOb兰旭大数据
非要一决高下？听说Hadoop和Spark更配哦
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

HadoopSpark大数据平台
拿到用户数据之后，LinkedIn怎么赚钱?
LinkedIn有很多数据。他们是如何用数据给各个部门提供数据服务，帮助他们赚钱的呢?这里有三个关键词：助力、优化、创新，用数据来持续不断为商业增值的手段。

2016-03-16 10:56:12

数据营销数据分析LinkedIn
数据分析工作常见的七种错误及规避技巧
福尔摩斯有一句名言是如何定义侦探的,而数据科学家在商业中的角色就类似侦探。“我是福尔摩斯，我的工作就是发现别人不知道的。”企业要想保持竞争力,它必须比大数据分析做的更多。

2016-03-16 10:39:30

数据分析数据科学可视化
如何基于Spark进行用户画像？
如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

2016-03-16 10:22:28

Spark用户画像数据科学
数据科学家和大数据技术人员工具包
数据科学家和大数据技术人员的工具包：A.大数据技术平台相关2015最佳工具，B.开源大数据处理工具汇总，C.常见的数据挖掘分析处理工具。

2016-03-14 11:45:59

数据挖掘NosqlMapReduce
是什么让深度学习再次崛起并超越人类?
深度学习这套方法并不是近几年提出的，是什么让深度学习再次崛起并超越人类呢?当然首先要归功于Hinton等学者几十年如一日的不懈研究。另外，有两个客观因素异常重要。

2016-03-14 11:40:51

深度学习大数据高性能计算
做好数据挖掘模型的9条经验总结
也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实践者成功运用和遵循。

2016-03-14 11:05:58

数据挖掘数据挖掘模型数据处理
20个问题揭穿冒牌数据科学家
冒牌数据科学家通常是某一个特定学科的专家，且坚信他们的学科才是唯一真正的数据科学。这种想法忽略了一个事实：数据科学是一整套科学工具与技术(数学，计算，视觉，分析，统计，试验，问题界定，模型建立与检验等)的集合，用于从数据收集中获得新发现、洞察与价值。

2016-03-10 13:56:42

数据科学数据科学家数据分析
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
跟着Twitter的数据科学家，体验窥探天机的兴奋
在Twitter工作真的很刺激。在这里，笔者能直接观察学习一个大型科技公司是如何使用数据与数据科学来创造竞争优势的。

2016-03-09 13:37:48

Twitter数据科学大数据
指点迷津的现代数据架构之道 译文
企业要将大数据纳入到其核心企业数据架构，势必需要改动或购置大数据即服务技术。适合如今需求的现代数据架构应当包括以下这几个部分。

2016-03-09 10:07:54

数据架构大数据即服务数据分析
Hadoop生态系统在壮大：十大炫酷大数据项目 译文
管理和分析大数据已经变成了重大挑战，为了应对这项任务，开发人员已开发了一系列新的开源技术。本文介绍一些重要项目，并顺便了解几个新兴项目。

2016-03-07 09:57:19

Hadoop大数据开源项目
自动洞察：大数据的下一个重大转折
我坚持认为具有洞察力的应用是帮助企业高效探究大数据的关键，可以提高决策效率和解决重大问题。为了更好的理解和重视我们开发该应用的重要性，有两件事是很重要的，一是了解大数据大体上发生了什么，二是评估我们使用商业智能系统的经验如何促进我们思考这个应用。

2016-03-04 11:01:09

自动洞察大数据数据分析
为什么可视化数据有一定的误差值？
整个大数据开发利用的闭环中，让大数据能够被感知并看到，是必不可少的一环，可视化的最终目标就是让每一个人都能看到大数据到底是什么。

2016-03-04 10:51:51

数据可视化数据抓取
Spark Streaming 妙用之实现工作流调度器
开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea工作流调度器
凯宾斯基选择Infor为其部署集团商业智能平台
3月3日，提供美观的行业云应用软件的领先厂商Infor 宣布欧洲最古老的豪华酒店集团——凯宾斯基酒店已开始部署Infor动态企业绩效管理 (d/EPM)系统。

2016-03-03 11:52:27

Infor商业智能
Spark 1.6.0 新手快速入门
随着越来越多的代码贡献者和使用经验，Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式，希望对各位初学者有所帮助。

2016-03-02 11:23:34

Spark 1.6.0开源大数据技术
选择 Parquet for Spark SQL 的 5 大原因
Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

2016-03-01 11:11:38

ParquetSpark SQL列式存储
职业生涯提升计划：迈入数据科学新世界 译文
数据科学已经成为专业人士不容忽视的一大全新发展机遇，并能够为其带来相当可观的薪酬水平。与其它早已成熟的传统技术不同(例如数据库管理)，数据科学显然是一类全新领域。

2016-03-01 09:27:54

数据科学IT职业薪酬
Airbnb 数据基础设施与其背后的哲学
在 Airbnb 我们提倡数据文化并使用数据作为关键输入去决策。跟踪指标，通过实验验证假设，建立机器学习模型和深入挖掘商业洞察是我们快速聪明前进的关键。经过多年的进化，我们觉得数据基础设施服务稳定，可靠，可扩展，因此是一个很好的机会来分享我们的经验给社区。

2016-02-29 13:17:14

Airbnb数据基础设施Hadoop 集群
吃惊吗？原来这才是大数据的大问题！ 译文
据Dresner咨询服务公司的一项新调查显示，几乎没人能说清大数据到底是什么鬼;而且参与调查的所有公司，也几乎都没用大数据做真正有意义的事儿。是不是觉得很吃惊?

2016-02-29 10:52:02

大数据数据基础设施大数据应用
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

HadoopSpark大数据项目
Alluxio1.0发布：API顺畅衔接大数据应用与存储 译文
作为Tachyon的化身，Alluxio已经开始为多个大数据项目提供支持，而Spark则正是其中的典型代表。

2016-02-26 09:48:49

APIAlluxio存储
雅虎开源人工智能独门武器 CaffeOnSpark
Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日，Yahoo 发布了 CaffeOnSpark 人工智能的源代码，每个学术研究人员或是大公司都可以使用或是加以修改。

2016-02-26 09:43:42

雅虎人工智能开源
50PB海量数据排序，谷歌是这么做的
为什么谷歌工程师喜欢测试排序?因为很容易产生任意规模的数据，也很容易验证排序的输出是否正确。最近，他们向外界披露了过去几年的测试数据和经验总结，特别是50PB海量数据的排序，对于关注数据处理的技术人员来说很有借鉴意义。

2016-02-25 10:46:33

数据排序数据处理谷歌
MapReduce朝不保夕的江湖地位
MapReduce已经不再像以往那么重要，就像一个古老的蒸汽引擎被迫让位于更时尚的柴油机车一样。用一位发言人的话说，“摆脱MapReduce，尽快和尽可能多地摆脱。”

2016-02-25 10:09:15

MapReduceHadoopHDFS
如何快速使用大规模机器学习的核心技术 原创
面向机器学习的可用框架迎来爆发式增长。巨头们纷纷将最为复杂的技术从机器学习中抽象出来，开源给开发者和学术研究人员，在帮助更多人的同时，使自身技术方案不断得到完善和进步。

2016-02-25 09:31:02

机器学习微软DMTK分布式算法
这些数据科学技能，才是老板们最想要的
最近，人们在CrowdFlower上针对Linkedin的3490个数据科学职位做了分析，并对最常出现的21个技能进行了排序。有些结果并不那么令人惊讶，然而有些却有点让人摸不着头脑。

2016-02-24 09:47:49

数据科学SQLHadoop
Hadoop 集群管理上的新“绝招”
做一个应用程序性能管理系统是一回事——而做一个可以动态地优化系统的实时控制器是另外一码事。

2016-02-24 09:38:25

Hadoop集群管理大数据技术
Spark 2.0面纱半揭，相关细节引人遐想 译文
在上周召开的Spark东部峰会上，Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0，其将包含三大核心转变。

2016-02-24 09:29:38

Spark大数据Spark 2.0
数据分析师的30种死法
作为数据分析师，下面这些死法有没有戳中痛点？记住，“数据虐我千百遍，我待数据如初恋……”

2016-02-23 09:59:14

数据分析数据分析师数据管理
整天看用户埋点数据，知道数据是咋来的吗?
本文简述了埋点数据上报、统计的大致流程，每个过程中还有很多细节要解决，如后台日志乱码问题、客户端异常导致数据丢失等。一旦数据出现问题，经常需要联系各方人员定位原因。在此呼吁广大的产品大虾一定要关心、爱护为你做统计需求的程序猿，他们上辈子都是偷了蟠桃的孙悟空。

2016-02-22 11:59:32

埋点数据报表hive
上一页 1 ··· 140141142143144 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服