51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9084内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9084 条
游族MOb兰旭：大数据背景下的社交分享解决方案 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自游族Mob的联合创始人兼CMO兰旭做了以《大数据背景下的社交分享解决方案》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-16 18:23:13

MOb兰旭大数据
非要一决高下？听说Hadoop和Spark更配哦
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

HadoopSpark大数据平台
拿到用户数据之后，LinkedIn怎么赚钱?
LinkedIn有很多数据。他们是如何用数据给各个部门提供数据服务，帮助他们赚钱的呢?这里有三个关键词：助力、优化、创新，用数据来持续不断为商业增值的手段。

2016-03-16 10:56:12

数据营销数据分析LinkedIn
数据分析工作常见的七种错误及规避技巧
福尔摩斯有一句名言是如何定义侦探的,而数据科学家在商业中的角色就类似侦探。“我是福尔摩斯，我的工作就是发现别人不知道的。”企业要想保持竞争力,它必须比大数据分析做的更多。

2016-03-16 10:39:30

数据分析数据科学可视化
如何基于Spark进行用户画像？
如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

2016-03-16 10:22:28

Spark用户画像数据科学
数据科学家和大数据技术人员工具包
数据科学家和大数据技术人员的工具包：A.大数据技术平台相关2015最佳工具，B.开源大数据处理工具汇总，C.常见的数据挖掘分析处理工具。

2016-03-14 11:45:59

数据挖掘NosqlMapReduce
是什么让深度学习再次崛起并超越人类?
深度学习这套方法并不是近几年提出的，是什么让深度学习再次崛起并超越人类呢?当然首先要归功于Hinton等学者几十年如一日的不懈研究。另外，有两个客观因素异常重要。

2016-03-14 11:40:51

深度学习大数据高性能计算
做好数据挖掘模型的9条经验总结
也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实践者成功运用和遵循。

2016-03-14 11:05:58

数据挖掘数据挖掘模型数据处理
20个问题揭穿冒牌数据科学家
冒牌数据科学家通常是某一个特定学科的专家，且坚信他们的学科才是唯一真正的数据科学。这种想法忽略了一个事实：数据科学是一整套科学工具与技术(数学，计算，视觉，分析，统计，试验，问题界定，模型建立与检验等)的集合，用于从数据收集中获得新发现、洞察与价值。

2016-03-10 13:56:42

数据科学数据科学家数据分析
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
跟着Twitter的数据科学家，体验窥探天机的兴奋
在Twitter工作真的很刺激。在这里，笔者能直接观察学习一个大型科技公司是如何使用数据与数据科学来创造竞争优势的。

2016-03-09 13:37:48

Twitter数据科学大数据
指点迷津的现代数据架构之道 译文
企业要将大数据纳入到其核心企业数据架构，势必需要改动或购置大数据即服务技术。适合如今需求的现代数据架构应当包括以下这几个部分。

2016-03-09 10:07:54

数据架构大数据即服务数据分析
Hadoop生态系统在壮大：十大炫酷大数据项目 译文
管理和分析大数据已经变成了重大挑战，为了应对这项任务，开发人员已开发了一系列新的开源技术。本文介绍一些重要项目，并顺便了解几个新兴项目。

2016-03-07 09:57:19

Hadoop大数据开源项目
自动洞察：大数据的下一个重大转折
我坚持认为具有洞察力的应用是帮助企业高效探究大数据的关键，可以提高决策效率和解决重大问题。为了更好的理解和重视我们开发该应用的重要性，有两件事是很重要的，一是了解大数据大体上发生了什么，二是评估我们使用商业智能系统的经验如何促进我们思考这个应用。

2016-03-04 11:01:09

自动洞察大数据数据分析
为什么可视化数据有一定的误差值？
整个大数据开发利用的闭环中，让大数据能够被感知并看到，是必不可少的一环，可视化的最终目标就是让每一个人都能看到大数据到底是什么。

2016-03-04 10:51:51

数据可视化数据抓取
Spark Streaming 妙用之实现工作流调度器
开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea工作流调度器
凯宾斯基选择Infor为其部署集团商业智能平台
3月3日，提供美观的行业云应用软件的领先厂商Infor 宣布欧洲最古老的豪华酒店集团——凯宾斯基酒店已开始部署Infor动态企业绩效管理 (d/EPM)系统。

2016-03-03 11:52:27

Infor商业智能
Spark 1.6.0 新手快速入门
随着越来越多的代码贡献者和使用经验，Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式，希望对各位初学者有所帮助。

2016-03-02 11:23:34

Spark 1.6.0开源大数据技术
选择 Parquet for Spark SQL 的 5 大原因
Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

2016-03-01 11:11:38

ParquetSpark SQL列式存储
职业生涯提升计划：迈入数据科学新世界 译文
数据科学已经成为专业人士不容忽视的一大全新发展机遇，并能够为其带来相当可观的薪酬水平。与其它早已成熟的传统技术不同(例如数据库管理)，数据科学显然是一类全新领域。

2016-03-01 09:27:54

数据科学IT职业薪酬
Airbnb 数据基础设施与其背后的哲学
在 Airbnb 我们提倡数据文化并使用数据作为关键输入去决策。跟踪指标，通过实验验证假设，建立机器学习模型和深入挖掘商业洞察是我们快速聪明前进的关键。经过多年的进化，我们觉得数据基础设施服务稳定，可靠，可扩展，因此是一个很好的机会来分享我们的经验给社区。

2016-02-29 13:17:14

Airbnb数据基础设施Hadoop 集群
吃惊吗？原来这才是大数据的大问题！ 译文
据Dresner咨询服务公司的一项新调查显示，几乎没人能说清大数据到底是什么鬼;而且参与调查的所有公司，也几乎都没用大数据做真正有意义的事儿。是不是觉得很吃惊?

2016-02-29 10:52:02

大数据数据基础设施大数据应用
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

HadoopSpark大数据项目
Alluxio1.0发布：API顺畅衔接大数据应用与存储 译文
作为Tachyon的化身，Alluxio已经开始为多个大数据项目提供支持，而Spark则正是其中的典型代表。

2016-02-26 09:48:49

APIAlluxio存储
雅虎开源人工智能独门武器 CaffeOnSpark
Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日，Yahoo 发布了 CaffeOnSpark 人工智能的源代码，每个学术研究人员或是大公司都可以使用或是加以修改。

2016-02-26 09:43:42

雅虎人工智能开源
50PB海量数据排序，谷歌是这么做的
为什么谷歌工程师喜欢测试排序?因为很容易产生任意规模的数据，也很容易验证排序的输出是否正确。最近，他们向外界披露了过去几年的测试数据和经验总结，特别是50PB海量数据的排序，对于关注数据处理的技术人员来说很有借鉴意义。

2016-02-25 10:46:33

数据排序数据处理谷歌
MapReduce朝不保夕的江湖地位
MapReduce已经不再像以往那么重要，就像一个古老的蒸汽引擎被迫让位于更时尚的柴油机车一样。用一位发言人的话说，“摆脱MapReduce，尽快和尽可能多地摆脱。”

2016-02-25 10:09:15

MapReduceHadoopHDFS
如何快速使用大规模机器学习的核心技术 原创
面向机器学习的可用框架迎来爆发式增长。巨头们纷纷将最为复杂的技术从机器学习中抽象出来，开源给开发者和学术研究人员，在帮助更多人的同时，使自身技术方案不断得到完善和进步。

2016-02-25 09:31:02

机器学习微软DMTK分布式算法
这些数据科学技能，才是老板们最想要的
最近，人们在CrowdFlower上针对Linkedin的3490个数据科学职位做了分析，并对最常出现的21个技能进行了排序。有些结果并不那么令人惊讶，然而有些却有点让人摸不着头脑。

2016-02-24 09:47:49

数据科学SQLHadoop
Hadoop 集群管理上的新“绝招”
做一个应用程序性能管理系统是一回事——而做一个可以动态地优化系统的实时控制器是另外一码事。

2016-02-24 09:38:25

Hadoop集群管理大数据技术
Spark 2.0面纱半揭，相关细节引人遐想 译文
在上周召开的Spark东部峰会上，Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0，其将包含三大核心转变。

2016-02-24 09:29:38

Spark大数据Spark 2.0
数据分析师的30种死法
作为数据分析师，下面这些死法有没有戳中痛点？记住，“数据虐我千百遍，我待数据如初恋……”

2016-02-23 09:59:14

数据分析数据分析师数据管理
整天看用户埋点数据，知道数据是咋来的吗?
本文简述了埋点数据上报、统计的大致流程，每个过程中还有很多细节要解决，如后台日志乱码问题、客户端异常导致数据丢失等。一旦数据出现问题，经常需要联系各方人员定位原因。在此呼吁广大的产品大虾一定要关心、爱护为你做统计需求的程序猿，他们上辈子都是偷了蟠桃的孙悟空。

2016-02-22 11:59:32

埋点数据报表hive
走近Palantir：最神秘的大数据公司
Palantir的创始人为Peter Thiel, Alex Karp, Joe Lonsdale, Stephen Cohen和Nathan Gettings。作为一家成立于2003年(实际开始运作是在2004年)的大数据公司，Palantir即使在成立10年后的2014年其实也鲜为人知，其神秘程度可见一斑。

2016-02-22 11:34:17

大数据Palantir硅谷
Sqoop：SQL与NoSQL间的数据桥梁
很多企业中，业务数据都是存放在MySQL数据库中的，当数据量太大后，单机版本的MySQL很难满足业务分析的各种需求。此时，可能就需要将数据存入Hadoop集群环境中，那么本文的主角Sqoop便适时的出现了，用来架起SQL与NoSQL之间的数据桥梁。

2016-02-22 10:10:48

SqoopSQLNoSQL
数据挖掘新人的开荒宝典
随着互联网的发展，人们的行为方式被大幅改变，大数据时代已经来来临。近年来，数据挖掘引起了信息产业界的极大关注，大数据被广泛使用，并转换成我们需要的信息和知识。如果你刚刚涉足数据挖掘领域，就快快开启这本宝典开荒吧！

2016-02-22 09:41:16

数据挖掘算法大数据
他说数据科学家就是做算术的，还说这是件好事 原创
如果对当上数据科学家不敢奢望，如果我告诉你，有一些看上去站着说话不腰疼的人说，“数据科学家大多只做算术，这是件好事”，你信不信？

2016-02-19 16:11:54

数据科学家数据科学大数据
母婴电商网站是如何进行个性化推荐的
母婴行业可能是用户的需求变化最快的领域。用户在不到一年的时间内，可能就会经历从备孕者、孕妇到宝妈的变化。母婴相对一般的电子商务网站有哪些特点？在移动端成为主流的趋势下，母婴电商网站如何做好用户的个性化推荐呢？

2016-02-19 10:16:48

母婴个推电商
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spark 已经注定要取代 Hadoop MapReduce 了。但真的是这样吗?

2016-02-19 10:05:01

SparkMapReduce数据处理
Teradata天睿公司再度蝉联数据仓库和客户价值的领导者
Teradata再度被评选为数据仓库技术的全球领导者。该分析机构发布数据仓库市场格局年度报告，评估全球最重要的数据仓库厂商。

2016-02-18 15:47:31

Teradata
组成数据分析师完整知识结构的七大板块
大数据时代，数据分析对于企业决策和发展起到越来越重要的作用。作为一个较高层次的数据分析师，需要具备完整的知识结构。本次从七个版块进行归纳。

2016-02-18 10:36:07

数据分析数据分析师数据管理
谷歌发布TensorFlow Serving：机器学习模型应用于产品更方便
谷歌于2月17日发布了TensorFlow Serving，如谷歌所说，有了这样的系统并不仅仅意味着开发者能够将其构建的模型更快的应用到产品中，而且还能够实验不同的算法和模型，并且仍保持稳定的结构。

2016-02-18 10:32:39

谷歌TensorFlow 机器学习
2016年大数据到底还算不算个 “东西” （附2016 大数据版图）
在喜新厌旧的技术初创企业界，已有 3年 历史 “大数据” 听起来似乎已经过气了。抛开不可避免的炒作周期曲线态势不管，我们的 “大数据版图” 已经进入第 4 个年头了，趁这个时候退一步来反思一下去年发生了什么，思考一下这个行业的未来会怎样是很有意义的。

2016-02-17 10:32:09

大数据Hadoop大数据版图
利用 SMACK 堆栈构建可扩展数据处理平台
数据处理平台架构中的SMACK组合即Spark、Mesos、Akka、Cassandra以及Kafka。在今天的文章中，我们将着重探讨如何利用SMACK堆栈构建可扩展数据处理平台，以及SMACK堆栈的卓越能力体现在哪些方面。

2016-02-17 09:55:25

SMACK数据处理可扩展架构
机器学习与语义搜索，谷歌的终极目标何在？
过去几年中，谷歌致力于打破不同语言间的隔阂并且解决其机器算法所面临的问题。但是这一努力的终极目标是什么呢：谷歌是否想要完全地理解人类思维所传达的意图和微妙语义呢?或者说这只是其技术发展中的一次探索?

2016-02-17 09:44:45

谷歌机器学习语义搜索
聊天机器人的“高情商”炼成术
近年来，聊天机器人受到了学术界和工业界的广泛关注，基于聊天机器人系统的应用也层出不穷。相信在不久的将来，一个能够让人们与之无所不谈的高“情商”聊天机器人将走入我们的日常生活，成为我们的朋友、同事甚至是家人。

2016-02-16 14:46:33

聊天机器人机器学习自然语言
Hadoop之父Doug Cutting眼中大数据技术的未来
2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学，早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父？Hadoop的发展和未来期待又是如何的？

2016-02-16 14:30:00

HadoopDoug Cuttin大数据
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

HadoopSpark生态圈
事实上，Spark是一项非常值得学习的技术
如今，诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上，Spark是一项非常值得学习的技术。

2016-02-16 10:34:42

Spark大数据数据处理
助你玩转机器学习技术的十三套框架 译文
在今天的文章中，我们将共同了解十三款机器学习框架，这些框架中最值得关注的特性，在于它们正致力于通过简单而新颖的方式应对与机器学习相关的种种挑战。

2016-02-16 09:58:38

机器学习框架大数据
上一页 1 ··· 146147148149150 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服