51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
RG-RBIS商业智能系统
RG-RBIS(Ruijie Business Intelligence Analysis System)， 是锐捷网络针对Wi-Fi场景下有人流量信息统计分析的场景开发的分析平台系统，利用无线定位引擎探测到终端位置信息，为各类型场所运营方提供人流量区域分布热图、平均的驻留时长，每个时段的人流变化趋势。例如商业场景，可利用商铺位置信息，分析出消费者的进店率、驻留率，以及挖掘出商铺的关联关系，提供的客流量分析数据，可为商场的运营决策提供重要的数据支撑、甚至盈利变现。

2016-04-09 17:37:57

锐捷网络商业智能系统无线
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
从挑水果看精度与查全率如何影响搜索性能 译文
精度与查全率是与搜精度与查全率索技术相关的两项根本性机制。二者有时看起来甚至有点是一回事——别急，下面我们就立足于实例对其加以讲解。通过这样的过程，大家也能够理解二者为什么在设计搜索应用时会扮演如此重要的角色。

2016-04-08 12:35:55

搜索精度查全率
如何实现基于内容和用户画像的个性化推荐
个性化推荐系统是一门由数据挖掘和机器学习综合的学科，它必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。本文主要介绍了如何基于内容和用呢画像实现一个个性化推荐化系统。

2016-04-08 11:39:49

用户画像个性化推荐标签
人工智能如何撩起下一波创业高潮？ 原创
大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战？如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值？

2016-04-07 17:01:46

大数据人工智能创业
北京大学人民医院刘帆：大数据时代医院信息化建设之机遇与挑战 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，就职北京大学人民医院院长助理、信息中心主任、医疗大数据研究中心副主任、骨关节科副主任医师的刘帆做了以《大数据时代医院信息化建设之机遇与挑战》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-04-05 18:09:19

北京大学大数据医院
Hadoop 如何推动现代数据仓库技术的变革
2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速，Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用，甚至将原先的应用向Hadoop之上进行迁移。

2016-04-05 10:59:59

Hadoop数据仓库架构设计
“大存储”将如何影响数据中心之外的行业? 译文
在过去十年左右的时间里，我们发现存储规模大了许多。这不仅对大数据分析、数据中心和融合基础设施方面带来改变,对其他行业的影响也同样引人深思。

2016-04-05 10:49:18

大存储数据中心物联网
大数据到底在用什么姿势塑造我们？
大数据绝不会止步在为决策仅仅提供帮助，它的终极形态就是可以用海量的数据描述我们一个个具体的个体。当达到这一步时，现在的市场调研、用户分析将会变得异常简单。

2016-04-05 10:21:25

大数据元数据数据分析
简单12招让Hive运行快一点，再快一点
这是一个很长的故事，但是我在工作周花了80多个小时亲自调整Hive。不用说，我不必再头疼了。因此，为了您的利益，这里有一些建议，让你的Hive项目比我的运行的快一点。

2016-04-05 10:12:58

HiveSQLHadoop
为什么企业IT部门必须要消除数据孤岛 译文
说到数据的重要性，炒作周期势必进入到全盛期。我们看到许多新闻标题声称数据是新的石油。我们听到分析师们谈论如何招聘到优秀的数据科学家。同行们的奚落在过道里回荡：“如果你不招聘首席数据官，肯定不是最新潮的公司之一!”

2016-04-01 11:12:26

企业IT数据孤岛商业智能
WOT2016杨大海：优酷土豆Hadoop集群挑战海量数据与高并发之道 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的杨大海讲师，他分享的内容：《优酷土豆大数据平台的演化之路 》。

2016-04-01 09:23:55

优酷土豆大数据平台Hadoop
搞明白这些问题，再着手搭建你的数据产品
越来越多的产品都归入数据产品，包括硬件，可穿戴和其他任何收集和对用户有意义的数据。诚然，搭建大规模的数据产品真的很难。在这Belkin和Patil提供了一些有见地的战术，让大家更容易并可以大胆创造新产品。这将改变我们所看到的连接世界的方式。

2016-03-29 10:29:38

数据产品数据科学创业
大数据繁荣期可能犯下的那些错误
你知道我的意思，这段时间，我们比之前花了很多的时间和精力收集，分析，诠释和解释。事实上，与实际表达结果相比，员工把更多的精力投入到准备分析数据上。更糟糕的是，在某些情况下，组织者们正坐在大量数据的财富宝座下，这些数据本可以转变成新的收入机会，但是他们没有用它来做什么，因为他们根本就没有时间和资源来使用它。

2016-03-29 10:21:24

大数据数据分析数据管理
缓存技术比拼：Redis与Memcached的同与不同 译文
Redis在表面上看与Memcached存在诸多共同点，但二者却又有着很大区别。在今天的文章中，我们将共同探讨Redis。

2016-03-29 09:58:17

RedisMemcached缓存
开源大数据平台实施和使用中的难点
开源大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。然而庞大的开源大数据技术体系，使得大数据平台在实施和使用的过程中遇到很多难点。

2016-03-28 10:39:00

开源大数据平台技术架构
不同Hadoop上的SQL数据库引擎如何适配BI工作
Hadoop上的SQL引擎Impala是一种新型查询系统基准，发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准，三个主要的SQL-on-Hadoop引擎，Apache Impala 2.3, Apache Spark 1.6 和Apache Hive 1.2，都有各自独特的优势和劣势，这令他们能很好的适应一些BI用例，而不是其他智能。

2016-03-28 10:32:36

Hadoop数据库引擎BI
认识数据湖——拥抱开源大数据技术的前提
随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?

2016-03-28 10:24:49

数据湖大数据技术开源
你的分析为何让你失望 ？
真正的挑战是洞察，利用大数据和分析法，以改善解决问题和决策的方式，会掩盖组织里一个现实情况，那就是新的分析法往往需要新的行为。讽刺的是，大数据和分析法的质量，不如分析的目的来得重要。

2016-03-28 09:39:54

数据分析大数据CIO
大道至简的数据治理方法论
数据分析师的角色犹如一位大厨，原料有问题，大厨肯定烹饪不出色香味俱佳的大菜，数据有问题，数据分析师得出的结论自然也就不可靠，再好的数据分析方法论也只是建立在失真的数据基础上，苦心构建的数据体系当然也被白白浪费了。

2016-03-25 15:37:18

数据治理数据分析BI
大数据应该成为一种基本的使用和操作能力 原创
“大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。

2016-03-25 10:33:44

大数据百分点BD-OS数据处理
腾讯刘黎春：社交数据在征信领域的应用探索 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-24 11:05:22

社交数据征信应用
WOT2016卢学裕：小团队如何玩转大数据 原创
大数据能为企业带来什么?更多的订单，更低的成本，更快捷的管理，更新的业务模式。然而在每轮技术变革中，中小企业似乎都是被最后照顾到的。在这场新变革的席卷下，我们不禁又要问小团队，你的大数据在哪里?

2016-03-22 10:02:23

WOT2016创业团队大数据
RDD、DataFrame和DataSet的区别是什么
RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。

2016-03-21 10:40:53

RDDSpark SQL数据集
用“下馆子”来理解推荐系统的版本演进
然后经过了这么多年的发展，信息进一步丰富，因为很多信息，我们根本就不知道它的存在，这时搜索引擎也不适用了，出现了推荐系统，将你想要的信息主动的推送给你。推荐系统是推荐商品的，但是它如何推荐的呢?以饭馆吃饭来举一波例子。

2016-03-21 10:31:39

推荐系统用户推荐用户画像
借助 Redis ，让 Spark 提速 45 倍！
提速幅度有多大?如果Redis和Spark结合使用，结果证明，处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%，而是快整整45倍!

2016-03-21 10:16:06

RedisSpark大数据处理
共筑Spark大数据引擎的七大工具 译文
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改进不断添加进来，每个部分都在不断完善之中。

2016-03-21 09:56:41

Spark大数据处理Apache
星环科技上榜Gartner 2016年数据仓库及数据管理解决方案魔力象限

2016-03-18 11:00:37

企业网D1Net
如何使用队列数据分析来留住你的用户 译文
在种种数据分析工具中，有一种工具经常不被人使用，那就是队列分析。虽然队列分析是一种非常强大的分析方式，但因为它看起来非常复杂而总是被人放在一边。然而，队列分析能够为我们提供大量的有效结果，今天就让我们深入浅出的了解一下它。

2016-03-18 09:44:05

队列分析应用留存用户行为
沼泽里的掘金术：大数据时代数据资产管理“五星模型” 原创
数据就像企业的根基。然而并非所有数据都可能成为资产。如果没有将数据视为资产加以有效管理，即使数据再多，对于企业来说也只是垃圾和负担。

2016-03-17 18:17:15

大数据大数据沼译数据资产管理
新浪微博王传鹏：认识每一个“你” 微博中的用户模型 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自新浪微博推荐及广告技术总监王传鹏做了以《认识每一个“你”：微博中的用户模型》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-17 16:00:51

新浪微博用户模型
整合企业NoSQL的10大要点
虽然关系数据库有自己的一席之地,但是今天数据的复杂性,海量和需求使它们不适合一些特定的应用程序。在很多这样的情况下,NoSQL技术的加入填补了这一缺憾。不过,要想实现NoSQL系统进入你的企业可并不是易事。Pasqua将分享 10个要点，有助于顺利整合NoSQL系统集成到你的企业。

2016-03-17 10:29:03

NoSQL数据整合系统集成
Apache五大主流流计算框架详细对比
如你所想，分布式的流处理也就是通常意义上的持续处理、数据富集以及对于无界数据的分析过程的组合。现在我们会在这篇文章中讨论下各种框架之间的相似点以及区别在哪里，还有就是从我的角度分析的，推荐的适用的用户场景。

2016-03-17 09:59:40

Apache流计算框架分布式流处理
还不懂HDFS的工作原理？快来扫扫盲
分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理来自网络和其它地方的超大规模数据提供所需的扩展能力。Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。让我们通过本文来了解。

2016-03-17 09:55:52

HDFSHadoop分布式文件系统
游族MOb兰旭：大数据背景下的社交分享解决方案 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自游族Mob的联合创始人兼CMO兰旭做了以《大数据背景下的社交分享解决方案》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-16 18:23:13

MOb兰旭大数据
非要一决高下？听说Hadoop和Spark更配哦
对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行。

2016-03-16 14:59:09

HadoopSpark大数据平台
拿到用户数据之后，LinkedIn怎么赚钱?
LinkedIn有很多数据。他们是如何用数据给各个部门提供数据服务，帮助他们赚钱的呢?这里有三个关键词：助力、优化、创新，用数据来持续不断为商业增值的手段。

2016-03-16 10:56:12

数据营销数据分析LinkedIn
数据分析工作常见的七种错误及规避技巧
福尔摩斯有一句名言是如何定义侦探的,而数据科学家在商业中的角色就类似侦探。“我是福尔摩斯，我的工作就是发现别人不知道的。”企业要想保持竞争力,它必须比大数据分析做的更多。

2016-03-16 10:39:30

数据分析数据科学可视化
如何基于Spark进行用户画像？
如果你面对5万个匿名驾驶员线路的数据集，你知道如何根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征吗？本文就从数据分析、机器学习和结果等三个方面介绍comSysto团队解决以上问题的过程。

2016-03-16 10:22:28

Spark用户画像数据科学
数据科学家和大数据技术人员工具包
数据科学家和大数据技术人员的工具包：A.大数据技术平台相关2015最佳工具，B.开源大数据处理工具汇总，C.常见的数据挖掘分析处理工具。

2016-03-14 11:45:59

数据挖掘NosqlMapReduce
是什么让深度学习再次崛起并超越人类?
深度学习这套方法并不是近几年提出的，是什么让深度学习再次崛起并超越人类呢?当然首先要归功于Hinton等学者几十年如一日的不懈研究。另外，有两个客观因素异常重要。

2016-03-14 11:40:51

深度学习大数据高性能计算
做好数据挖掘模型的9条经验总结
也许是因为数据挖掘源于实践而非 理论，在其过程的理解上不太引人注意。20世纪90年代晚期发展的CRISP-DM，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实践者成功运用和遵循。

2016-03-14 11:05:58

数据挖掘数据挖掘模型数据处理
20个问题揭穿冒牌数据科学家
冒牌数据科学家通常是某一个特定学科的专家，且坚信他们的学科才是唯一真正的数据科学。这种想法忽略了一个事实：数据科学是一整套科学工具与技术(数学，计算，视觉，分析，统计，试验，问题界定，模型建立与检验等)的集合，用于从数据收集中获得新发现、洞察与价值。

2016-03-10 13:56:42

数据科学数据科学家数据分析
别再比较Hadoop和Spark了，那不是设计人员的初衷
直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠。Hadoop和Spark并不是非此即彼的关系，也不是说一方是另一方的简易替代者。两者彼此兼容，这使得这对组合成为一种功能极其强大的解决方案，适合诸多大数据应用场合。

2016-03-09 14:35:42

HadoopSpark数据处理
跟着Twitter的数据科学家，体验窥探天机的兴奋
在Twitter工作真的很刺激。在这里，笔者能直接观察学习一个大型科技公司是如何使用数据与数据科学来创造竞争优势的。

2016-03-09 13:37:48

Twitter数据科学大数据
指点迷津的现代数据架构之道 译文
企业要将大数据纳入到其核心企业数据架构，势必需要改动或购置大数据即服务技术。适合如今需求的现代数据架构应当包括以下这几个部分。

2016-03-09 10:07:54

数据架构大数据即服务数据分析
Hadoop生态系统在壮大：十大炫酷大数据项目 译文
管理和分析大数据已经变成了重大挑战，为了应对这项任务，开发人员已开发了一系列新的开源技术。本文介绍一些重要项目，并顺便了解几个新兴项目。

2016-03-07 09:57:19

Hadoop大数据开源项目
自动洞察：大数据的下一个重大转折
我坚持认为具有洞察力的应用是帮助企业高效探究大数据的关键，可以提高决策效率和解决重大问题。为了更好的理解和重视我们开发该应用的重要性，有两件事是很重要的，一是了解大数据大体上发生了什么，二是评估我们使用商业智能系统的经验如何促进我们思考这个应用。

2016-03-04 11:01:09

自动洞察大数据数据分析
为什么可视化数据有一定的误差值？
整个大数据开发利用的闭环中，让大数据能够被感知并看到，是必不可少的一环，可视化的最终目标就是让每一个人都能看到大数据到底是什么。

2016-03-04 10:51:51

数据可视化数据抓取
Spark Streaming 妙用之实现工作流调度器
开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea工作流调度器
上一页 1 ··· 142143144145146 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服