51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
多源数据融合：大数据分析的瓶颈
利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神，好像它能成为万能药。其实，这只是大数据应用中的很小一部分。作为智能决策的支持手段之一，大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里，多源数据的融合就成为大数据分析中的瓶颈。

2016-05-03 14:46:54

数据源数据分析数据融合
海量数据实时更新太慢？Lambda架构大法好！
处理海量数据会非常慢以至于不能进行实时的数据更新。为了达到实时跟踪和维持数据结果为最新这两个要求，可以采用Lambda架构来实现。

2016-05-03 14:02:44

实时数据Lambda数据管道
Pivotal 刘伟光：看待Docker 和 PaaS的正确视角 原创
作为云计算的三种服务形式之一，PaaS似乎一直不温不火，裹足不前。Docker的出现似乎又带来了一种新的选择，而且对于开发者来说更加灵活、便捷、易用。既然用户可以直接在Docker上运行，PaaS是否还有应用场景?面对企业繁杂的应用环境，用Docker作为PaaS的替代方案是否完美无缺?

2016-05-03 10:49:20

DockerPaaSPivotal
勾勒物联网与大数据的数据中心路线图
对于大数据的潜力，已经是毫无争议的议题，报告也同样鼓吹物联网，指出它将连接从我们的手机、我们的汽车到我们的家用电器等一切的一切。硬件、软件和专业服务的供应商已经加入进来，大家都想在由物联网这些技术方法将产生的潜在收益中分得一块大蛋糕。

2016-05-03 10:47:47

物联网大数据
技术红颜告诉你大数据分析的真谛：别只盯着我的钱！ 原创
大数据时代已经到来，每个企业都开始忙着数据挖掘，忙着数据分析，忙着构建各种算法模型。但为什么你无法引发“技术红颜”式的蝴蝶效应?为什么你眼中对用户的“精准推荐”，成了Ta备感厌烦的“精准骚扰”?

2016-04-29 15:51:51

大数据数据运算技术红颜
移动设备里的数据价值几何?
本报告的目的是了解我们访问和存储在自己的移动设备中的数据的价值，以及我们采取的措施是否足以保护这些数据。

2016-04-29 13:29:32

移动数据
盘点14家超过10亿美元估值的大数据公司，有何过人之处?
很多初创公司和一些老牌的公司都推出了数据分析和数据管理产品，以及更新了现有产品，提供更丰富的功能与性能。虽然这些技术都还只是蓝图规划，但是一些常见的主题还是对其贯穿始终：为用户提供简单的获得数据的访问方式，更好的管理大规模数据以及预先分析的功能，例如Spark、HAWQ 和 Geode等新兴的大数据技术来实现更多的功能。

2016-04-29 13:23:53

大数据公司
轻松搞定数据处理的五款Eclipse开源工具 译文
立足于Eclipse富客户端平台(简称RCP)框架，多种科学工具不断涌现，旨在帮助我们在开源环境下实现数据处理与可视化。相关各企业与机构围绕此类工具开展协作，而Eclipse科学工作组也由此诞生。下面我们就一同了解来自Eclipse科学工作组的五款出色科学工具，其全部属于开源项目且以Java及Eclipse RCP为基础。

2016-04-29 10:02:39

数据可视化数据处理Eclipse
云服务商靠什么颠覆传统CDN格局
视频行业成为了推动CDN产业发展的最大动力，也是传统CDN与云服务CDN产生分歧的出触发点。谁能够吃透这个行业，就有可能在CDN的发展上快人一步。

2016-04-27 13:26:50

云服务CDN
Spark与Storm注意：Apache Apex已然横空出世 译文
诞生于2015年6月的Apache Apex可谓横空出世，其同样源自DataTorrent及其令人印象深刻的RTS平台，其中包含一套核心处理引擎，仪表板、诊断与监控工具套件外加专门面向数据科学家用户的图形流编程系统dtAssemble。

2016-04-27 11:01:11

SparkStormApache Apex
云计算正在改变整个ICT世界
云计算已经发展成为一种公共计算服务，一种关键信息基础设施。云计算正在改变整个ICT产业，将被和正在被云计算改变的，还包括创新创业、采购、机器学习、自动驾驶和VR等。当然最重要的，是改变了我们的思维模式和习惯。

2016-04-26 14:13:02

云计算ICT
盘点56个最实用的大数据可视化分析工具
数据可视化技术在现今是一个新兴领域，有越来越多的发展、研究等数据可视化分析，在诸如美国这些国家不断被需求。企业获取数据可视化功能主要通过编程和非编程两类工具实现。

2016-04-26 14:04:29

大数据可视化
网络直播被严查，机器如何帮助鉴别小黄图？
虽然，大多数直播企业会选择人工审核的方式对直播内容进行实时监管，但是在过去的一年多里， “直播造人门”、“直播脱衣门”等事件仍然频繁发生。网络直播行业的内容监管不能只依赖人工，可以采用机器识别结合人工审核的新型审核模式。

2016-04-26 11:00:18

网络直播机器学习视频审核
如何基于数据快速构建用户模型（Persona）？
但在现实中，一般只有很少的成熟公司，产品经理、交互设计师或用户研究人员才会花时间构建用户模型，我们将尝试提出一种基于用户行为数据的快速构建用户模型的方法。

2016-04-26 10:43:05

数据分析用户行为模型
Apache Storm 1.0版本重拳出击：前代版本3倍性能表现 译文
Apache于4月公布了Apache Storm 1.0版本，并表示新版本较上代方案“最高提速16倍”，且延迟水平降低60%。“对于大多数用例而言，用户都能够享受达到前代版本3倍的性能表现。”

2016-04-26 09:52:20

Apache Stor流处理大数据
大数据真的可以让航空情报人员“未卜先知”？
从大数据分析的角度来看，总结已有运行规律只是重要作用之一，对未来发展的预测也是值得期待和努力的重要方向。同理，航空情报大数据的作用也并不仅限于目前常用的即时判断与事后分析，更大的潜在价值在于重组再利用和对未来发展的预测。

2016-04-25 16:19:29

大数据航空
R、Python、Scala 和 Java，到底该使用哪一种大数据编程语言？
如果你对晦涩的统计运算进行繁重的数据分析工作，那么你不青睐R才怪。如果你跨GPU进行NLP或密集的神经网络处理，那么Python是很好的选择。如果想要一种加固的、面向生产环境的数据流解决方案，又拥有所有重要的操作工具，Java或Scala绝对是出色的选择。

2016-04-25 15:40:29

大数据编程语言
互联网时代 智慧农业如何借力大数据谋发展
农业是产生大数据的无尽源泉，也是大数据应用的广阔天地。农业大数据是大数据理论和技术的专业化应用，除了具备大数据的公共属性，必然具有农业数据自身的特点。

2016-04-25 13:25:14

农业大数据
区块链、大数据、P2P、普惠金融——中国互联网金融的邪路
优秀的 P2P 平台做大以后，将逐渐以 ABS 部门代替现有理财端。哪个部门能以更低成本获得资金，哪个保留重用，这是正常商业逻辑，除非老板不想赚钱，或者心里有鬼。

2016-04-25 13:02:00

区块链大数据
九大最适合实时数据分析的应用领域 译文
可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着大量重要价值，足以帮助企业及人员在未来的工作中达成更为理想的结果。

2016-04-22 17:05:30

实时数据数据分析数据应用
聚效广告张烨：基于Docker和Mesos的服务可靠性保障实践 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-21 16:07:42

可靠性DockerMesos
惊！科学家可利用DNA将数据中心压缩至方糖大小 译文
微软与华盛顿大学的研究员们已经演示相关方案，旨在利用合成DNA作为数据归档存储介质。如果这项技术足够强大，则完全可以将沃尔玛这样的巨型企业的全部数据存储设备缩小为一块方糖尺寸，研究员们指出。

2016-04-21 11:00:57

DNA存储介质数据中心
【友盟+】全域大数据报告：百度搜索仍一家独大
2016年4月20日，【友盟+】正式对外发布了国内首份全域大数据报告——《2015全域互联网发展报告》。报告显示：2015年，我国网民线上浏览呈现明显上升趋势，约有740万个网站站点共生成PV量超2.91万亿，其中包含PC端与移动端网页。

2016-04-21 10:40:17

友盟+大数据全域大数据报告
阿里肖冰：如何实现分钟级别的HBase宕机恢复 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-19 18:20:29

阿里巴巴HBase宕机恢复
基于大数据技术的手机用户画像与征信研究
随着计算机网络技术的不断发展，“数据即资源”的大数据时代已经来临。用户画像是电信运营商为了避免管道化风险，实现“数据驱动业务与运营”的重要举措。用户画像与应用大数据技术对客户分类密切相关，是单个客户的众多属性标签的累积;另一方面，在运营商涉足的消费金融领域，对手机用户所进行的个人信用评价，是对手机用户画像中的诸多特征实施再组合与分类的应用过程。

2016-04-18 12:01:16

大数据用户画像征信
用户行为数据分析的三个层次，你真的了解吗？
在这样一个「数据驱动」的时代，很多产品团队都选择在产品早期就引入或搭建数据分析平台，并希望能够通过数据驱动产品的快速成长。对产品用户和行为数据的研究可以大致划分为宏观层、微观层和中间层三个层次，你真的都了解吗？

2016-04-18 11:47:18

数据分析用户留存数据驱动
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. ElephanHadoop性能监控
大数据应用？你先搞定数据获取再说 译文
大数据不再像过去几年一样，受限于工具缺乏的问题。那时候搞大数据意味着团队里必须有数据科学家，还会被R和Hadoop之类的开源工具搞得心烦意乱。现在许多公司在大数据分析中最头疼的问题，其实是如何获取数据。

2016-04-13 11:31:32

数据分析数据获取大数据应用
美团机器学习中的数据清洗与特征挖掘实践
美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选 排序、搜索排序、用户建模等等，为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法。

2016-04-12 17:12:29

机器学习数据清洗美团
大咖话数据：技术热潮下的应用场景冷思考 原创
大数据热潮虽潮席卷已久，技术支撑困难、创新能力不足、专业人才缺乏等种种仍是大数据落地于企业实际应用的绊脚石。近日，51 CTO携手IBM,与典型的传统企业及一线互联网公司的技术专家汇聚一堂，以“大咖荟萃话数据，群策群力展未来”为主题，共话大数据驱动下的技术创新和商业变革。

2016-04-11 15:49:40

人工智能大数据应用IBM
如何利用机器学习进行海量数据挖掘
互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决以上问题，从一定程度上赋予了计算机以“学习”的能力，使得千人千面成为可能。

2016-04-11 14:35:59

机器学习数据挖掘数据模型
用户画像系统的技术架构和整体实现
本文主要从数据整理、数据平台、面向应用三个方面，一一探讨用户画像的技术架构和整体实现。

2016-04-11 14:24:08

用户画像技术架构数据分析
数据科学家需要的技能组合
尽管统计学家和其他研究数据分析的人士扮演着至关重要的角色，但是数据科学家的角色，一部分是分析师，一部分是艺术家，并且必定会为传统数据的分析和使用方式带来全新的变革。

2016-04-11 14:15:06

数据科学数据挖掘工具
RG-RBIS商业智能系统
RG-RBIS(Ruijie Business Intelligence Analysis System)， 是锐捷网络针对Wi-Fi场景下有人流量信息统计分析的场景开发的分析平台系统，利用无线定位引擎探测到终端位置信息，为各类型场所运营方提供人流量区域分布热图、平均的驻留时长，每个时段的人流变化趋势。例如商业场景，可利用商铺位置信息，分析出消费者的进店率、驻留率，以及挖掘出商铺的关联关系，提供的客流量分析数据，可为商场的运营决策提供重要的数据支撑、甚至盈利变现。

2016-04-09 17:37:57

锐捷网络商业智能系统无线
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
从挑水果看精度与查全率如何影响搜索性能 译文
精度与查全率是与搜精度与查全率索技术相关的两项根本性机制。二者有时看起来甚至有点是一回事——别急，下面我们就立足于实例对其加以讲解。通过这样的过程，大家也能够理解二者为什么在设计搜索应用时会扮演如此重要的角色。

2016-04-08 12:35:55

搜索精度查全率
如何实现基于内容和用户画像的个性化推荐
个性化推荐系统是一门由数据挖掘和机器学习综合的学科，它必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。本文主要介绍了如何基于内容和用呢画像实现一个个性化推荐化系统。

2016-04-08 11:39:49

用户画像个性化推荐标签
人工智能如何撩起下一波创业高潮？ 原创
大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战？如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值？

2016-04-07 17:01:46

大数据人工智能创业
北京大学人民医院刘帆：大数据时代医院信息化建设之机遇与挑战 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，就职北京大学人民医院院长助理、信息中心主任、医疗大数据研究中心副主任、骨关节科副主任医师的刘帆做了以《大数据时代医院信息化建设之机遇与挑战》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-04-05 18:09:19

北京大学大数据医院
Hadoop 如何推动现代数据仓库技术的变革
2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速，Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用，甚至将原先的应用向Hadoop之上进行迁移。

2016-04-05 10:59:59

Hadoop数据仓库架构设计
“大存储”将如何影响数据中心之外的行业? 译文
在过去十年左右的时间里，我们发现存储规模大了许多。这不仅对大数据分析、数据中心和融合基础设施方面带来改变,对其他行业的影响也同样引人深思。

2016-04-05 10:49:18

大存储数据中心物联网
大数据到底在用什么姿势塑造我们？
大数据绝不会止步在为决策仅仅提供帮助，它的终极形态就是可以用海量的数据描述我们一个个具体的个体。当达到这一步时，现在的市场调研、用户分析将会变得异常简单。

2016-04-05 10:21:25

大数据元数据数据分析
简单12招让Hive运行快一点，再快一点
这是一个很长的故事，但是我在工作周花了80多个小时亲自调整Hive。不用说，我不必再头疼了。因此，为了您的利益，这里有一些建议，让你的Hive项目比我的运行的快一点。

2016-04-05 10:12:58

HiveSQLHadoop
为什么企业IT部门必须要消除数据孤岛 译文
说到数据的重要性，炒作周期势必进入到全盛期。我们看到许多新闻标题声称数据是新的石油。我们听到分析师们谈论如何招聘到优秀的数据科学家。同行们的奚落在过道里回荡：“如果你不招聘首席数据官，肯定不是最新潮的公司之一!”

2016-04-01 11:12:26

企业IT数据孤岛商业智能
WOT2016杨大海：优酷土豆Hadoop集群挑战海量数据与高并发之道 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的杨大海讲师，他分享的内容：《优酷土豆大数据平台的演化之路 》。

2016-04-01 09:23:55

优酷土豆大数据平台Hadoop
搞明白这些问题，再着手搭建你的数据产品
越来越多的产品都归入数据产品，包括硬件，可穿戴和其他任何收集和对用户有意义的数据。诚然，搭建大规模的数据产品真的很难。在这Belkin和Patil提供了一些有见地的战术，让大家更容易并可以大胆创造新产品。这将改变我们所看到的连接世界的方式。

2016-03-29 10:29:38

数据产品数据科学创业
大数据繁荣期可能犯下的那些错误
你知道我的意思，这段时间，我们比之前花了很多的时间和精力收集，分析，诠释和解释。事实上，与实际表达结果相比，员工把更多的精力投入到准备分析数据上。更糟糕的是，在某些情况下，组织者们正坐在大量数据的财富宝座下，这些数据本可以转变成新的收入机会，但是他们没有用它来做什么，因为他们根本就没有时间和资源来使用它。

2016-03-29 10:21:24

大数据数据分析数据管理
缓存技术比拼：Redis与Memcached的同与不同 译文
Redis在表面上看与Memcached存在诸多共同点，但二者却又有着很大区别。在今天的文章中，我们将共同探讨Redis。

2016-03-29 09:58:17

RedisMemcached缓存
开源大数据平台实施和使用中的难点
开源大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。然而庞大的开源大数据技术体系，使得大数据平台在实施和使用的过程中遇到很多难点。

2016-03-28 10:39:00

开源大数据平台技术架构
不同Hadoop上的SQL数据库引擎如何适配BI工作
Hadoop上的SQL引擎Impala是一种新型查询系统基准，发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准，三个主要的SQL-on-Hadoop引擎，Apache Impala 2.3, Apache Spark 1.6 和Apache Hive 1.2，都有各自独特的优势和劣势，这令他们能很好的适应一些BI用例，而不是其他智能。

2016-03-28 10:32:36

Hadoop数据库引擎BI
上一页 1 ··· 139140141142143 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服