51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8810内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8810 条
数据的价值是提升业务而不仅仅是用户画像
运营商数据、航旅数据、银联数据、电商数据、物流数据等数据源已经形成数据热点。企业疯狂地追寻外部数据源，引入外部数据成了大数据战略一个重点，外部数据成为企业数据应用的主题，客户画像成为数据应用的主要议题。

2016-12-14 13:13:21

数据业务画像
如何制定数据中心冗余计划？
如果想要确保虚拟基础架构的高可用性，无疑需要冗余技术，下面我们的专家顾问将会介绍企业应该如何选择最适合自己的冗余等级。

2016-12-14 12:05:18

数据中心冗余技术
为什么说Storm比Hadoop快？
storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多;当计算模型比较适合流式时，storm的流式处理，省去了批处理的收集数据的时间;因为storm是服务型的作业，也省去了作业调度的时延。所以从时延上来看，storm要快于hadoop。

2016-12-14 12:02:01

StormHadoop大数据
阿里超大规模Docker化之路
12月6-7日，由阿里巴巴集团、阿里巴巴技术发展部、阿里云云栖社区联合主办，以“2016双11技术创新”为主题的阿里巴巴技术论坛上，阿里巴巴研究员林昊分享了阿里超大规模Docker化之路。阿里在Docker化这条路上，碰到了规模、多元化场景所带来的各种挑战，这次分享中将给大家介绍阿里为什么要引入Docker，以及如何完成这次超大规模的Docker化。

2016-12-14 11:44:25

阿里Docker大数据
机器数据分析就地安全监视
提高网络物理安全和增加安全系统的努力已形成一个不断发展的行业，该行业致力于超越这一挑战。闭路电视模拟摄像机正快速被更高清晰度、功能丰富的数字摄像机所取代，以便实现基于图像的安全系统。相比之下，数字摄像机更灵活、更智能，能够与云服务和数据分析更紧密地集成在一起。本文将介绍就地安全监视，它与基于云的数据分析相结合，使得在没有电源或网络基础架构的区域快速部署监视成为了可能。

2016-12-14 11:39:19

数据分析大数据多光谱
为大数据正名：人即数据，大数据就是我们自己
2012年，沃尔玛每小时就能产生2.5PB、100多万名用户的消费记录。同年，Facebook报道称他们每天要处理25亿个内容碎片(链接、评论)、27亿个赞和3亿次图片下载。与此同时，对颗粒数据的收集也迎来了前所未有的机遇。今年二月，基于对用户数据分析，Facebook新推出了六组多样化的表情(emoji)按钮，丰富了用户交流回复时感情流露的深度和广度。

2016-12-13 22:04:01

大数据
为什么数据挖掘很难成功？
为什么数据挖掘的数据准备工作要这么长时间，可以理解成取数时间很长、转换成所需的数据形式和格式时间很长，毕竟只有这样做，才能喂给数据挖掘引擎处理。

2016-12-13 19:47:31

大数据
大数据项目遭遇失败的八个理由
大数据目前已经成为万众瞩目的焦点，已经有众多企业在拼命把自己的数据投付使用、希望借此为重要决策提供支持。尽管大数据宣传与炒作可谓如火如荼，但仍有92%的企业始终保持中立态度，即计划在“合适的时间”着手实施或者表示不打算接触大数据项目。而在那些已经亲身实践大数据项目的企业中，多数遭遇失败、而且往往是掉进了同样的几个陷阱当中。

2016-12-13 19:40:00

大数据
大数据，大创收！
在Newzoo发布的2015年全球游戏市场报告中，其研究员们估计游戏市场的价值由2014年的836亿美元增至2015年的915亿美元。Newzoo预测，“按照此速度，全球营收在2017年将达到1,070亿美元。”在电子游戏产业发展愈发规模下，我们又该如何发掘数据背后的潜力呢？

2016-12-13 19:30:31

大数据
Hadoop问题集
今天讲一讲关于Hadoop的问题、原因以及解决方法。

2016-12-13 16:36:15

Hadoopwindows
Apache Hadoop 3.0.0-alpha1主要改进
今天主要给大家介绍Apache Hadoop 3.0.0-alpha1主要改进。

2016-12-13 16:11:44

Java Hadoop
提高数据中心效率、可用性和容量的五项最佳实践方案
今天本文主要介绍，企业数据中心设计的五项最佳实践方案。

2016-12-13 12:15:20

数据中心大数据
数据中心网络安全技术发展趋势谈
数据中心如果没有海量的数据处理，那就等着关门大吉吧，所以数据中心正在积极想尽各种办法，减少安全故障的发生，确保数据中心内部数据信息的安全，各种安全新技术一时间扑面而来。那么，未来的网络安全技术如何发展和演进，本文将和大家一起探索。

2016-12-13 12:11:37

数据中心网络安全大数据
大数据处理系统关键层次架构
在数据存储层，还有很多类似的系统和某些系统的变种，本篇仅仅列出较为出名的几个。如漏掉某些重要系统，还请谅解。

2016-12-13 11:56:09

大数据Hadoop计算框架
不平衡数据的数据处理方法
在机器学习中，不平衡数据是常见场景。不平衡数据一般指正样本数量远远小于负样本数量。如果数据不平衡，那么分类器总是预测比例较大的类别，就能使得准确率达到很高的水平。比如正样本的比例为 1%，负样本的比例为 99%。这时候分类器不需要经过训练，直接预测所有样本为负样本，准确率能够达到 99%。经过训练的分类器反而可能没有办法达到99%。

2016-12-13 11:48:05

数据处理不平衡数据
大数据时代：信息安全问题该如何解决？
对海量数据的分析挖掘能创造巨大的物质财富和社会价值。然而，数据的大量聚集导致隐私泄露无处不在，个人、企业的信息安全面临严重威胁，亟待通过完善法律法规等方式予以解决。

2016-12-13 11:34:10

大数据信息安全
大数据需要什么样的合作伙伴?
面对大数据，我们的确缺失太多的能力，但我们的需求也确切切实实在改变，对于传统合作伙伴来讲，原有的地盘不会是永远的，需要有一颗勇于改变的心，对于新的合作伙伴，则要抓住这个机会，找到适合自己的切入点，与客户共同成长。

2016-12-13 09:33:13

大数据数据挖掘数字化运营
为大数据定个小目标：从改变惯例开始
大数据决策要真正在企业中落地生根并非易事，它必须能推动企业的自我批判意识，能够不断反思自身的惯例，推动变革。

2016-12-13 09:27:04

大数据惯例目标
大数据如何改变世界？不尽数据滚滚来
大数据让社会生活更智慧的同时，也把人们的生活痕迹印刻在互联网上。人们会担心,自己生活在四面透明的鱼缸里，难有秘密。网络安全，挑战与机遇并存，价值与风险同在，如何趋利避害用好这把双刃剑，将考验人类智慧。

2016-12-13 09:13:38

大数据应用趋势
大数据获取+计算工具+计算平台的能力=人工智能
AI是人工智能，在整个科技发展过程中，科技对人类的进步所起的作用非常大。我们成长期间，就是一个IT科技发展的时期。每个人从大型机转向每个计算机的使用，互联网的普及把我们数据的获取更进一步。

2016-12-13 09:10:36

大数据人工智能计算工具
大数据分析专家？或许这样的人根本不存在！
在任何领域，当然包括大数据领域，都要综合考虑团队和个人的力量。很多时候，我们需要独角兽这样的孤胆英雄，因为他们可以一己之力开疆辟土，带领团队前进。但同时我们需要团队的整体力量，取长补短，鉴定稳步的前进。

2016-12-13 09:05:27

大数据数据分析数据可视化
大数据技术将如何影响艺术？
术不是迎合消费者，不是大众行为，但作为一种密集科学是可以被艺术家尝试和利用，创作出引领时代风尚的作品，在艺术与技术之间架起新的桥梁。

2016-12-13 09:00:13

大数据艺术技术
将数据迁移到云端，很简单！ 译文
使用某种类型的公共云服务，无论来自像亚马逊或微软这样的超大规模提供商，还是来自针对特定客户类型或工作负载的一批小玩家，其效果完全取决于让解决方案提供商可以帮助客户充分利用这类云的技术。

2016-12-12 19:16:43

数据云端
做Data Mining，其实大部分时间都花在清洗数据
很多初学的朋友对大数据挖掘第一直观的印象，都只是业务模型，以及组成模型背后的各种算法原理。往往忽视了整个业务场景建模过程中，看似最普通，却又最精髓的特征数据清洗。可谓是平平无奇，却又一掌定乾坤，稍有闪失，足以功亏一篑。

2016-12-12 18:45:08

Data Mining大数据
腾讯周东祥：腾讯游戏大数据应用技术架构 原创
在本届WOT2016大数据技术峰会的“系统架构”主题专场，来自腾讯的高级工程师周东祥做了“腾讯游戏大数据应用技术架构”的精彩主题演讲。

2016-12-12 17:15:24

游戏大数据
科普篇：什么是大数据
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

2016-12-12 16:31:46

大数据决策
科普篇：什么是BI
BI的技术实现路径，总结下来就三点：ETL、建模与平台化展现。这三项技术，一个都不能少。

2016-12-12 16:06:41

BI商业智能
最适合Java开发者的大数据工具和框架
当今编程人员面对的最大挑战就是复杂性，硬件越来越复杂，OS越来越复杂，编程语言和API越来越复杂，我们构建的应用也越来越复杂。根据外媒的一项调查报告，以下列出了Java程序员在过去12个月内一直使用的一些工具或框架，或许会对你有意义。

2016-12-12 14:15:37

Java大数据工具
数据中心空调关键技术——蒸发器
机房空调是数据中心必不可少的重要部件，是保持机房内部恒温恒湿的关键设备。一般空调制冷系统包含有四大部件：压缩机，蒸发器，冷凝器和节流装置，这里压缩机、冷凝器和节流装置都广为人所知，但压缩机却很少有人提及。

2016-12-12 14:11:38

数据中心蒸发器
公安大数据应用研究
各级公安机关快速积累并不断增长的信息数据已成为继警力资源、装备资源之后的新一类核心资源。如何有效利用海量信息并挖掘内在更大的价值，成为提升公安实战应用能力、建立立体化综合防控体系面临的重大难题。政法委书记孟建柱同志指出“谁率先拥有、善于利用大数据，谁就能掌握主动、赢得未来”，郭声琨部长也强调“要大力加强大数据时代公安基层基础工作，不断提高维护公共安全和服务人民群众的能力水平”。

2016-12-12 13:56:39

公安大数据大数据应用
金融大数据的机会
2016年12月3日第19期智能金融沙龙，文因互联非常荣幸地邀请到金融大数据的大咖——北京视野金融的COO张灿，和大家聊聊金融大数据、人工智能金融和新三板数据的分析与整合。

2016-12-12 13:51:32

金融大数据大数据应用
为大数据定个小目标：从改变惯例开始
大数据决策要真正在企业中落地生根并非易事，它必须能推动企业的自我批判意识，能够不断反思自身的惯例，推动变革。

2016-12-12 13:47:40

大数据大数据决策
数据分析产品的下一个进化：基于无埋点的有埋点
一直以来，人们把大数据和埋点技术紧紧捆绑在一起，大数据时代也被称为埋点时代。技术发展，更新更快的无埋点技术横空出世。那么埋点技术是不是就此被判了死刑，无埋点就是万能的了? 非也，二者只会进化的更为高级。

2016-12-12 13:42:54

数据分析大数据埋点
工业大数据的未来发展方向（从阿里和航天说起）
2016年12月5日，清华大数据技术·前沿系列讲座——“工业大数据的技术趋势与应用场景”在清华大学FIT楼多功能厅成功举办，本期讲座邀请到了阿里巴巴集团副总裁、阿里云业务总经理刘松、航天科工集团航天云网科技发展有限公司副总经理祝守宇和阿里云事业群数据业务总架构师周卫天来为大家介绍工业大数据的建设背景、发展现状、国家战略、发展趋势、竞争对手、发展启示及建设意义。

2016-12-12 13:32:32

工业大数据阿里数据技术
钱岭：大数据研发历程的回顾和思考
2016年12月8-10日，由中国计算机学会(CCF)主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、中科天玑数据科技股份有限公司与CSDN共同协办，以“聚焦行业最佳实践，数据与应用的深度融合”为主题的2016中国大数据技术大会在北京新云南皇冠假日酒店隆重举办。

2016-12-12 13:26:03

钱岭大数据数据安全
详解 Amazon Go 三大核心技术
Amazon Go 的核心技术是反作弊/识别系统，不管它能提供多强大的商业功能，作为无人超市系统，反作弊/识别是它存在的第一要素。

2016-12-12 09:01:47

Amazon Go核心技术
新一代信息技术产业加速变革 大数据产业迎发展机遇
在国家政策的大力推动下，大数据顶层设计方案《大数据产业发展规划(2016-2020年)》年内出台，使得大数据将成为推动经济转型发展的新动力、重塑国家竞争优势的新机遇、提升政府治理能力的新途径，相关上市公司也将迎来重大发展空间。

2016-12-12 08:54:32

信息技术大数据变革
大数据工作的正确打开姿势
大数据工作的重点不是数据规模或高精尖技术，而在于用数据改变企业的经营管理方式。企业越早从数据中洞察事实，并据此快速做出行动越早受益。

2016-12-12 08:48:24

大数据姿势经营
大数据可视化破解信息安全难题
“没有意识到风险是最大的风险。”习总书记对网络安全的这段论述非常精到，“网络安全具有很强的隐蔽性，一个技术漏洞、安全风险可能隐藏几年都发现不了，结果是‘谁进来了不知道、是敌是友不知道、干了什么不知道’，长期‘潜伏’在里面，一旦有事就发作了。”

2016-12-12 08:37:45

大数据信息安全
大数据让教育实现“私人订制”
“大数据”成为家喻户晓的热门话题。其实，教育领域也有大数据，像“一起作业”这个平台现在有4000万注册用户，每天有上亿条作业行为，积累了500TB容量的行为日志，并且这个量级还在每天持续增长。

2016-12-12 08:32:33

大数据教育互联网
调研分析了685家国际大数据公司，解答大数据行业的发展和机会
随着国内互联网+影响力在传统行业的不断渗透，大数据作为贯穿互联网产品整个设计、营销、销售、客服、到运营全流程的底层核心地位在国内市场也慢慢成熟。但是纵观全局，中国的2B企业生态和大数据的落地应用还是落后于美国的整个行业的。

2016-12-09 13:51:51

大数据大数据行业
深度学习实战篇-基于RNN的中文分词探索
近年来，深度学习在人工智能的多个领域取得了显著成绩。微软使用的152层深度神经网络在ImageNet的比赛上斩获多项第一，同时在图像识别中超过了人类的识别水平。百度在中文语音识别上取得了97%的准确率，已经超过了人类的识别能力。

2016-12-09 13:45:21

RNN大数据深度学习
你关注你个人的数据资产吗
互联网预言家凯文凯利说，不管你现在做什么行业，你做的生意都是数据生意。过去的企业关键词是项目，现在的企业关健词是数据。

2016-12-09 13:42:14

大数据数据资产
Maptrix: 嵌入地图的多对多流动数据可视化
如何在地理位置中可视化流动信息是一个目前广泛研究的问题，尤其是多对多的流动信息，例如动物的移动，疾病、货物或者知识的传播。本文所做的工作提出了更有效的可视化形式Maptrix帮助用户分析这一类型的数据，设计合理详细的user study针对提出的maptrix可视化形式与Bundled Flow Map和OD Matrix进行有效性方面的比较。

2016-12-09 13:34:59

Maptrix数据可视化
走下神坛的大数据，你需要多多接地气
熬夜追完了美剧《硅谷》第三季。剧情虽然差强人意，有很多搞笑和嘲讽的片段，但是也从侧面反应了目前技术和创业圈子的真实问题，比如说，产品脱离用户/数据造假/资本见风使舵等等问题。在这篇文章里，我想谈谈大数据，谈谈那些年脱离了用户/客户的大数据。

2016-12-09 13:30:44

大数据
新加坡政府数据科学部门如何利用大数据协助诊断环线地铁故障
大数据正在渗透各行各业，甚至能跟你考试能力测试、患上某种疾病的机率等非常生活化的场景应用都发生紧密的联系。今后大数据在我们的生活中就像是水和电一样，让社会整个信息质量更好、让信息利用效率更高效。本文揭示了新加坡政府是如何利用大数据技术来捕获引发地铁被中断的反常列车，我们得以再一次见识大数据技术的神奇力量。

2016-12-09 11:02:39

大数据
轻量级大规模机器学习算法库Fregata开源：快速，无需调参
随着互联网，移动互联网的兴起，可以获取的数据变得越来越多，也越来越丰富。数据资源的丰富，给机器学习带来了越来越多，越来越大创造价值的机会。 机器学习在计算广告，推荐系统这些价值上千亿美元的应用中起到的作用越来越大，创造的价值也越来越大。

2016-12-09 10:11:40

机器学习算法库Fregata
Hadoop平台中SQL优化的四个思路
要正确的优化SQL，必须能快速定位性能瓶颈点，或者说快速找到SQL主要的开销所在。最慢的设备通常是瓶颈点的成因，如文件下载时的瓶颈点可能是网络速度，本地文件复制时的瓶颈点可能在于硬盘性能。

2016-12-09 09:31:22

HadoopSQL大数据
如何解决分布式系统可管理性问题?
分布式系统是一个由很多进程组成的整体，这个整体中每个成员部分，都会具备一些状态，比如自己的负责模块，自己的负载情况，对某些数据的掌握等等。

2016-12-09 09:21:45

分布式系统大数据
大数据安全、隐私为市场分析关注点
“关于隐私的主要问题起因于数据环境的使用：采集来源于不同的环境局部画面的数据，根据时间和地点将它们放到一起，然后建立一个更加完整的人们和行为在特定时间段和地点的视图。

2016-12-09 09:13:06

大数据隐私安全
上一页 1 ··· 125126127128129 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服