51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8814内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8814 条
数据中心NFV技术可靠性研究
NFV是网络运营商主推的网络虚拟化技术，这有利于大幅降低网络运营商的设备采购成本。不过，运营商需要的是高可靠性的网络，对网络可靠性要求最高，但看看我们应用了虚拟化技术的表现，2015年十大云计算宕机的收入损失超过了31 Million美元，显然这样的技术无法满足运营商的可靠性要求。运营商当然不愿意放弃自己提出来的NFV，更何况还有SDN跃跃欲试，那该怎么办?本文给出了一些提升NFV可靠性的思路。

2016-12-22 15:27:22

数据中心NFV运营商
三剑齐发 蓄势出击：亚信新一代PaaS产品重磅发布 原创
亚信数据历经近3年的研发投入与项目实践，打造出了亚信分布式数据库系统ADB、高性能云计算平台HPS、大数据云平台DCP三款产品，旨在共同构建一套完整的PaaS平台解决方案。

2016-12-22 11:21:48

亚信PaaS
【干货】怎样用数据分析找对象
在工作中，经常利用多个数据指标对整体进行综合评价，需要把多个数据压缩成一个综合指标，这就是多指标综合评价方法。 专业术语的名称能吓死人，不用深究。实际内容很简单，一个案例你就可以完全掌握。

2016-12-22 10:44:30

数据分析找对象大数据
报表系统的雄心
这周有朋自远方来，聊了对报表工具的看法，因此专门写篇文章来谈谈报表系统的未来。

2016-12-22 10:30:45

报表系统大数据
挨踢部落第一期:Spark离线分析维度 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2016-12-22 10:26:16

大数据 spark
用KNIME建立客户流失模型
PMML是一种可以呈现预测分析模型的事实标准语言，用于呈现数据挖掘模型。预测分析模型采用定型过程中获取的知识来预测新数据中是否有已知模式。

2016-12-22 10:00:18

KNIME流失模型
Hadoop如何迎击大数据分析的挑战
大数据分析是现在十分火热的话题，从农业到工业、从金融到体育、从传统企业到初创公司，各行各业都在积极应用大数据分析，似乎你的企业不和大数据沾点边就会显得没有逼格一样。

2016-12-22 09:52:13

Hadoop大数据分析
烧钱圈地后，医疗大数据如何变现？
通过平台实现资源、流程和数据的整合后，我们建立了三大数据中心，即前台的临床数据中心(CDR)、后台的运营管理系统(人力资源、财务、固定资产、物流采购库存统一管理的系统)，以及医院的影像数据中心。

2016-12-22 09:42:35

医疗大数据变现
设计模块化数据中心
当数据中心业界的人们听到“模块化数据中心”(MDC)这个术语时，其实每个人对于MDC的真正感觉印象都是不同的。MDC的采用已经呈现出上升趋势：根据IDC的调研报告显示，表示在过去18个月中，已经对其数据中心进行了重大改造的74%的受访者，约有87%的受访者表示，他们所在的数据中心部署了模块化，预制或容器集装箱式的数据中心组件。但这一现状并没有减轻数据中心行业的大多数人(无论其是关注于IT还是基础设施)对于不同类型的模块化数据中心缺乏一致性的理解。

2016-12-21 17:02:35

数据中心MDC模块化
以备万一：创建数据中心关机程序
一份数据中心关机检查表能够帮助IT团队在关闭电源和损失全部有价值数据之前，集中进行备份、测试以及系统验证等事项。 尽管策略和流程是现代IT的关键，但每当需求提升时，数据中心管理员往往来不及关闭设备。需求就像接近中的暴风雨那样富有戏剧性，也可能市政电网升级那样司空见惯。

2016-12-21 16:58:50

数据中心备份发关闭程序
演讲干货丨大数据的“上半场”与“下半场”
当大数据被广泛应用并逐渐走到下半场的时候，对于公司或产品，我们面临怎样的机会和问题，我们又当如何科学的对待?

2016-12-21 16:53:51

大数据互联网阿里
如何通过TensorFlow实现深度学习算法并运用到企业实践中
本文根据才云科技首席大数据科学家郑泽宇在QCon2016全球软件开发大会(上海站)上的演讲整理而成，希望大家可以了解如何通过TensorFlow实现深度学习算法，并将深度学习运用到企业实践中。

2016-12-21 16:40:22

TensorFlow深度学习算法大数据
数据仓库中的SQL性能优化（Hive篇）
一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化，针对M/R全局的优化，和针对整个查询（多M/R job）的优化，下文会分别阐述。

2016-12-21 12:46:47

数据仓库SQLHive
Hadoop大数据面试--Hadoop篇
本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/20 ... reduce-performance/、http://www.idryman.org/blog/2014 ... ing-best-practices/

2016-12-20 18:21:29

Hadoop大数据面试
Hadoop2.6.0自动化部署脚本（一）
最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。

2016-12-20 16:47:25

Hadoop部署脚本
iPhone步行数据分析教程
本文中我将展示如何利用 pandas 和 ggplot 来分析 iPhone 的步行数据，我主要利用 Rodeo(Yhat’s 的 IDE)来进行数据分析。

2016-12-20 16:42:57

iPhone数据分析
Apache CarbonData:大数据生态一种新的高性能数据格式
Apache CarbonData是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应。CarbonData是由华为开源贡献到Apache基金会的大数据项目，致力于推动大数据开源生态技术的发展。

2016-12-20 16:40:13

CarbonData数据存储大数据
高速光模块在数据中心里应用时遇到的现实问题
数据中心对40G/100G的高速光模块需求旺盛，但是在实际应用中遇到的阻力却不少，这使得数据中心扩容的脚步被迫慢了下来。当然，这其中有多方面的综合因素：技术成熟度、成本、维护难度等等都影响了高速光模块在数据中心里的普及度。本文接下来就说一说高速光模块在数据中心里应用时，时常遇到的一些现实问题，存在哪些困境。

2016-12-20 16:28:49

数据中心高速光模块
数据中心的精密冷却散热：需要更高水平的专业服务
今天的数据中心正在快速的发生变化，而确保支持基础设施的每款组件都能够保持以最高的效率和可靠性运行显然比以往任何时候都更为重要。数据中心关键冷却系统发生故障可能会导致停机中断，并会导致企业服务、资金和客户商誉蒙受损失。

2016-12-20 16:24:53

数据中心冷却散热
从数据中获取价值(二)：多类型分析
很久很久以前，认真处理数据并对其进行分析是决定企业生死的关键要素。然而现在，情况却已经变了。

2016-12-20 16:21:18

大数据数据分析
从数据中获取价值(一)：数字化渠道及物联网
每时每刻，我们都在遇见新类型的数据;它们可能来源于业务单元中的数据集市，或者是来源于数字化渠道或物联网的粒度更细的数据。尽管数据调查的方式可能变得越来越困难了，这些新的数据来源(通常从未被获取过)为我们创造了机会去发现新的洞察。新型数据和数据来源的复杂性和数据的格式问题阻碍了我们对这些数据的利用。

2016-12-20 16:18:24

物联网大数据
利用Scikit Learn的Python数据预处理实战指南
简而言之，预处理是指在你将数据“喂给”算法之前进行的一系列转换操作。在Python中，scikit-learn库在sklearn.preprocessing下有预装的功能。有更多的选择来进行预处理，这将是我们要探索的。

2016-12-20 16:07:13

Python数据预处理
企业大数据分析实践指南、总结与展望
到2020年，全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富，企业可以使用最先进的分析技术，利用这些数据更好地了解客户的行为，识别商业机会，制定运营战略。

2016-12-20 16:03:08

大数据分析大数据
腾讯大数据宣布推出第三代高性能计算平台Angel 并于2017年全面开源
腾讯大数据宣布推出面向机器学习的第三代高性能计算平台——Angel，并预计于2017年一季度开放其源代码，鼓励业界工程师、学者和技术人员大规模学习使用，激发机器学习领域的更多创新应用与良好生态发展。

2016-12-20 15:59:05

腾讯大数据Angel
大数据行业图谱之(1)：底层基础平台公司能做多大？
整个大数据行业可大致分为三层，底层基础平台，中间层通用技术，上层行业应用。接下来，爱分析将按照上述分类，逐步介绍各细分领域的行业现状、未来前景。今天是大数据系列的第一篇——底层基础平台。

2016-12-20 15:56:57

大数据行业底层基础平台大数据技术
大数据行业图谱(2)：前有堵截，后有追兵，通用技术类公司如何突围
大数据技术逐步提升，对大数据产业划分也越来越细致。从基础设施到行业应用，各个赛道都涌现出大量创新公司，有些代表着最新的技术和应用，有些则是借助大数据概念炒作。如何识别有前景的赛道、找出有价值的公司，成为市场新的关注点，这也是爱分析大数据行业图谱系列报告的主旨所在。

2016-12-20 15:40:05

大数据技术大数据产业
亚信数据研发三年，新一代PaaS产品重磅发布
随着云计算技术的快速发展，开源技术的逐步成熟，以及越来也多的企业业务敏捷化、去IOE和业务互联网化对IT基础设施提出新的挑战，在此契机下，IT厂商在PaaS领域迎来重大机遇。

2016-12-20 13:39:49

亚信数据PaaS
2016年值得借鉴的八大企业数字化转型案例 译文
时至今日，众多企业都在努力扩大现有或者新建数字化功能，旨在借此提升业务流程效率并提供更为完善的客户服务。

2016-12-20 13:19:04

数字化转型
使用Apache Spark 的Lambda架构
市场上很多玩家已经建造了MapReduce工作流用来日常处理兆兆字节的历史数据。

2016-12-20 09:47:38

Apache SparLambda架构
Spark Streaming原理剖析
在“1.初始化与集群上分布接收器”中介绍了，receiver集合转换为RDD在集群上分布式地接收数据流。那么每个receiver是怎样接收并处理数据流的呢?Spark Streaming数据接收与转化的示意图如图8-14所示。

2016-12-19 14:35:32

Spark Strea原理剖析数据
大数据与商业智能的对比
大数据与商业智能的关系可以通过下面的表格来归纳总结。

2016-12-16 15:30:41

大数据商业智能
如何从你的数据得到更多价值？——卖掉它
确实是“大数据”!通过当资源来查看这些数据——这些可以被用来为已有的客户提供服务或者为服务新客户创建新业务——公司将会发现还有另一个方式，使得它们能持续不断地从其已经投入的风险中获取一切回报。大数据加边缘心态是一个强大的组合。

2016-12-16 13:24:24

数据商业价值
为什么数据挖掘很难成功？
大数据时代，数据挖掘变得越加重要，曾经做了很多，成功有之，失败的却更多，举一些例子，探究其失败原因，也许于大家都有启示吧。

2016-12-16 12:54:44

数据挖掘大数据
2017年大数据的十大发展趋势
2016年，近40%的公司正在实施和扩展大数据技术应用，另有30%的公司计划在未来12个月内采用大数据技术。2016年NewVantage Partners的大数据管理调查发现，62.5%的公司现在至少有一个大数据项目投入生产，只有5.4%的公司没有大数据应用计划，或者是没有正在进行的大数据项目。

2016-12-16 12:47:48

大数据发展趋势
秒懂数据统计、数据挖掘、大数据、OLAP的区别
在大数据领域里，经常会看到例如数据挖掘、OLAP、数据统计等等的专业词汇。如果仅仅从字面上，我们很难说清楚每个词汇的意义和区别。今天，我们就来通过一些大数据在高校应用的例子，来为大家说明白—数据挖掘、大数据、OLAP、数据统计的区别。

2016-12-16 12:43:38

大数据OLAP数据统计
数据挖掘求职 | 想进BAT?先试试看这几道题!
本文从来自阿里巴巴招募实习生的一次笔试题，从笔试题的几个要求我们一起来看看数据分析的职业要求。

2016-12-16 12:32:50

阿里数据分析职业要求
分享 ：用五个趣味案例教你数据分析的基本思想
今天和大家分享一下数据分析的一些基本思想，我给它起了个名字叫做用数据说话。内容都是个人的一些心得，比较肤浅!如有不足之处，希望大家谅解!废话不说了，现在咱正式开始。

2016-12-16 12:27:23

数据分析大数据
银行业大数据分析：如何用大数据技术优化ATM运营
银行每年都需要巨大投入来维持各项业务的运营，如何有效提高银行运营效率，降低运营成本一直是银行追求的一个重要目标。当前银行很多业务运营还是靠具体负责人凭经验及直觉“拍脑袋”做决策，通过大数据分析可以从数据中发现运营规律，为运营优化提供决策基础。本文将以大数据技术优化ATM运营的几个应用为例来说明大数据如何优化运营效率，降低运营成本。

2016-12-16 12:20:52

银行业大数据ATM
用VR做数据可视化的正确姿势是什么？
数据可视化是少数几个 VR“布道者”非常喜欢说道的利用虚拟现实可能产生变革的领域之一。但是究竟应该如何做呢?现今的数据可视化领域又有什么问题呢?本文对传统的数据可视化的几个具体问题进行挖掘，讨论理解抽象信息方面的难题，并探讨VR如何改变这一切。

2016-12-16 12:13:11

VR数据可视化
数据分析，或许不是为了分析，而是为了规范
一个行业做的越久，问题就越多，之前并不在意的问题也会拿出来思考。“数据解决企业什么问题?”这问题一定难不倒大家，甚至张口即答，例如通过数据可以对自身的企业情况有着准确和科学的把握，避免老板拍脑袋;数据可以实现对市场环境快速的反应和决策;数据可以区分客户个性化需求，提高服务价值等等。

2016-12-16 12:06:09

数据分析大数据
IDC公布2017年亚太地区数据中心10大预测
IDC亚太区分享了2017年及更长一段时间内将会给企业机构带来最大影响的数据中心预测。

2016-12-16 12:01:30

IDC数据中心
案例研究：在大型金融组织选择大数据和数据科学技术
数据科学正快速成为各行各业开发人员和管理人员的关键技能，同时它似乎也非常有趣。但它也相当复杂——有太多的工程分析技术，你很难知道自己做得是否正确或者哪里存在陷阱。在该系列文章中，我们将探讨如何利用数据科学——从已经采用并成功实施数据科学的人们那里，了解数据科学的适用场景，以及如何让它成为你的资产。

2016-12-16 11:56:56

大数据数据科学
企业数据存储厂商点将台 译文
在本文介绍的企业数据存储厂商中，我把范围限制在本地外部数据存储这一类。大多数系统支持云，可能是闪存或磁盘。我忽略的存储领域包括超融合、网关及相关技术和云超大规模存储提供商。虽然我把本文的盘点范围限制在外部存储系统，但这些都是属于后起之秀的存储领域，完全值得一提。

2016-12-16 10:15:15

数据存储
国企数据转型的正确路径：从“信息孤岛”走向“国家大数据中心”
数据作为国家基础性战略资源，已随着信息技术的日新月异渗透到各行各业，不断拉动着技术进步与产业发展。

2016-12-16 10:02:27

国企数据信息孤岛大数据
携程大数据实时风控的架构及实践
目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步，经过五年的不断探索与创新，已经可以有效覆盖事前、事中、事后各个环节。也从原来基于“简单规则+DB”，发展到目前能够支撑10X交易增长的智能化风控系统，基于规则引擎、实时模型计算、流式处理、M/R、大数据、数据挖掘、机器学习等的风控系统，拥有实时、准实时的风险决策、数据分析能力。

2016-12-15 21:41:15

大数据
详解：大数据分析的学习之路
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。

2016-12-15 21:15:58

大数据
京东12G用户数据泄露背后，是光着屁股上网的你！
黑客们拿到数据第一时间就是把账号全登一遍，有余额的都转走，有优惠券的都通过一些方式变现(用优惠券购买物品后低价卖给分销商)。把用户京东上的东西都洗过一遍之后，就会拿着这些数据去洗用户其他网站账户，因为为了便于记忆，大多数人的用户名和密码都是各个网站通用的。。。

2016-12-15 21:12:28

大数据
深度学习框架Caffe源码解析
以上为Caffe代码架构的一个总体介绍，希望能借此帮助社区的小伙伴找到打开定制化Caffe大门的钥匙。本文作者希望借此抛砖引玉，与更多期望了解Caffe和深度学习框架底层实现的同行交流。

2016-12-15 09:44:31

框架Caffe源码
大数据失败案例提醒：8个不能犯的错误
为防止大数据项目遭遇失败，引入迭代机制是非常必要的。使用灵活而开放的数据基础设施,保证其允许企业员工不断调整实际方案、直到他们的努力获得理想的回馈，最终以迭代为武器顺利迈向大数据有效使用的胜利彼岸。

2016-12-15 09:39:05

大数据错误案例
Spark SQL架构分析
Spark SQL的查询优化是Catalyst，其基于Scala语言开发，可以灵活利用Scala原生的语言特性方便地扩展功能，奠定了Spark SQL的发展空间。

2016-12-14 19:20:07

Spark SQL架构分布式
上一页 1 ··· 124125126127128 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服