51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9052内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9052 条
大数据统一的批处理和流处理标准 Apache Beam
Apache Beam 的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。

2016-11-15 09:44:21

大数据批处理流处理
你们是不是真的很缺大数据工程师？
其实个人在大数据在大数据这个坑中，细细算来，时间也有3+年了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集->数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘，这个链路都走了一遍。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~

2016-11-15 09:43:56

大数据数据工程师
Apache Kylin发布新版流处理引擎
新版流式构建是在Kylin v1.5的"可插拔 "架构下的一个完美实现︰ 将Kafka主题视为一种数据源，实现相应的适配器，将数据先抽取、转换和保存到 HDFS，接下来使用各种Kylin的构建引擎(MR/Spark等)对数据进行并行计算 。

2016-11-15 09:34:14

Apache Kyli流处理引擎
中国即将面临“大数据人才荒”
大数据是新一代科技浪潮中的核心科学技术。2015年国务院印发《促进大数据发展行动纲要》，高屋建瓴地为大数据在各个领域的应用和发展提供指导。

2016-11-15 09:29:04

大数据人才重视
利用大数据取得成功的7条建议
就在您认为大数据不可能再变大时，它还在不断变大。 无论其实际大小，大数据正在显示价值。 各个地方的组织都有各种形态与大小的大数据。 这些组织意识到其重要性、机遇以及给予关注的迫切需要。 很显然，无论忽略与否，大数据都会不断发展。

2016-11-14 18:30:32

大数据Hadoop
Apache Beam: 下一代的大数据处理标准
本文主要介绍Apache Beam的编程范式-Beam Model，以及通过Beam SDK如何方便灵活的编写分布式数据处理业务逻辑，希望读者能够通过本文对Apache Beam有初步的了解，同时对于分布式数据处理系统如何处理乱序无限数据流的能力有初步的认识。

2016-11-14 18:17:42

Apache Beam大数据
大数据新算法在个人信用风险评估模型中使用效果的评估
中国人民银行征信中心联合北京至信普林科技有限公司，选取了五种大数据新算法，分别为支持向量机(SVM)、决策树、随机森林、自适应提升(AdaBoost)和梯度提升决策树(GBDT)，全面评估和比较上述五种算法在个人信用风险评估模型中的效果，包括稳定性、准确性与可解释性，以进一步理解相关算法在评分上的优势与短板。

2016-11-14 15:04:35

大数据信用风险评估
如何更有价值采集数据、高效分析数据？
用户行为数据的意义和价值《为什么要进行用户行为分析?》，以及互联网产品用户模型的构建，这其中就包含了对数据的采集和分析两大块儿，本文将从数据采集的三大要点、如何让分析更有价值更高效、以及数据分析思维三部分展开聊。

2016-11-14 14:57:32

大数据采集数据分析数据
大数据是奢侈品 消费金融行业防欺诈难题待解
大数据是防治欺诈和老赖的最好手段，但在中国现阶段，大数据本身仍存在数据不全面问题，且大数据非常烧钱，目前还只是行业内巨头才能玩得起的奢侈品。应对欺诈和老赖的手段强弱，直接决定了消费金融企业的坏账率的高地。但就目前来看，这一问题仍有待解决。

2016-11-14 14:53:25

大数据奢侈品消费金融
如何立足Hadoop成功建立商务智能：七项必备诀窍

2016-11-14 14:45:00

Hadoop诀窍商务
Hadoop工具让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-14 10:23:08

Hadoop工具大数据数据仓库
为你解读数据中心的内部电源
现如今，尽管IT业界的各种新兴技术可能正发生着各种突飞猛进的快速变化，但每家数据中心仍然需要依赖电力资源的消耗来维持其运行能力。故而，数据中心运营商们仍然需要通过更新电源使用、冷却和电气设计方案，来提高数据中心的运营效率。

2016-11-14 10:17:41

数据中心冷却技术能源效率
数据分析流程这么长，产品经理如何一人搞定？
我2002年入行，那个时候还没有“产品经理”这个词，我的主要工作是为业务部门跑数据并且制作报表，就是传说中“跑数据”、“做报表”的那个苦逼数据仓库工程师。

2016-11-14 10:09:49

数据分析产品经理Growth
大数据处理问题及解决方法
大数据,就是指种类多、流量大、容量大、价值高、处理和分析速度快的真实数据汇聚的产物。

2016-11-14 10:06:04

大数据max位图
三位创业者解答：大数据创业的价值、模式和挑战
近几年来，大数据的应用场景扩展到几乎每一个垂直行业。在得到资本青睐的同时，也面临着如何将数据的价值最大化利用，如何面对信息监管等诸多问题。在日前IT桔子·腾讯云沙龙“对话垂直行业大数据×创业”活动中，三位大数据方向的创业者解读了大数据创业者的动力和迷茫，也回答了诸多大家关心的问题。

2016-11-14 10:04:22

大数据大数据创业大数据行业
初学hadoop的心路历程
在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。

2016-11-14 10:00:29

hadooplinux大数据
Excel自服务式商业智能在企业运营分析中的应用
今天我们来看一下分析人员常常要面对的问题和如何通过使用Excel中的自服务式商业智能-Power BI系列组件进行相应改善。

2016-11-13 11:35:55

商业智能运营分析Excel
大数据行业图谱之（1）：底层基础平台公司能做多大？
大数据是企业服务市场中的新兴领域，短短几年时间，大数据概念从兴起到落地，开始在各行各业发挥作用，行业政策频出，技术飞速发展，受到资本追捧。

2016-11-11 20:58:19

数据行业底层基础平台Hadoop
2016数据科学从业者薪酬报告：你值多少钱?
O’Reilly 近日发布了数据科学从业者薪酬报告(2016 Data Science Salary Survey)，分析了来自45个国家的近千份调查报告后，针对数据科学从业者使用的工具、薪酬待遇等问题进行了详细分析解读，并从调查结果中得到一些有趣的结论。

2016-11-11 20:46:01

数据科学大数据Python
如何成为一名数据分析师：必备技能 TOP5
数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

2016-11-11 20:38:39

数据分析师大数据
给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。

2016-11-11 20:33:53

Hadoop大数据云计算
数据倾斜是多么痛？spark作业调优秘籍
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。

2016-11-11 20:16:23

数据倾斜spark
大数据落地背后 是未来“数据主义”的前奏？
翻看科技发展史，当某些跨时代的技术转捩点来临之时，两种状况似乎同时出现：大众观念里的鸡同鸭讲，以及，从业者对于概念追逐的狂热。近几年一个好例子即是：大数据。

2016-11-11 20:12:46

大数据数据主义
数据中心安全防御大法大放送
数据中心是在不断变化的，尤其现在应用需求多种多样，数据中心需要不断地去变化，才能适应这些应用，和传统的数据中心不同，现在数据中心里应用最普及的就是虚拟化技术，数据中心虚拟化后，安全问题就已突显出来。那么新时期下，如何更好地做好数据中心安全防御呢。

2016-11-11 19:51:35

数据中心安全防御安全
关于工业物联网的8点小知识 译文
物联网这个术语用来描述这种做法：将日常物件连成网络，旨在收集和分析数据，以便简化流程，并使流程自动化。但是一旦你开始设计特定的物联网项目，就会开始认识到：物联网的好处和挑战大不一样，这取决于具体目标。如果你为工业环境设计物联网项目，差异来得还要明显。

2016-11-11 10:44:00

工业物联网
百度开放云联手可视化分析领导者Qlik，推动国内商业智能发展
近日，百度开放云和全球知名可视化分析公司Qlik签署合作协议，Qlik正式成为百度开放云在中国市场的数据分析合作伙伴。双方将在战略层面上进行合作，百度开放云的云服务结合Qlik优秀的可视化分析技术，为中国企业提供更完美的数据分析体验，推动国内商业智能发展。

2016-11-10 11:32:54

Qlik商业智能大数据
中国市场主流商业智能工具的对比
从2013年开始做单位的数据决策分析系统以来，接触了很多国内外的商业智能工具，向领导整理汇报了不少工具对比的报告，这里我再汇总并分享一下。

2016-11-10 11:20:07

商业智能商业智能工具分析平台
大数据和精准投放是广告行业的一场变革
互联网广告之所以有如此的发展态势，中国广告协会副秘书长周玉梅在出席上述峰会时表示，根本原因在于在数据跟踪基础之上的广告精准投放，对广告业的影响巨大。数据和精准投放是广告行业的一场变革，特别是关于大数据的采集、分析和应用，这是决定整个广告业下一步发展变化命运的大事。

2016-11-10 09:39:03

大数据精准投放广告
6个公司的大数据岗位的面试经验
本人住在有人间天堂之称的城市，6年多开发经验，最近2年主要在做大数据相关的开发，最近考虑换工作，基本也只考虑大数据相关岗位。

2016-11-10 09:26:18

大数据岗位面试
深度解析制约大数据发展的三大因素
大数据如浪潮般席卷全球。越来越多的国家开始从战略层面认识大数据，中国亦如此。然而任何发展都不应盲目跟从，而应该在发展中不断认识其发展的意义与遇到的困难挑战，要做到及时发现总结，才能更好的发展。

2016-11-10 09:19:59

大数据制约发展
四大银行的CIO们如何看待大数据
从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下，我们怎样通过IT的引领提升传统银行的竞争力，这是摆在我们面前的一个很重要的课题。

2016-11-10 09:03:27

CIO大数据银行
图文教程，8步教你变身数据科学家
现在你已经知道了数据科学家是干什么的了，接下来就可以培养自己成为一名数据科学家了。下面让我们用图文相结合的方式，8步教你变身数据科学家。

2016-11-10 08:44:45

数据挖掘分析
新时代：生态引领数据未来 原创
近日，海云数据产品发布会于北京正式开幕。此次发布会，不仅拉开了图易5.0正式上线的帷幕，同时，也为大数据的落地应用勾勒出新篇章——“图易大数据决策产品生态平台”。

2016-11-09 15:57:50

生态数据
透析国家安全视野中的大数据发展问题
有学者指出：“未来国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力，数字主权将成为继边防、海防、空防之后另一个大国博弈的空间。”[2]因此，在国家安全视野中的我国大数据发展，摆脱国外技术依赖、防范境外资本控制、警惕思想上对大数据安全的麻痹懈怠，这三件大事应当及早提到议事日程上来。

2016-11-09 15:52:04

大数据安全大数据互联网
简述数据中心四种数据备份方式 你get到了吗？
数据中心全年不休地运行，一旦发生不可预知的灾难，对数据中心来说将是一笔不小的损失。如果造成设备损坏等有形的损失，都还好，至少还能弥补修复，但如果是宝贵的数据丢失，造成的损失则是无法计算的，所以部署有效的数据备份系统尤为重要。万一发生一些故障造成了数据丢失，还可以从备份系统中将数据还原回来，这就要使用数据备份技术。

2016-11-09 15:46:43

数据中心大数据数据备份
带你了解超大规模数据中心究竟有何不同？
本文是作者Mary Branscombe在参观完微软公司位于华盛顿州昆西的超大规模数据中心之后所撰写的一篇手记，从文中，我们可以看出云数据中心在过去的十年中究竟走了多远。

2016-11-09 15:40:15

大数据数据中心云数据中心
教你如何设计公司内部的数据平台
何为数据产品?从广义上讲，一切以数据作为驱动或者核心的都叫数据产品(例如数据报表平台、DMP、搜索与精准化产品、风控产品等等)，从狭义上讲，就是公司的内部数据平台。今天和大家讨论的，主要是关于公司的内部数据平台的搭建。

2016-11-09 15:36:19

数据平台大数据
干货分享：企业大数据的实时分析之路
近日，“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时分析帮助企业进行数据运营。

2016-11-09 15:23:44

大数据数据分析
各有千秋的三大数据阵营
各有千秋的三大数据阵营：数据拥有者、数据应用、数据核心技术拥有者......

2016-11-09 15:18:04

大数据数据市场
深度解析制约大数据发展的三大因素
近来，大数据如浪潮般席卷全球。越来越多的国家开始从战略层面认识大数据，中国亦如此。然而任何发展都不应盲目跟从，而应该在发展中不断认识其发展的意义与遇到的困难挑战，要做到及时发现总结，才能更好的发展。

2016-11-09 15:13:57

大数据鄂维南大数据行业
Hadoop2.6下安装Hive
下面我们将介绍如何在Hadoop2.6下安装Hive。

2016-11-09 14:31:36

Hadoop2.6Hive
Spark不是唯一，三种新兴的开源数据分析工具
在数据分析方面，影响深远的变化正在酝酿之中，而开源工具在引领许多变化。当然，你可能已熟悉这个领域的一些明星开源项目，比如Hadoop和Apache Spark，不过现在出现了强烈的要求，需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。

2016-11-09 14:28:04

Spark开源数据分析工具
HBase集群管理
如何在集群运行的时候以最小的代价来执行这些操作呢？下面总结一下HBase集群的相关运维和管理知识点。

2016-11-09 14:16:39

HBase集群管理
Hive和HBase整合
Hive和Hbase有各自不同的特征：hive是高延迟、结构化和面向分析的，hbase是低延迟、非结构化和面向编程的。Hive数据仓库在hadoop上是高延迟的。Hive集成Hbase就是为了使用hbase的一些特性。

2016-11-09 14:02:46

HiveHBase集成
不会这些，你成不了Hadoop高手！
在大数据主导潮流的时代里，成为Hadoop高手是每位从业者所追求的，那么，现在的你是不是Hadoop高手呢？那就来检测一下吧。

2016-11-09 13:52:35

Hadoop分布式集群
如何设计公司内部的数据平台
何为数据产品？从广义上讲，一切以数据作为驱动或者核心的都叫数据产品（例如数据报表平台、DMP、搜索与精准化产品、风控产品等等），从狭义上讲，就是公司的内部数据平台。

2016-11-09 13:52:33

内部数据KPI
大数据产业莫让人才拖后腿
在未来世界，国家之间、区域之间甚至是公司之间的大数据人才的争夺战，将是愈演愈烈的。有鉴于此，建立中国的大数据人才平台，对大数据人才问题进行超前研究，并且未雨绸缪，加大人才培养和引进的力度，应该引起领导者与人才规划部门更多的重视。

2016-11-09 09:59:01

大数据产业夺冠
大数据工程师练成记之首重：知识体系一览！
目前大数据工程师的月薪都是20K起，月收入两万的薪资是不是很诱人?而且大数据工程师是非常容易找到工作的，所以……Why not

2016-11-09 09:45:07

大数据工程师体系
保障危险品的物流安全问题，大数据扮演了重要角色
大数据依赖于各个分散在区域、部门和企业内部的数据库，也取决于各区域、各部门和各企业的信息化水平。

2016-11-09 09:37:02

大数据危险品物流
银行业应如何利用大数据加强信息安全
《网络安全法》从起草到审议，与国内外网络空间安全化、法制化的发展趋势相吻合。从全球范围看，目前已有70余个国家相继制定网络安全战略，网络安全已逐渐成为影响全球宏观经济与政治稳定的重要因素。因此，相关法规的出台势必将弥补我国参与国际网络安全治理的短板。

2016-11-09 09:29:51

银行大数据信息安全
上一页 1 ··· 134135136137138 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服