51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
【干货分享】鲁四海：大数据技术及行业应用
2016年7月17号在北大举行的第五届中国大数据应用论坛上，中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了题为《大数据技术及行业应用》的分享。

2016-07-27 16:45:12

大数据IT
谷歌要把2.5万工程师变成机器学习专家
由于看好机器学习技术的未来，谷歌为内部员工和外部人员提供各种各样的培训，希望加速这种技术的普及速度。而公司的目标，是将内部2.5万名工程师全部转变成为机器学习领域的专家。

2016-07-22 16:19:18

谷歌工程师
2016中国大数据企业排行榜发布，细听首席数据官联盟发起人解读 原创
2016年7月14号，首席数据官联盟在京发布了2016年《中国大数据企业排行榜》。本次发布的《中国大数据企业排行榜》由北京大学电子政务研究院、中国新一代IT产业推进联盟共同指导，由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定。

2016-07-18 17:14:56

大数据企业
你应该知道的大数据领域12大动向 译文
行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。下面看一下引起我们关注的12则与大数据有关的动向。其中许多来自近日在加州圣何塞召开的2016年Hadoop峰会。

2016-07-05 15:49:39

大数据动向
谈谈AWS Lambda和serverless architecture
由于基于lambda的诸多应用场景还处在刚刚起步的阶段，所以很多orchestration的事情还需要自己做，相信等lambda的使用日趋成熟时，就像docker生态圈一样，会产生众多的orchestration的工具，解决或者缓解系统失控的问题。

2016-07-01 16:13:13

AWSLambda
一篇文章，掌握所有开源数据库的现状
本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域，不会涉及 OLAP、对象存储、分布式文件系统。

2016-07-01 14:55:07

开源数据库
用 Docker 构建 Serverless 应用
Serverless 不意味着没有服务器，而是从应用可以在一个抽象层上忽略它的存在，而只关注在功能实现上和自身的请求处理上;每一个功能实现在不是单纯的业务逻辑处理的代码，相反每个功能调用具有了 Server 的特质，进化成为了一个具有自省、自知和自治的工作负载单元;他们更像是能够衍生出其它新功能单元的生物体。

2016-07-01 14:43:32

DockerServerless
为什么说Spark SQL远远超越了MPP SQL
MPP SQL 是 Spark SQL 的一个子集，Spark SQL 成为了一种跨越领域的交互形态，MPP SQL 是 Spark SQL 的一个子集。

2016-07-01 14:37:01

SparkSQL
大数据如何为备份和恢复改变游戏规则？ 译文
在如今的分布式数据库中，想针对所有那些PB级的数据获得一份可靠的快照并非易事。这是IT界众所周知的事实：改变软件堆栈的一部分，你很有可能要改变另一个部分。如果举个明显的例子，只要看看大数据。

2016-06-30 10:38:34

大数据备份恢复
有容乃大 UCloud数据仓库UDW架构解析
UCloud 近日推出了大规模并行、完全托管的PB级数据仓库服务——UDW，可以极大地减少部署数据仓库相关的成本和工作量，更高效地使用商业智能 (BI)工具来分析海量数据。

2016-06-28 13:09:48

UCloud数据仓库架构解析
六个藉藉无名但迅速崛起的Apache大数据项目 译文
大多数人已听说过Apache Spark，然而，另外几个最近被提升为顶级项目的Apache大数据项目同样值得关注。实际上，其中一些打造的生态系统在活动和开发上可与Spark的生态系统相媲美。本文介绍了你应该知道的几个Apache大数据项目。

2016-06-24 09:12:16

ApacheSpark大数据
美丽联合集团曾宪杰：数据模型不统一的技术融合都是骗人的 原创
今天我们不将目光投向资本运作，而是从技术的角度谈一谈二者的融合。无论是从行业的成功经验，还是人才竞争的客观环境都表明，只有把底层的基础设施放在一起做，整个平台技术体系才能有机会发展得更加健壮，也会有更多的机会开放给除了自己的核心业务外其他的合作伙伴，来支持平台核心业务的发展。

2016-06-22 09:58:31

数据模型技术融合美丽说
Apache Spark不是唯一，快来了解三种新兴的开源数据分析工具 译文
物联网带来了众多传感器及其他设备，它们在生成源源不断的数据流，而物联网只是推动市场需要新型分析工具的重大趋势之一。我们需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。本文将探讨三种新兴的数据分析工具。

2016-06-20 09:06:12

Apache Spar开源工具
三大趋势性技术加速大数据领域变革 原创
正如许多颠覆性技术一样，经历了被“神化”、“妖魔化”的过程后，大数据已经开始被人们理智的看待。它既不神秘莫测，也不虚无飘渺。然而从基因图谱到太空探索，人类不断产生着越来越大的数据集，对于数据处理、管理和理解的极限能力无时无刻不在遭遇挑战。

2016-06-17 14:22:19

大数据区块链量子计算机
Spark SQL 究竟是何方神圣? 译文
Spark SQL属于Spark用于处理结构化与半结构化数据的接口。结构化数据是指那些拥有一定模式的数据，包括JSON、Hive Tables以及Parquet。模式意味着每条记录都拥有一套已知字段组。半结构化数据则代表着模式与数据之间不存在明确的区分。

2016-06-17 12:31:10

Spark SQL数据处理Spark
Hadoop创始人Doug Cutting谈未来大数据的技术
在Doug Cutting十年前创建Hadoop架构的时候，他从未想过这会为企业界带来如此超大规模的计算。“毫无疑问，我当初预想的情况比我们现在所看到的要稍微保守一些。“他在近期伦敦的Strata+Hadoop World大会上说。

2016-06-16 17:13:59

Hadoop
Cloudera与微软开发Livy 简化Spark应用
Livy为应用程序与Spark相连接、交付作业以及程序化检索结果提供了一个简单的方式。从其核心上来说，Livy是一款提交、运行以及管理Spark任务和环境的REST服务器。其客户端API，允许同步或异步精细Spark作业交付及结果检索。客户能够像一种多租户服务一样对Spark进行使用，无需担心实施、配置或监测。Livy以多租户服务的形式，来为Spark提供会话隔离、安全及用户身份模拟

2016-06-16 09:56:17

Cloudera
Teradata 天睿公司将在大中华区推出全新 IntelliFlex 数据仓库架构
全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation，纽交所：TDC)日前宣布，将于 2016 年第三季度向大中华区市场推出其业内领先的下一代海量并行处理(MPP)架构：Teradata IntelliFlex™。

2016-06-15 16:27:26

Teradata天睿 数据仓库
下一代 Hadoop 技术演进路线展望 译文
Hadoop仍然在以极高速度推动创新，而下一代Hadoop目前正在构建当中。这条发展道路承载着一系列Hadoop核心创新以及相关技术。

2016-06-14 13:25:12

Hadoop大数据开源
为什么说建立统一数据平台是重要的 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自前优酷土豆的大数据开放平台研发负责人杨大海做了以 “建立统一数据平台的重要性”为主题的演讲。本文章是把本次分享干货亮点整理成文字形式，呈献广大的用户。

2016-06-13 17:22:27

火炬数据杨大海
实现R与Hadoop联合作业的三种方法
实现R与Hadoop的联合作业，R就拥有了在分布式文件系统(HDFS)上处理大数据的能力。本文的目的就是阐述实现二者联合作业的不同技术。但同时，这几种方法也各有利弊。

2016-06-12 09:32:43

R语言Hadoop数据处理
天天在做大数据，你的时间都花在哪了
大数据到底是在做什么，为什么我做了这么多年的大数据，总是做不完呢?

2016-06-06 10:20:59

大数据流式计算数据处理
云上运行 Hadoop 会面临哪些挑战
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实，在云上运行Hadoop对平台方还是面临一些挑战的，下面主要讲述这些挑战及平台方怎么解决的。

2016-06-02 14:15:22

Hadoop云计算分布式计算
呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0大数据处理 Spark
12个关键词，告诉你到底什么是机器学习
随着人工智能(AI)技术对各行各业有越来越深入的影响，我们也更多地在新闻或报告中听到“机器学习”、“深度学习”、“增强学习”、“神经网络”等词汇，对于非专业人士来说略为玄幻。这篇文章为读者梳理了包括这些在内的12个关键词，希望帮助读者更清晰地理解，这项人工智能技术的内涵和潜能。

2016-06-02 11:02:02

机器学习
这四件事带你走出深陷的数据分析迷宫 译文
相信每位朋友都遇到过这样的情况：将来自各类渠道的数据收集起来，通过A/B测试进行验证，希望借此得出分析结论。但在检查结果时，我们发现这些数字似乎并不怎么合理。在今天的文章中，我们将共同通过真实世界中的实例，在对种种错误的数据分析方式的总结中找出正确的技巧与诀窍。

2016-06-02 10:39:29

数据分析数据管理数据处理
大数据架构下对于业务监控的几点思考 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自极光推送首位大数据工程师许俊做了以 “大数据架构下对于业务监控的几点思考”为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-06-02 10:17:58

大数据架构业务监控
Hadoop真的适合你吗？
Hadoop是低成本高性能的计算框架，可以处理各种IT和业务场景中组织对扩展处理能力或者扩展数据管理能力的需求。下面总结一下应用需求的特点以及建议选择的基于Hadoop分布式应用的数据管理平台。

2016-06-01 15:42:58

Hadoop数据管理分布式
警惕SDK代码的应用：揭秘SDK采集5大隐私数据的方式
今天抛出一篇SDK技术分享，从代码层面出发，为众多开发者梳理下SDK采集数据的代码都有哪些，不同数据指标的代码有什么区别，这些数据指标涉及用户信息隐私的程度如何，帮助开发者规避SDK中存在的“地雷“。希望看完以下内容可以给互联网开发者一些实质性的帮助，同时也希望引起行业内对利用SDK采集用户隐私数据的反思。

2016-06-01 11:37:55

SDK数据采集数据隐私
到底哪些系统组件应该进行日志记录? 译文
当然，日志作为解决问题的重要参考，一般来说自然是越多越好。不过收集及存储日志数据都会带来成本，因此今天我们将探讨如何找到正确的日志记录平衡点。

2016-06-01 11:27:24

记录微服务DevOps
星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭 译文
Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

SparkSpark 2.0并行计算
【51CTO 网+】如何用数据驱动用户体验 原创
5月28日，近百位移动开发者再次相聚于【51CTO 网+】线下公开课现场，与火线数据创始人兼CEO、前小米数据工场负责人卢学裕、神策数据CTO曹犟、AdMaster资深架构师刘喆三位移动领域数据分析大牛一起，聚焦如何用数据驱动用户体验，大话数据之美。

2016-05-28 19:32:49

51CTO网＋数据挖掘
Strata +Hadoop World 北京首届会议已经开始注册
Strata +Hadoop World即将在8月3-6号在北京举行。

2016-05-27 15:31:32

Strata +Had
拥抱开源！解析IBM Power8与Hadoop的不解之缘 原创
IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。 IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道

2016-05-27 11:43:06

IBM
如何构建一支“万物皆可分析”的数据科学团队 原创
然而数据只存放起来是没有用的，企业只有将通过数据分析洞察出的结果运用到业务部门、生产系统或是营销部门、风险部门当中，数据才会产生价值。在这个过程中，企业需要思考的不只是技术，还包括公司内部的组织加构、工作流程、业务进展等。

2016-05-27 08:23:33

数据分析数据科学数据思维
为什么Redis内存不宜过大
redis这个内存数据库，它的高性能、稳定性都是不用怀疑的，但我们塞进redis的数据过多，内存过大，那如果出问题，那它可能会带给我们的就是灾难性。

2016-05-26 12:11:00

Redis内存开源
云计算将在大数据领域扮演什么角色？ 译文
自从大数据进入企业数据中心和业务部门，一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料，存储方面要考虑的因素随之变化。

2016-05-25 14:47:17

云计算大数据存储
一个适合小公司用的开源数据管道工具
airbnb是我很喜欢的公司，他们有很多开源的工具，airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。

2016-05-25 10:14:04

开源数据管道 ETL
共话数据驱动下的技术创新和商业变革
“认知分析、大数据即服务、开源大数据平台、机器学习……”这些陌生又熟悉的技术名词你了解多少？近日，为期一周的大数据主题嘉年华——IBM Insight Week 2016 在北京香格里拉饭店拉开序幕。来自国内典型传统企业、一线互联网公司及IBM的近三十位CIO、CDO、技术高管、数据专家如约而至，促膝共话大数据驱动下的技术创新和商业变革。

2016-05-24 14:42:32

大数据技术创新IBM
CTO训练营耿志峰：大数据驱动网络反欺诈 原创
由51CTO高招主办的“CTO训练营”活动圆满结束，来自百度商业安全部资深架构师耿志峰在活动现场做了主题为“大数据驱动网络反欺诈”的分享，本文章是针对演讲干货整理，呈献给大家。

2016-05-24 10:50:49

大数据网络反欺诈
解密 Uber 数据团队的基础数据架构优化之路
Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是，就像 Uber数据部门的主管 Aaron Schildkrout所说：商业计划的简单明了带给Uber利用数据优化服务的巨大机会。

2016-05-23 13:50:23

UberHadoopSpark
为什么在大数据处理中Cassandra与Spark如此受欢迎？ 译文
说起Cassandra的用途时，我们可以将其理解为一套理想的客户系统实现方案——其能够保证各类应用始终可用，包括产品目录、物联网、医疗系统以及移动应用。Cassandra于2010年成为Apache软件基金会的顶级项目，而且至今仍拥有极高人气。Cassandra专业知识能够帮助我们在人才市场上获得赏识。我们不禁要问——为什么这一开源项目能够大受欢迎？

2016-05-19 10:31:35

数据处理CassandraSpark
三要点|解构小白入手数据分析的思维模式
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实际应用中，数据分析可帮助人们作出判断，以便采取适当行动。当然，在我看来数据本身并没有任何价值，正是由于分析方法的存在使得原本毫无价值的数据大放异彩。

2016-05-18 11:57:02

数据分析数据思维大数据
你不知道的六大Apache大数据项目新星
几个最近被Apache擢升为顶级的大数据项目也值得您额外关注。事实上，他们中的一些所构建和发展的生态系统，很可能将对Spark 发起挑战。结合本周举行的“ApacheCon北美峰会”(ApacheCon North America conference)和“Apache大数据峰会”(Apache: Big Data events)，本文将归纳那些你应该知道的Apache的大数据项目。

2016-05-18 11:47:35

Apache大数据项目开源
至2019年全球Hadoop市场年复合增长率将达53% 译文
adoop系统从多种来源收集信息，如消费者，社交媒体和金融数据，并将收集来的数据储存在一个分布式数据仓库，来管理映射-归约(Map-Reduce)进程。在映射-归约进程中，首先，输入的数据被映射到集群结点中，映射的来源包括XML文件，传统系统，以及包括SCM、ERP、CRM、基于SaaS的应用和行业型文档等在内的企业应用。像网页内容和邮件内容这样的数字化内容也可进行映射-归约程序。在第二阶段，无数个更小的信息节点产生并在服务器中分布。这些节点进行平行计算来产生适用于所有查询的可应用输出，收集的结果用于决策过程。接下来，经过分析的信

2016-05-17 15:08:42

Hadoop
数据分析应该要避免的6个错误
曾经有个运营总监告诉说，有个分析师给我做了个分析，运营目标要完成，最重要提提升流量，因为转化率提升太难，需要涉及到东西太多了。流量提长就是要引入流量，然后做了各个渠道的分析，各个流量测算。

2016-05-17 10:37:46

数据分析数据存储大数据
反欺诈架构中的数据架构及其技术挑战 译文
反欺诈系统架构方面的一半工作可能花在了稳健而灵活的数据基础设施上。要是没有数据，规则和模型就玩不转。许多时候，你需要从不同的角度和不同的距离来看待同一批数据，还需要能够不断以低成本获取新数据;你迟早会发现自己拥有海量数据，因此拥有一套可扩展、稳健的基础设施来管理这些数据是核心。

2016-05-17 10:26:51

反欺诈系统架构数据架构
java在处理大数据的时候一些小技巧
类似的数据处理还有很多，有些时候还会将就效率问题，比如在 HBase 的文件拆分和合并过程中，要不影响线上业务是比较难的事情，很多问题值得我们去研究场景，因为不同的场景有不同的方法去解决，但是大同小异，明白思想和方法，明白内存和体系 架构 ，明白你所面临的是沈阳的场景，只是细节上改变可以带来惊人的效果。

2016-05-13 17:24:00

java大数据
成功实施大数据项目的五项基本要求 译文
成功的大数据项目拥有五大核心要求，拥有十余年从业经历的数据科学家Amy Gaskins强调称。

2016-05-13 11:59:47

大数据数据科学Apache
大数据应用的下一阶段发展方向在哪里? 译文
时至今日，我们的数据管理能力日益提升，但数据分析能力则相对落后。尽管工具与流程皆已齐备，但仍然缺少充足的数据科学家人员。在今天的文章中，我们将专注于能够交付实际分析结论的大数据应用，同时追踪其发展及当前状态，最终借此窥探大数据技术的未来发展方向。

2016-05-13 10:20:43

大数据应用数据管理数据分析
上一页 1 ··· 140141142143144 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服