51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9329内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9329 条
大数据与云计算和物联网之间的关系
大数据时代的到来，是全球知名咨询公司麦肯锡最早提出的，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

2016-08-03 15:10:03

大数据云计算物联网
麦肯锡：医疗行业的大数据革命
美国的医疗开支如果保持目前的增长速度，20年后将占到美国GDP的17.6%，这意味着将比正常基准高出6000亿美元。这多出来的让奥巴马政府绝望的6000亿美元，有一种“特效减肥药”，那就是医疗大数据。华尔街日报上周在一篇报道中指出，大数据应用将为美国节省数千亿美元的医疗开支，但前提是医疗行业必须进行一些根本性的变革。

2016-08-03 15:01:20

医疗行业大数据
数据科学家必备工具有哪些?
在这一章中，我们会探索数据科学环境中常用的软件。不是所有在这里提到的软件都会在你的工作中用到，但了解它们会让你拥有更多选择。

2016-08-02 17:00:12

Hadoop大数据系统
大数据系统数据采集产品的架构分析
随着大数据越来越被重视，数据采集的挑战也变的尤为突出。

2016-08-02 16:06:18

大数据系统数据采集
2016上半年10种最酷的大数据产品 译文
下面这10种大数据产品在2016年上半年引起了我们的注意。其中一些(但不是所有产品)是在3月份的Strata + Hadoop World大会或6月份的Hadoop峰会上亮相的。

2016-08-01 16:11:47

2016大数据
数据驱动：这是一种文化
在一个数据驱动的企业，数据是提供报告、深度模拟预测的来源。企业决策者应该将数据分析纳入公司决策流程，并对公司的决策提供价值和影响。

2016-07-29 00:43:22

数据驱动
大数据在营销和销售中的十大应用
在有大数据算法和先进的分析技术的今天，为给定的产品或服务实现价格优化越来越不在话下。就连在不是那么有弹性的大宗商品驱动行业中，简化日常定价决策也已经是非常常见的了。

2016-07-29 00:18:47

大数据营销销售
合理利用大数据 助力中国各产业加速发展
作为各行各业智能化变革的重要组成部分，“如何利用大数据”成为传统企业和新兴互联网厂商争相涌入的新一片蓝海。

2016-07-28 13:32:28

大数据物联网
叶蓁蓁：大数据也会“微笑”
叶蓁蓁指出，媒体行业已经走过了近400年的历程。从17世纪初报纸诞生，到20世纪无线广播、电视兴盛发展，再到21世纪互联网以及移动设备迅速普及，媒体发展演变的过程，实际上就是新技术和新内容相互结合发展的过程。

2016-07-27 17:16:34

大数据媒体
数据分析真的能驱动用户快速增长吗?
今天所有的互联网从业者，既要掌握正确的数据化运营方法论，又不要盲目成为拜数据教的教徒。做一款叫好又叫座的产品，虽然数据运营不可或缺，但还是要把核心精力放到“做出好酒”和“搬到巷子口”这两个关键点上。

2016-07-27 17:06:50

数据运营数据分析Growth Hack
【干货分享】鲁四海：大数据技术及行业应用
2016年7月17号在北大举行的第五届中国大数据应用论坛上，中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了题为《大数据技术及行业应用》的分享。

2016-07-27 16:45:12

大数据IT
谷歌要把2.5万工程师变成机器学习专家
由于看好机器学习技术的未来，谷歌为内部员工和外部人员提供各种各样的培训，希望加速这种技术的普及速度。而公司的目标，是将内部2.5万名工程师全部转变成为机器学习领域的专家。

2016-07-22 16:19:18

谷歌工程师
2016中国大数据企业排行榜发布，细听首席数据官联盟发起人解读 原创
2016年7月14号，首席数据官联盟在京发布了2016年《中国大数据企业排行榜》。本次发布的《中国大数据企业排行榜》由北京大学电子政务研究院、中国新一代IT产业推进联盟共同指导，由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定。

2016-07-18 17:14:56

大数据企业
你应该知道的大数据领域12大动向 译文
行业观察人士表示，许多企业拿来试点阶段的大数据系统(尤其是那些整合Hadoop平台的系统)后，将它们部署到更广泛的生产环境。本文介绍的新闻主要旨在帮助公司进行这种转型。下面看一下引起我们关注的12则与大数据有关的动向。其中许多来自近日在加州圣何塞召开的2016年Hadoop峰会。

2016-07-05 15:49:39

大数据动向
谈谈AWS Lambda和serverless architecture
由于基于lambda的诸多应用场景还处在刚刚起步的阶段，所以很多orchestration的事情还需要自己做，相信等lambda的使用日趋成熟时，就像docker生态圈一样，会产生众多的orchestration的工具，解决或者缓解系统失控的问题。

2016-07-01 16:13:13

AWSLambda
一篇文章，掌握所有开源数据库的现状
本次分享聚焦于数据库既结构化数据存储 OLTP 及 NoSQL 领域，不会涉及 OLAP、对象存储、分布式文件系统。

2016-07-01 14:55:07

开源数据库
用 Docker 构建 Serverless 应用
Serverless 不意味着没有服务器，而是从应用可以在一个抽象层上忽略它的存在，而只关注在功能实现上和自身的请求处理上;每一个功能实现在不是单纯的业务逻辑处理的代码，相反每个功能调用具有了 Server 的特质，进化成为了一个具有自省、自知和自治的工作负载单元;他们更像是能够衍生出其它新功能单元的生物体。

2016-07-01 14:43:32

DockerServerless
为什么说Spark SQL远远超越了MPP SQL
MPP SQL 是 Spark SQL 的一个子集，Spark SQL 成为了一种跨越领域的交互形态，MPP SQL 是 Spark SQL 的一个子集。

2016-07-01 14:37:01

SparkSQL
大数据如何为备份和恢复改变游戏规则？ 译文
在如今的分布式数据库中，想针对所有那些PB级的数据获得一份可靠的快照并非易事。这是IT界众所周知的事实：改变软件堆栈的一部分，你很有可能要改变另一个部分。如果举个明显的例子，只要看看大数据。

2016-06-30 10:38:34

大数据备份恢复
有容乃大 UCloud数据仓库UDW架构解析
UCloud 近日推出了大规模并行、完全托管的PB级数据仓库服务——UDW，可以极大地减少部署数据仓库相关的成本和工作量，更高效地使用商业智能 (BI)工具来分析海量数据。

2016-06-28 13:09:48

UCloud数据仓库架构解析
六个藉藉无名但迅速崛起的Apache大数据项目 译文
大多数人已听说过Apache Spark，然而，另外几个最近被提升为顶级项目的Apache大数据项目同样值得关注。实际上，其中一些打造的生态系统在活动和开发上可与Spark的生态系统相媲美。本文介绍了你应该知道的几个Apache大数据项目。

2016-06-24 09:12:16

ApacheSpark大数据
美丽联合集团曾宪杰：数据模型不统一的技术融合都是骗人的 原创
今天我们不将目光投向资本运作，而是从技术的角度谈一谈二者的融合。无论是从行业的成功经验，还是人才竞争的客观环境都表明，只有把底层的基础设施放在一起做，整个平台技术体系才能有机会发展得更加健壮，也会有更多的机会开放给除了自己的核心业务外其他的合作伙伴，来支持平台核心业务的发展。

2016-06-22 09:58:31

数据模型技术融合美丽说
Apache Spark不是唯一，快来了解三种新兴的开源数据分析工具 译文
物联网带来了众多传感器及其他设备，它们在生成源源不断的数据流，而物联网只是推动市场需要新型分析工具的重大趋势之一。我们需要全面完善数据分析生态系统的新工具。值得注意的是，许多这些工具是为了处理流数据而定制的。本文将探讨三种新兴的数据分析工具。

2016-06-20 09:06:12

Apache Spar开源工具
三大趋势性技术加速大数据领域变革 原创
正如许多颠覆性技术一样，经历了被“神化”、“妖魔化”的过程后，大数据已经开始被人们理智的看待。它既不神秘莫测，也不虚无飘渺。然而从基因图谱到太空探索，人类不断产生着越来越大的数据集，对于数据处理、管理和理解的极限能力无时无刻不在遭遇挑战。

2016-06-17 14:22:19

大数据区块链量子计算机
Spark SQL 究竟是何方神圣? 译文
Spark SQL属于Spark用于处理结构化与半结构化数据的接口。结构化数据是指那些拥有一定模式的数据，包括JSON、Hive Tables以及Parquet。模式意味着每条记录都拥有一套已知字段组。半结构化数据则代表着模式与数据之间不存在明确的区分。

2016-06-17 12:31:10

Spark SQL数据处理Spark
Hadoop创始人Doug Cutting谈未来大数据的技术
在Doug Cutting十年前创建Hadoop架构的时候，他从未想过这会为企业界带来如此超大规模的计算。“毫无疑问，我当初预想的情况比我们现在所看到的要稍微保守一些。“他在近期伦敦的Strata+Hadoop World大会上说。

2016-06-16 17:13:59

Hadoop
Cloudera与微软开发Livy 简化Spark应用
Livy为应用程序与Spark相连接、交付作业以及程序化检索结果提供了一个简单的方式。从其核心上来说，Livy是一款提交、运行以及管理Spark任务和环境的REST服务器。其客户端API，允许同步或异步精细Spark作业交付及结果检索。客户能够像一种多租户服务一样对Spark进行使用，无需担心实施、配置或监测。Livy以多租户服务的形式，来为Spark提供会话隔离、安全及用户身份模拟

2016-06-16 09:56:17

Cloudera
Teradata 天睿公司将在大中华区推出全新 IntelliFlex 数据仓库架构
全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation，纽交所：TDC)日前宣布，将于 2016 年第三季度向大中华区市场推出其业内领先的下一代海量并行处理(MPP)架构：Teradata IntelliFlex™。

2016-06-15 16:27:26

Teradata天睿 数据仓库
下一代 Hadoop 技术演进路线展望 译文
Hadoop仍然在以极高速度推动创新，而下一代Hadoop目前正在构建当中。这条发展道路承载着一系列Hadoop核心创新以及相关技术。

2016-06-14 13:25:12

Hadoop大数据开源
为什么说建立统一数据平台是重要的 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自前优酷土豆的大数据开放平台研发负责人杨大海做了以 “建立统一数据平台的重要性”为主题的演讲。本文章是把本次分享干货亮点整理成文字形式，呈献广大的用户。

2016-06-13 17:22:27

火炬数据杨大海
实现R与Hadoop联合作业的三种方法
实现R与Hadoop的联合作业，R就拥有了在分布式文件系统(HDFS)上处理大数据的能力。本文的目的就是阐述实现二者联合作业的不同技术。但同时，这几种方法也各有利弊。

2016-06-12 09:32:43

R语言Hadoop数据处理
天天在做大数据，你的时间都花在哪了
大数据到底是在做什么，为什么我做了这么多年的大数据，总是做不完呢?

2016-06-06 10:20:59

大数据流式计算数据处理
云上运行 Hadoop 会面临哪些挑战
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实，在云上运行Hadoop对平台方还是面临一些挑战的，下面主要讲述这些挑战及平台方怎么解决的。

2016-06-02 14:15:22

Hadoop云计算分布式计算
呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0大数据处理 Spark
12个关键词，告诉你到底什么是机器学习
随着人工智能(AI)技术对各行各业有越来越深入的影响，我们也更多地在新闻或报告中听到“机器学习”、“深度学习”、“增强学习”、“神经网络”等词汇，对于非专业人士来说略为玄幻。这篇文章为读者梳理了包括这些在内的12个关键词，希望帮助读者更清晰地理解，这项人工智能技术的内涵和潜能。

2016-06-02 11:02:02

机器学习
这四件事带你走出深陷的数据分析迷宫 译文
相信每位朋友都遇到过这样的情况：将来自各类渠道的数据收集起来，通过A/B测试进行验证，希望借此得出分析结论。但在检查结果时，我们发现这些数字似乎并不怎么合理。在今天的文章中，我们将共同通过真实世界中的实例，在对种种错误的数据分析方式的总结中找出正确的技巧与诀窍。

2016-06-02 10:39:29

数据分析数据管理数据处理
大数据架构下对于业务监控的几点思考 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自极光推送首位大数据工程师许俊做了以 “大数据架构下对于业务监控的几点思考”为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-06-02 10:17:58

大数据架构业务监控
Hadoop真的适合你吗？
Hadoop是低成本高性能的计算框架，可以处理各种IT和业务场景中组织对扩展处理能力或者扩展数据管理能力的需求。下面总结一下应用需求的特点以及建议选择的基于Hadoop分布式应用的数据管理平台。

2016-06-01 15:42:58

Hadoop数据管理分布式
警惕SDK代码的应用：揭秘SDK采集5大隐私数据的方式
今天抛出一篇SDK技术分享，从代码层面出发，为众多开发者梳理下SDK采集数据的代码都有哪些，不同数据指标的代码有什么区别，这些数据指标涉及用户信息隐私的程度如何，帮助开发者规避SDK中存在的“地雷“。希望看完以下内容可以给互联网开发者一些实质性的帮助，同时也希望引起行业内对利用SDK采集用户隐私数据的反思。

2016-06-01 11:37:55

SDK数据采集数据隐私
到底哪些系统组件应该进行日志记录? 译文
当然，日志作为解决问题的重要参考，一般来说自然是越多越好。不过收集及存储日志数据都会带来成本，因此今天我们将探讨如何找到正确的日志记录平衡点。

2016-06-01 11:27:24

记录微服务DevOps
星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭 译文
Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

SparkSpark 2.0并行计算
【51CTO 网+】如何用数据驱动用户体验 原创
5月28日，近百位移动开发者再次相聚于【51CTO 网+】线下公开课现场，与火线数据创始人兼CEO、前小米数据工场负责人卢学裕、神策数据CTO曹犟、AdMaster资深架构师刘喆三位移动领域数据分析大牛一起，聚焦如何用数据驱动用户体验，大话数据之美。

2016-05-28 19:32:49

51CTO网＋数据挖掘
Strata +Hadoop World 北京首届会议已经开始注册
Strata +Hadoop World即将在8月3-6号在北京举行。

2016-05-27 15:31:32

Strata +Had
拥抱开源！解析IBM Power8与Hadoop的不解之缘 原创
IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。 IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道

2016-05-27 11:43:06

IBM
如何构建一支“万物皆可分析”的数据科学团队 原创
然而数据只存放起来是没有用的，企业只有将通过数据分析洞察出的结果运用到业务部门、生产系统或是营销部门、风险部门当中，数据才会产生价值。在这个过程中，企业需要思考的不只是技术，还包括公司内部的组织加构、工作流程、业务进展等。

2016-05-27 08:23:33

数据分析数据科学数据思维
为什么Redis内存不宜过大
redis这个内存数据库，它的高性能、稳定性都是不用怀疑的，但我们塞进redis的数据过多，内存过大，那如果出问题，那它可能会带给我们的就是灾难性。

2016-05-26 12:11:00

Redis内存开源
云计算将在大数据领域扮演什么角色？ 译文
自从大数据进入企业数据中心和业务部门，一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料，存储方面要考虑的因素随之变化。

2016-05-25 14:47:17

云计算大数据存储
一个适合小公司用的开源数据管道工具
airbnb是我很喜欢的公司，他们有很多开源的工具，airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。

2016-05-25 10:14:04

开源数据管道 ETL
共话数据驱动下的技术创新和商业变革
“认知分析、大数据即服务、开源大数据平台、机器学习……”这些陌生又熟悉的技术名词你了解多少？近日，为期一周的大数据主题嘉年华——IBM Insight Week 2016 在北京香格里拉饭店拉开序幕。来自国内典型传统企业、一线互联网公司及IBM的近三十位CIO、CDO、技术高管、数据专家如约而至，促膝共话大数据驱动下的技术创新和商业变革。

2016-05-24 14:42:32

大数据技术创新IBM
CTO训练营耿志峰：大数据驱动网络反欺诈 原创
由51CTO高招主办的“CTO训练营”活动圆满结束，来自百度商业安全部资深架构师耿志峰在活动现场做了主题为“大数据驱动网络反欺诈”的分享，本文章是针对演讲干货整理，呈献给大家。

2016-05-24 10:50:49

大数据网络反欺诈
上一页 1 ··· 148149150151152 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服