51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8802内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8802 条
Hadoop创始人Doug Cutting谈未来大数据的技术
在Doug Cutting十年前创建Hadoop架构的时候，他从未想过这会为企业界带来如此超大规模的计算。“毫无疑问，我当初预想的情况比我们现在所看到的要稍微保守一些。“他在近期伦敦的Strata+Hadoop World大会上说。

2016-06-16 17:13:59

Hadoop
Cloudera与微软开发Livy 简化Spark应用
Livy为应用程序与Spark相连接、交付作业以及程序化检索结果提供了一个简单的方式。从其核心上来说，Livy是一款提交、运行以及管理Spark任务和环境的REST服务器。其客户端API，允许同步或异步精细Spark作业交付及结果检索。客户能够像一种多租户服务一样对Spark进行使用，无需担心实施、配置或监测。Livy以多租户服务的形式，来为Spark提供会话隔离、安全及用户身份模拟

2016-06-16 09:56:17

Cloudera
Teradata 天睿公司将在大中华区推出全新 IntelliFlex 数据仓库架构
全球领先的大数据分析服务供应商Teradata天睿公司(Teradata Corporation，纽交所：TDC)日前宣布，将于 2016 年第三季度向大中华区市场推出其业内领先的下一代海量并行处理(MPP)架构：Teradata IntelliFlex™。

2016-06-15 16:27:26

Teradata天睿 数据仓库
下一代 Hadoop 技术演进路线展望 译文
Hadoop仍然在以极高速度推动创新，而下一代Hadoop目前正在构建当中。这条发展道路承载着一系列Hadoop核心创新以及相关技术。

2016-06-14 13:25:12

Hadoop大数据开源
为什么说建立统一数据平台是重要的 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自前优酷土豆的大数据开放平台研发负责人杨大海做了以 “建立统一数据平台的重要性”为主题的演讲。本文章是把本次分享干货亮点整理成文字形式，呈献广大的用户。

2016-06-13 17:22:27

火炬数据杨大海
实现R与Hadoop联合作业的三种方法
实现R与Hadoop的联合作业，R就拥有了在分布式文件系统(HDFS)上处理大数据的能力。本文的目的就是阐述实现二者联合作业的不同技术。但同时，这几种方法也各有利弊。

2016-06-12 09:32:43

R语言Hadoop数据处理
天天在做大数据，你的时间都花在哪了
大数据到底是在做什么，为什么我做了这么多年的大数据，总是做不完呢?

2016-06-06 10:20:59

大数据流式计算数据处理
云上运行 Hadoop 会面临哪些挑战
在云上运行Hadoop，很多人担心性能。因为一提到虚拟化就会有人想到有成本，往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差。确实，在云上运行Hadoop对平台方还是面临一些挑战的，下面主要讲述这些挑战及平台方怎么解决的。

2016-06-02 14:15:22

Hadoop云计算分布式计算
呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？
Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是hadoop 3.0。

2016-06-02 14:05:22

Hadoop 3.0大数据处理 Spark
12个关键词，告诉你到底什么是机器学习
随着人工智能(AI)技术对各行各业有越来越深入的影响，我们也更多地在新闻或报告中听到“机器学习”、“深度学习”、“增强学习”、“神经网络”等词汇，对于非专业人士来说略为玄幻。这篇文章为读者梳理了包括这些在内的12个关键词，希望帮助读者更清晰地理解，这项人工智能技术的内涵和潜能。

2016-06-02 11:02:02

机器学习
这四件事带你走出深陷的数据分析迷宫 译文
相信每位朋友都遇到过这样的情况：将来自各类渠道的数据收集起来，通过A/B测试进行验证，希望借此得出分析结论。但在检查结果时，我们发现这些数字似乎并不怎么合理。在今天的文章中，我们将共同通过真实世界中的实例，在对种种错误的数据分析方式的总结中找出正确的技巧与诀窍。

2016-06-02 10:39:29

数据分析数据管理数据处理
大数据架构下对于业务监控的几点思考 原创
由51CTO举办的WOT2016互联网运维与开发者峰会上，来自极光推送首位大数据工程师许俊做了以 “大数据架构下对于业务监控的几点思考”为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-06-02 10:17:58

大数据架构业务监控
Hadoop真的适合你吗？
Hadoop是低成本高性能的计算框架，可以处理各种IT和业务场景中组织对扩展处理能力或者扩展数据管理能力的需求。下面总结一下应用需求的特点以及建议选择的基于Hadoop分布式应用的数据管理平台。

2016-06-01 15:42:58

Hadoop数据管理分布式
警惕SDK代码的应用：揭秘SDK采集5大隐私数据的方式
今天抛出一篇SDK技术分享，从代码层面出发，为众多开发者梳理下SDK采集数据的代码都有哪些，不同数据指标的代码有什么区别，这些数据指标涉及用户信息隐私的程度如何，帮助开发者规避SDK中存在的“地雷“。希望看完以下内容可以给互联网开发者一些实质性的帮助，同时也希望引起行业内对利用SDK采集用户隐私数据的反思。

2016-06-01 11:37:55

SDK数据采集数据隐私
到底哪些系统组件应该进行日志记录? 译文
当然，日志作为解决问题的重要参考，一般来说自然是越多越好。不过收集及存储日志数据都会带来成本，因此今天我们将探讨如何找到正确的日志记录平衡点。

2016-06-01 11:27:24

记录微服务DevOps
星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭 译文
Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

SparkSpark 2.0并行计算
【51CTO 网+】如何用数据驱动用户体验 原创
5月28日，近百位移动开发者再次相聚于【51CTO 网+】线下公开课现场，与火线数据创始人兼CEO、前小米数据工场负责人卢学裕、神策数据CTO曹犟、AdMaster资深架构师刘喆三位移动领域数据分析大牛一起，聚焦如何用数据驱动用户体验，大话数据之美。

2016-05-28 19:32:49

51CTO网＋数据挖掘
Strata +Hadoop World 北京首届会议已经开始注册
Strata +Hadoop World即将在8月3-6号在北京举行。

2016-05-27 15:31:32

Strata +Had
拥抱开源！解析IBM Power8与Hadoop的不解之缘 原创
IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。 IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道

2016-05-27 11:43:06

IBM
如何构建一支“万物皆可分析”的数据科学团队 原创
然而数据只存放起来是没有用的，企业只有将通过数据分析洞察出的结果运用到业务部门、生产系统或是营销部门、风险部门当中，数据才会产生价值。在这个过程中，企业需要思考的不只是技术，还包括公司内部的组织加构、工作流程、业务进展等。

2016-05-27 08:23:33

数据分析数据科学数据思维
为什么Redis内存不宜过大
redis这个内存数据库，它的高性能、稳定性都是不用怀疑的，但我们塞进redis的数据过多，内存过大，那如果出问题，那它可能会带给我们的就是灾难性。

2016-05-26 12:11:00

Redis内存开源
云计算将在大数据领域扮演什么角色？ 译文
自从大数据进入企业数据中心和业务部门，一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料，存储方面要考虑的因素随之变化。

2016-05-25 14:47:17

云计算大数据存储
一个适合小公司用的开源数据管道工具
airbnb是我很喜欢的公司，他们有很多开源的工具，airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。

2016-05-25 10:14:04

开源数据管道 ETL
共话数据驱动下的技术创新和商业变革
“认知分析、大数据即服务、开源大数据平台、机器学习……”这些陌生又熟悉的技术名词你了解多少？近日，为期一周的大数据主题嘉年华——IBM Insight Week 2016 在北京香格里拉饭店拉开序幕。来自国内典型传统企业、一线互联网公司及IBM的近三十位CIO、CDO、技术高管、数据专家如约而至，促膝共话大数据驱动下的技术创新和商业变革。

2016-05-24 14:42:32

大数据技术创新IBM
CTO训练营耿志峰：大数据驱动网络反欺诈 原创
由51CTO高招主办的“CTO训练营”活动圆满结束，来自百度商业安全部资深架构师耿志峰在活动现场做了主题为“大数据驱动网络反欺诈”的分享，本文章是针对演讲干货整理，呈献给大家。

2016-05-24 10:50:49

大数据网络反欺诈
解密 Uber 数据团队的基础数据架构优化之路
Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是，就像 Uber数据部门的主管 Aaron Schildkrout所说：商业计划的简单明了带给Uber利用数据优化服务的巨大机会。

2016-05-23 13:50:23

UberHadoopSpark
为什么在大数据处理中Cassandra与Spark如此受欢迎？ 译文
说起Cassandra的用途时，我们可以将其理解为一套理想的客户系统实现方案——其能够保证各类应用始终可用，包括产品目录、物联网、医疗系统以及移动应用。Cassandra于2010年成为Apache软件基金会的顶级项目，而且至今仍拥有极高人气。Cassandra专业知识能够帮助我们在人才市场上获得赏识。我们不禁要问——为什么这一开源项目能够大受欢迎？

2016-05-19 10:31:35

数据处理CassandraSpark
三要点|解构小白入手数据分析的思维模式
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实际应用中，数据分析可帮助人们作出判断，以便采取适当行动。当然，在我看来数据本身并没有任何价值，正是由于分析方法的存在使得原本毫无价值的数据大放异彩。

2016-05-18 11:57:02

数据分析数据思维大数据
你不知道的六大Apache大数据项目新星
几个最近被Apache擢升为顶级的大数据项目也值得您额外关注。事实上，他们中的一些所构建和发展的生态系统，很可能将对Spark 发起挑战。结合本周举行的“ApacheCon北美峰会”(ApacheCon North America conference)和“Apache大数据峰会”(Apache: Big Data events)，本文将归纳那些你应该知道的Apache的大数据项目。

2016-05-18 11:47:35

Apache大数据项目开源
至2019年全球Hadoop市场年复合增长率将达53% 译文
adoop系统从多种来源收集信息，如消费者，社交媒体和金融数据，并将收集来的数据储存在一个分布式数据仓库，来管理映射-归约(Map-Reduce)进程。在映射-归约进程中，首先，输入的数据被映射到集群结点中，映射的来源包括XML文件，传统系统，以及包括SCM、ERP、CRM、基于SaaS的应用和行业型文档等在内的企业应用。像网页内容和邮件内容这样的数字化内容也可进行映射-归约程序。在第二阶段，无数个更小的信息节点产生并在服务器中分布。这些节点进行平行计算来产生适用于所有查询的可应用输出，收集的结果用于决策过程。接下来，经过分析的信

2016-05-17 15:08:42

Hadoop
数据分析应该要避免的6个错误
曾经有个运营总监告诉说，有个分析师给我做了个分析，运营目标要完成，最重要提提升流量，因为转化率提升太难，需要涉及到东西太多了。流量提长就是要引入流量，然后做了各个渠道的分析，各个流量测算。

2016-05-17 10:37:46

数据分析数据存储大数据
反欺诈架构中的数据架构及其技术挑战 译文
反欺诈系统架构方面的一半工作可能花在了稳健而灵活的数据基础设施上。要是没有数据，规则和模型就玩不转。许多时候，你需要从不同的角度和不同的距离来看待同一批数据，还需要能够不断以低成本获取新数据;你迟早会发现自己拥有海量数据，因此拥有一套可扩展、稳健的基础设施来管理这些数据是核心。

2016-05-17 10:26:51

反欺诈系统架构数据架构
java在处理大数据的时候一些小技巧
类似的数据处理还有很多，有些时候还会将就效率问题，比如在 HBase 的文件拆分和合并过程中，要不影响线上业务是比较难的事情，很多问题值得我们去研究场景，因为不同的场景有不同的方法去解决，但是大同小异，明白思想和方法，明白内存和体系 架构 ，明白你所面临的是沈阳的场景，只是细节上改变可以带来惊人的效果。

2016-05-13 17:24:00

java大数据
成功实施大数据项目的五项基本要求 译文
成功的大数据项目拥有五大核心要求，拥有十余年从业经历的数据科学家Amy Gaskins强调称。

2016-05-13 11:59:47

大数据数据科学Apache
大数据应用的下一阶段发展方向在哪里? 译文
时至今日，我们的数据管理能力日益提升，但数据分析能力则相对落后。尽管工具与流程皆已齐备，但仍然缺少充足的数据科学家人员。在今天的文章中，我们将专注于能够交付实际分析结论的大数据应用，同时追踪其发展及当前状态，最终借此窥探大数据技术的未来发展方向。

2016-05-13 10:20:43

大数据应用数据管理数据分析
解密 Airbnb 的数据科学部门如何构建知识仓库
随着组织的扩张，跨团队跨时期的知识传输成本不断增长，一个低效、乌合的研究环境使得这种情况雪上加霜，放慢了分析和决策的速度。因此，一个更加一气呵成的解决方案可以加快决策落地的速度并且保持公司在知识洪流中立于不败之地。

2016-05-11 10:51:53

Airbnb数据科学知识仓库
蹩脚数据科学家的10种现象
对数据科学的热情以及掌握一定的技能，这是成功的关键。如果你只是假装有兴趣，或者并不具备重要的技能，总有一天，你会原形毕露。

2016-05-11 10:36:16

数据科学家数据科学大数据
Spark Streaming 数据清理机制
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还a是说必须自己做清理？如果系统帮忙清理的话，机制是啥？

2016-05-11 10:29:54

Spark Strea数据清理Spark
AWS云数据仓库Redshift，让您的数据飞起来
随着信息技术的迅速发展，各行各业积累的数据都呈现出爆炸增长的趋势，我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长，如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑，成为困扰企业的一个问题。作为全球领先的公有云提供商，AWS提供了一整套数据分析及挖掘的解决方案，涵盖了数据收集、传输、存储、分析、报表等，其中数据仓库服务是尤为重要的一个环节。AWS 2013年在美国区域发布了云数据仓库Redshift服务，让用户无需任何硬件、低成本、快速的分析企业数据中心或者云中的数据。

2016-05-11 09:18:21

AWS云数据仓库Redshift
灾难｜有多少创业公司正依据虚荣数据分析
在进行数据分析之前，CEO应该先确定你拿到的数据是不是一些好的数据指标，还是虚荣数据指标，应该先确定是好的数据指标，再来谈数据分析，因为依据虚荣数据指标进行的分析对你的公司来讲无异于灾难，它会让你沾沾自喜而察觉不到真正的危险。

2016-05-10 13:55:36

创业公司数据分析数据指标
浅谈数据分析和数据建模
大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。

2016-05-10 10:43:02

数据分析建模
关于啤酒和尿布故事的真相
第一次听到这个故事时，其实心中有惑 。以笔者对美国社会的有限理解，美国很多州的法律是不允许超市卖酒类商品，仅在最近几年才开始陆续有些州通过法律，允许超市申请酒的销售执照。但当时被大数据的热潮所吸引，也就无暇深究。最近参加了一些和大数据相关的活动，这个故事又不绝于耳。终于决定探探这个故事的源头。

2016-05-09 10:40:03

啤酒和尿片数据挖掘商品推荐
谈谈样本量选择背后的科学道理
样本量选多少合适，对于调研本身而言或许不是个问题。但是当我们想推动调研结果的时候，样本量却很容易遭到对方质疑。可能是几百个人的答案看起来容易让人觉得不靠谱，也可能因为样本量是最容易质疑的一个因素……

2016-05-09 10:38:36

样本量选择
什么是 Docker？
这就是 docker 的实质： 穿着马甲的标准化 。docker 的发明人根据自己运维 PaaS 平台的经验，重新思考了自己的工作， 将PaaS 平台的 devops 工作从各个角度标准化了一下，将系统底层实现的 cgroup、namespace、aufs｜device mapper 等技术集成在一个使用镜像方式发布的工具中，于是形成了 docker 。

2016-05-09 10:31:29

DockerLinux
从MySQL到Hive，数据迁移就这么简单 译文
从存储基础设施的一个位置移动数据到另一个位置是个艰难的过程。至少，过去是这样。而现在，在合适的工具和基础设施条件下，传统的数据迁移过程中涉及到的许多困难点都可以消除。使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。

2016-05-09 10:27:36

MySQLHive数据迁移
利用 MapReduce分析明星微博数据实战
互联网的飞速发展本身也造就了一批互联网明星，这些人借助新的手段，最大程度发挥了粉丝经济的能量和作用，在互联网时代赚得盆满钵满。正是基于这样一个大背景，今天我们做一个分析明星微博数据的小项目

2016-05-09 10:16:14

MapReduce数据分析明星微博
百度高级安全工程师吴登辉：Web防火墙大数据分析实践 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，百度高级安全工程师吴登辉做了以《Web防火墙大数据分析实践》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 17:05:03

Web防火墙大数据分析
奇云诺德CEO罗奇斌：解读测序密码与基因大数据 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，奇云诺德CEO罗奇斌做了以《解读测序密码——基因大数据解读》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 11:08:15

奇云诺德基因大数据
为什么云计算如此重要：是从移动第一演进到AI第一的第一步
谷歌的首席执行官Sundar Pichai，在公司4月公布的最新财报之后，表示对AI寄予厚望。机器学习，即电脑自学，谷歌已经投资人工智能技术好几年了。Pichai表示，现在AI已经开始对公司和其云客户发挥巨大的作用。

2016-05-05 10:15:19

云计算移动AI
多源数据融合：大数据分析的瓶颈
数据处理新工具使数据科学家从数据准备的繁琐工作中解放出来，但如何根据每个数据分析项目量体定制，融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈。

2016-05-04 16:20:55

多源数据大数据
上一页 1 ··· 138139140141142 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服