51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
走近Palantir：最神秘的大数据公司
Palantir的创始人为Peter Thiel, Alex Karp, Joe Lonsdale, Stephen Cohen和Nathan Gettings。作为一家成立于2003年(实际开始运作是在2004年)的大数据公司，Palantir即使在成立10年后的2014年其实也鲜为人知，其神秘程度可见一斑。

2016-02-22 11:34:17

大数据Palantir硅谷
Sqoop：SQL与NoSQL间的数据桥梁
很多企业中，业务数据都是存放在MySQL数据库中的，当数据量太大后，单机版本的MySQL很难满足业务分析的各种需求。此时，可能就需要将数据存入Hadoop集群环境中，那么本文的主角Sqoop便适时的出现了，用来架起SQL与NoSQL之间的数据桥梁。

2016-02-22 10:10:48

SqoopSQLNoSQL
数据挖掘新人的开荒宝典
随着互联网的发展，人们的行为方式被大幅改变，大数据时代已经来来临。近年来，数据挖掘引起了信息产业界的极大关注，大数据被广泛使用，并转换成我们需要的信息和知识。如果你刚刚涉足数据挖掘领域，就快快开启这本宝典开荒吧！

2016-02-22 09:41:16

数据挖掘算法大数据
他说数据科学家就是做算术的，还说这是件好事 原创
如果对当上数据科学家不敢奢望，如果我告诉你，有一些看上去站着说话不腰疼的人说，“数据科学家大多只做算术，这是件好事”，你信不信？

2016-02-19 16:11:54

数据科学家数据科学大数据
母婴电商网站是如何进行个性化推荐的
母婴行业可能是用户的需求变化最快的领域。用户在不到一年的时间内，可能就会经历从备孕者、孕妇到宝妈的变化。母婴相对一般的电子商务网站有哪些特点？在移动端成为主流的趋势下，母婴电商网站如何做好用户的个性化推荐呢？

2016-02-19 10:16:48

母婴个推电商
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spark 已经注定要取代 Hadoop MapReduce 了。但真的是这样吗?

2016-02-19 10:05:01

SparkMapReduce数据处理
Teradata天睿公司再度蝉联数据仓库和客户价值的领导者
Teradata再度被评选为数据仓库技术的全球领导者。该分析机构发布数据仓库市场格局年度报告，评估全球最重要的数据仓库厂商。

2016-02-18 15:47:31

Teradata
组成数据分析师完整知识结构的七大板块
大数据时代，数据分析对于企业决策和发展起到越来越重要的作用。作为一个较高层次的数据分析师，需要具备完整的知识结构。本次从七个版块进行归纳。

2016-02-18 10:36:07

数据分析数据分析师数据管理
谷歌发布TensorFlow Serving：机器学习模型应用于产品更方便
谷歌于2月17日发布了TensorFlow Serving，如谷歌所说，有了这样的系统并不仅仅意味着开发者能够将其构建的模型更快的应用到产品中，而且还能够实验不同的算法和模型，并且仍保持稳定的结构。

2016-02-18 10:32:39

谷歌TensorFlow 机器学习
2016年大数据到底还算不算个 “东西” （附2016 大数据版图）
在喜新厌旧的技术初创企业界，已有 3年 历史 “大数据” 听起来似乎已经过气了。抛开不可避免的炒作周期曲线态势不管，我们的 “大数据版图” 已经进入第 4 个年头了，趁这个时候退一步来反思一下去年发生了什么，思考一下这个行业的未来会怎样是很有意义的。

2016-02-17 10:32:09

大数据Hadoop大数据版图
利用 SMACK 堆栈构建可扩展数据处理平台
数据处理平台架构中的SMACK组合即Spark、Mesos、Akka、Cassandra以及Kafka。在今天的文章中，我们将着重探讨如何利用SMACK堆栈构建可扩展数据处理平台，以及SMACK堆栈的卓越能力体现在哪些方面。

2016-02-17 09:55:25

SMACK数据处理可扩展架构
机器学习与语义搜索，谷歌的终极目标何在？
过去几年中，谷歌致力于打破不同语言间的隔阂并且解决其机器算法所面临的问题。但是这一努力的终极目标是什么呢：谷歌是否想要完全地理解人类思维所传达的意图和微妙语义呢?或者说这只是其技术发展中的一次探索?

2016-02-17 09:44:45

谷歌机器学习语义搜索
聊天机器人的“高情商”炼成术
近年来，聊天机器人受到了学术界和工业界的广泛关注，基于聊天机器人系统的应用也层出不穷。相信在不久的将来，一个能够让人们与之无所不谈的高“情商”聊天机器人将走入我们的日常生活，成为我们的朋友、同事甚至是家人。

2016-02-16 14:46:33

聊天机器人机器学习自然语言
Hadoop之父Doug Cutting眼中大数据技术的未来
2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学，早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父？Hadoop的发展和未来期待又是如何的？

2016-02-16 14:30:00

HadoopDoug Cuttin大数据
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

HadoopSpark生态圈
事实上，Spark是一项非常值得学习的技术
如今，诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上，Spark是一项非常值得学习的技术。

2016-02-16 10:34:42

Spark大数据数据处理
助你玩转机器学习技术的十三套框架 译文
在今天的文章中，我们将共同了解十三款机器学习框架，这些框架中最值得关注的特性，在于它们正致力于通过简单而新颖的方式应对与机器学习相关的种种挑战。

2016-02-16 09:58:38

机器学习框架大数据
阻碍大数据项目实施的四大绊脚石
在实施大数据时，往往有许多绊脚石阻碍项目的进，比如复杂的软件、懂技术的员工不够多、投资回报率难以平衡等等 。我们究竟该如何解决在实施大数据过程中出现的如上障碍?本文提到的4大战略可以助你将走向大数据之路的绊脚石们一扫而光!

2016-02-15 10:30:24

大数据大数据实施实施战略
随机世界与大数法则中渗透出的概率的意义
在最终的分析中，所有知识皆为历史；在抽象的意义下，所有科学皆为数学；在理性的世界里，所有判断皆为统计。

2016-02-15 09:49:21

随机世界大数法则概率
提升R代码运算效率的11个实用方法
R 是一款优秀的开源统计应用语言，它直观、易用、低成本，而且还有庞大的社区支持。但是当我们利用R语言处理大型数据集时，for循环语句的运算效率总是非常低。本文将介绍几种方法，帮助你以轻松地处理1亿行以上的数据集。

2016-02-15 09:25:00

R语言运算效率大数据
【专题】可视化技术 展现大数据之美 原创
想要理解大数据，使之更贴近大多数人，最重要的手段的之一就是数据可视化。数据可视化标识导向系统，包括文字的，如街头的路标指引你到高速公路，还有象征的，如颜色、大小或位置的抽象元素传达的信息等。

2016-02-02 16:07:32

可视化大数据数据可视化
Cloudera：2016年Hadoop的三大预测
众所周知，2015年又是Apache Hadoop标志性的一年。就在我们认为2015年就这样过去了，真正的Hadoop时代却来临了，我们有很多事情需要继续做下去。我们看到Apache Spark已经成为主流 ，Kudu(孵化中)的全新储存能力也加入进来，安全也更加卓越。难以想像后面还会有什么，但这正是Hadoop的美妙之处：永不止步、无限可能。至于结果，我们总是惊奇地拭目以待。

2016-02-01 15:32:03

HadoopCloudera
数据挖掘领域十大经典算法
本文介绍了ICDM早前评选出的数据挖掘领域的十大经典算法。便拿出一种来都可以说，它在数据挖掘领域都产生了极为深远的影响。让我们通过本文了解一下。

2016-01-29 11:00:55

数据挖掘算法大数据
美团是如何通过优化搜索排序提升转化效果的
和传统网页搜索问题相比，美团的搜索排序有自身的特点——90%的交易发生在移动端。一方面，这对排序的个性化提出了更高的要求；另一方面，我们由此积累了用户在客户端上丰富准确的行为，经分析获得用户的地理位置、品类和价格等偏好，进而指导个性化排序。

2016-01-29 10:39:35

排序搜索美团
这些大酒店用大数据和分析技术对我们做了什么？ 译文
酒店和酒店服务业也许刚开始使用大数据，但是它有令人羡慕的数据数量和种类可供利用。从订房那一刻起到退房那一刻，客户留下的第一条数据痕迹，都被分析人员开始认真地转变成可付诸行动的洞察力。

2016-01-29 10:05:13

酒店服务业大数据大数据分析
Java程序员使用的20几个大数据工具
今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。

2016-01-28 14:39:04

大数据工具
果断收藏！六大主流大数据采集平台架构分析
大数据采集的挑战越来越突出。本文中我们将讨论几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

2016-01-28 10:26:59

大数据平台大数据采集架构分析
Spark Streaming 的玫瑰与刺
玫瑰篇主要是说Spark Streaming的优势点，刺篇就是描述Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。说人话：其实就是讲Spark Streaming 的好处与坑。

2016-01-28 10:11:30

Spark StreaSpark大数据平台
大数据的六大人工智能变现方式
人工智能领域的一些理论和比较实用的方法，已经开始用于大数据分析方面，并显现出初步令人振奋的结果。至此大数据的价值变现潜能开始逐步被人工智能释放。同时，大数据技术的发展也将在为人工智能提供用武之地的同时，唤醒人工智能巨大的潜力，从而使这两个领域的技术和应用出现加速发展的趋势。

2016-01-27 13:54:21

大数据人工智能变现
已经证实提高机器学习模型准确率的八大方法
我从实践中学习了到这些方法。相对于理论，我一向更热衷于实践。这种学习方式也一直在激励我。本文将分享 8 个经过证实的方法，使用这些方法可以建立稳健的机器学习模型。希望我的知识可以帮助大家获得更高的职业成就。

2016-01-27 13:37:53

机器学习数据模型算法
友盟缔元信CNZZ合并为一 “友盟+”新领导层采访实录 原创
阿里巴巴收购友盟、缔元信.网络数据、CNZZ三家且合并为一家名为“友盟+”，今后会立足于独立的第三方全域大数据服务提供商，努力为企业客户和创业者提供全域大数据服务

2016-01-27 11:06:49

阿里友盟+采访
企业常见的三种数据部门架构优与劣
在一个企业中，可能数据部门在一个公司中组织架构中的位置，决定了部门的定位和一些做的事情，所以笔者认为，数据部门所处的组织架构对数据价值实现是一个很重要因素。

2016-01-27 10:25:31

数据分析数据架构数据价值
Gartner预警：千万别把数据湖与数据仓库混为一谈 译文
数据湖常常被厂商说成是应对大数据挑战的一种手段，它其实有助于你搞清楚针对你的数据提出的新问题，但前提是你得有相应技能。换句话说，别头脑发热将数据湖用于数据仓库

2016-01-27 09:49:19

Gartner数据湖数据仓库
打造全球最大的第三方全域大数据服务提供商 “友盟+”今起合并成立
2016年1月26日，中国领头的移动开发者服务平台——友盟、全球领先的中文网站统计分析平台——cnzz及国内领先的互联网数据服务平台——缔元信.网络数据在北京宣布合并，并启动了新公司“友盟+”成立仪式暨全域数据战略合作发布会。

2016-01-26 19:53:47

大数据
大数据时代留给数据分析师的羁绊
在大数据时代，数据分析师所扮演的角色不可能是一成不变的。随着大数据分析工具等大数据应用技术的出现，未来的数据分析师又将遇到怎样的挑战和机遇呢?

2016-01-26 10:33:23

大数据分析工具数据分析师
掰一掰GitHub上优秀的大数据项目
企业正在迅速用新技术武装自己以便从大数据项目中获益。写作本文的目的也就是为大家介绍一些解决大数据相关问题可能会用到的工具。本文中我们列出的这些GitHub项目应用颇为流行，而且这些工具和软件已经被用于解决实际中的大数据问题，希望本文能够对大家的大数据分析之路有所启发。

2016-01-26 10:02:18

GitHub大数据开源
一个SparkSQL作业的一生可能只是一集琅琊榜
小红是数据分析，她某天写了个SQL来统计一个分院系的加权均值分数汇总。她提交了这个查询到某个SQL On Hadoop平台执行，然后她放下工作，切到视频网页看一会《琅琊榜》……

2016-01-25 13:22:45

SparkSparkSQL数据分析
2分钟读懂Hadoop和Spark的异同
谈到大数据框架，现在最火的就是Hadoop和Spark，倒底现在业界都在使用哪种技术？二者间究竟有哪些异同？它们各自解决了哪些问题？让我们通过本文来了解。

2016-01-25 10:48:15

大数据框架HadoopSpark
处理不确定数据的方法研究
不确定性是客观存在的大量现象和事物的特征，其表现形式也具有多样性，如随机性、模糊性、粗糙性以及多重不确定性等。随着研究范围的扩大、研究内容的深入，对不确定现象与事物的研究及其数据处理方法也亟待突破和落地应用。

2016-01-22 11:05:07

不确定性数据
Cloudera和Spark的年度回顾
Cloudera 作为Apache Hadoop的最快速、最便捷、最安全的数据管理和分析平台，以及最新开源技术的提供者，于一个月前宣布增加了对Spark SQL和MLiB与Cloudera Enterprise 5.5 和 CDH 5.5集成的支持。

2016-01-15 15:55:56

ClouderaSparkHadoop
2016年大数据发展现状及发展趋势预测 原创
针对大数据来说，2016年将是令人振奋的一年。智能算法将接替现在由人类来完成的许多业务。我们将看到数据湖服务作为一种服务解决方案出现，帮助企业以最少的工作更多的使用数据。越来越多的行业将开始试用数据区块链技术（blockchain technology）以改变他们的行业。

2016-01-08 09:37:12

大数据现状趋势预测
如何从零构建实时的个性化推荐系统?
现在网上到处都有推荐。亚马逊等主流电子商务网站根据它们的页面属性以各种形式向用户推荐产品。Mint.com之类的财务规划网站为用户提供很多 建议，比如向用户推荐他们可能想要办理的信用卡，可以提供更好利率的银行。谷歌根据用户搜索历史记录的信息优化搜索结果，找到相关性更高的结果。

2016-01-07 13:23:35

构建实时推荐系统
大数据分析技术生态圈一览
人人都说大数据，但很多人对这个领域并非真正地了解。为了帮助你，我们决定制作这份厂商图标和目录。它并不是全面列出了这个领域的每家厂商，而是深入探讨大数据分析技术领域。我们希望这份资料新颖、实用。

2016-01-07 13:19:21

大数据分析生态圈
什么是机器学习：一次权威定义之旅
本篇文章中，我们可以了解到一个看似很简单但却很复杂的问题，那就是机器学习是什么?

2016-01-07 12:40:02

机器学习权威定义
你知道数据模型需要多少训练数据吗?
说大数据就定离不开机器学习，在使用机器学习技术的时候工程师除了要选择合适的算法之外还需要选择合适的样本数据。那么工程师到底应该选择哪些样本数据、选择多少样本数据才最合适呢?

2016-01-07 11:25:12

数据模型训练数据
热点推荐：你确定你真的懂用户画像?
随着大数据技术的深入研究与应用，企业的专注点日益聚焦于怎样利用大数据来为精准营销服务，进而深入挖掘潜在的商业价值。于是，“用户画像”的概念也就应运而生,从宏观层面总结，就是得到用户画像的数据架构。

2016-01-07 11:18:50

用户画像
因职业角色而异的十大数据科学技能
本文中的结果对数据专业人员感兴趣的领域和他们的招聘者及组织都有影响。数据专业人员可以使用结果来了解不同类型工作需要具备的技能种类。如果你有较强的统计能力，你可能会寻找一个有较强研究成分的工作。了解你的技能并找那些对应的工作。

2016-01-07 11:12:39

职业角色大数据技能
针对2016年大数据发展形势的预测 译文
大数据是人人都关注的话题，人人都是大数据的产生者。你想知道在2016年里大数据技术发展态势是怎样的吗？本文章中提到预计机器学习、实时数据即服务、算法市场以及Spark等等都将成为发展热点。

2016-01-07 10:07:53

2016大数据形势
使用Docker在本地搭建hadoop，spark集群
目前网上在docker上部署spark的介绍比较简单和没有相关启动使用的操作,本文重点在于docker相关的操作.

2016-01-07 09:36:20

Docker容器
Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎
Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全。

2016-01-06 10:22:18

开源eBayHadoop
上一页 1 ··· 141142143144145 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服