51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9331内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9331 条
Hadoop+数据仓库到底是梦幻组合还是命中的宿敌？
现在。自从Hadoop出现在舞台上之后，一直有人嘀咕说，这个闪亮的新星正在为一些最好的数据管理角色提供服务–这些角色就是，在几年前，数据仓库已稳操胜券。

2017-06-30 09:29:00

Hadoop数据仓库
大数据将如何改变垂直电商?
垂直电商的玩法到底走到哪一步了?它们如何从各大电商平台中突围、又会和这些平台产生什么样的联结?记者采访了2016年风靡全美的零食类垂直电商Snackoo CEO Baylor Wei，与她聊了聊垂直电商过去的一些误区及未来的新玩法。

2017-06-29 13:54:05

大数据大数据应用垂直电商
PAI分布式机器学习平台编程模型演进之路
机器学习即服务，把机器学习作为服务对外推出，大家可以在平台上使用比较先进的机器学习算法。将多种深度学习框架集成到PAI中，同时基于深度学习框架包装成更加易用的组件。具备异构的计算服务能力，把CPU计算能力和GPU计算能力统一调度起来，异构的计算能力透明，大家的注意力是哪些机器学习算法可以帮助业务，不用关心底层资源的申请和分配。PAI也支持在线预测服务，模型一键发布。

2017-06-29 13:29:34

大数据PAI机器学习
自然语言处理技术（NLP）在推荐系统中的应用
个性化推荐是大数据时代不可或缺的技术，在电商、信息分发、计算广告、互联网金融等领域都起着重要的作用。具体来讲，个性化推荐在流量高效利用、信息高效分发、提升用户体验、长尾物品挖掘等方面均起着核心作用。在推荐系统中经常需要处理各种文本类数据，例如商品描述、新闻资讯、用户留言等等。

2017-06-29 13:02:54

大数据自然语言NLP
从算法原理，看推荐策略
协同过滤推荐算法应该算是一种用的最多的推荐算法，它是通过用户的历史数据来构建“用户相似矩阵”和“产品相似矩阵”来对用户进行相关item的推荐，以达到精准满足用户喜好的目的。比如亚马逊等电商网站上的“买过XXX的人也买了XXX”就是一种协同过滤算法的应用。

2017-06-29 09:15:36

推荐算法策略
关于数据分析思路的4点心得
本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心得，欢迎各位一起来讨论。

2017-06-28 15:24:10

大数据数据分析心得
人人都应该掌握的9种数据分析思维
说到数据分析，啤酒和尿布的例子大家应该都听腻了。再具体、深入一些的内容，往往因为数学就令很多人望而却步了。给大家分享9个不带数学推导的数据分析思路，希望大家能喜欢~

2017-06-28 14:54:17

大数据数据分析
智能+大数据 在云+互联时代下创造的精准营销
全球智能移动营销平台AdTiming继2016年4月，在GMIC 2017上与全球近500家展商和3,000多位行业领袖共同探讨数据与新技术驱动下的数字营销生态及未来趋势之后，又一次宣布同业内媒体分享了AdTiming智能数据营销平台两年来在市场上做出的成绩，而这些都得益于其切实的把握云+互联时代商机，利用自主知识产权大数据智能平台帮助了200多个国家的用户创造了营销价值。

2017-06-28 13:12:22

AdTiming
基于Spark的大规模机器学习在微博的应用
一直以来，微博都尝试通过机器学习来解决业务场景中遇到的各种挑战。本文为新浪微博吴磊在CCTC 2017云计算大会Spark峰会所做分享《基于Spark的大规模机器学习在微博的应用》主题的一部分，介绍微博在面对大规模机器学习的挑战时，采取的最佳实践和解决方案。

2017-06-27 15:35:02

机器学习Spark微博应用
Spark Streaming vs. Kafka Stream 哪个更适合你
本文介绍了两大常用的流式处理框架，Spark Streaming和Kafka Stream，并对他们各自的特点做了详细说明，以帮助读者在不同的场景下对框架进行选择。

2017-06-27 15:08:05

大数据Apache SparKafka Strea
Java、PHP、Python、JS 等开发者都如何绘制统计图
目前很多程序员绘图基本上都是采用后端生成数据传递给前端，然后前端将数据渲染到绘图库上面进行显示，从而得到我们最后看到的各种图，但是有时候，我们发现需要传递的数据很多很多，那么这个时候如果将数据传递给前端进行分析并展示的话是非常慢的，所以有必要在后端进行各种统计图的生成，下面我们就来聊聊各种程序员都是怎么进行图制作的?

2017-06-27 14:32:06

大数据绘制统计图数据可视化
思特奇携创新业务和技术重装亮相2017MWC上海展
作为万物互联、智慧运营时代，领先云和大数据的技术／产品／服务／运营的可信赖专家，思特奇将全面展示公司在云计算、大数据、万物互联以及智慧城市等领域的全系列创新和领先的产品和技术。

2017-06-27 14:20:47

引领万物互联
数据分析方法论：你真的懂 Session（会话） 分析吗？
在数据分析领域，Session是一种专业的数据分析。对于有数据驱动意识的互联网人来说，这并不陌生——Session 即会话，是指在指定的时间段内在网站上发生的一系列互动。例如，一次会话可以包含多个网页或屏幕浏览、事件、社交互动和电子商务交易。

2017-06-27 13:50:37

数据分析Session
数据仓库的多维数据模型
可能很多人理解的数据仓库就是基于多维数据模型构建，用于OLAP的数据平台，通过上一篇文章——数据仓库的基本架构，我们已经看到数据仓库的应用可能远不止这些。

2017-06-27 10:08:29

数据仓库模型
从大数据看最受欢迎的医院（广州篇）
最近经常跑医院，医院各种制度，各种流程，交通、住宿都很不方便。所以想做个统计，看看哪个医院比较好。

2017-06-26 15:47:27

大数据数据分析医院
实用 | 从Apache Kafka到Apache Spark安全读取数据
随着在CDH平台上物联网(IoT)使用案例的不断增加，针对这些工作负载的安全性显得至关重要。本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据，以及针对物联网(IoT)使用案例的两个关键组件进行了说明。

2017-06-26 15:00:17

大数据Apache KafkApache Spar
大数据分析将成为应对勒索病毒的第一道防线
ElkCloner是第一个已知被广泛传播的计算机病毒。它由Richard Skrenta在35年前创建。这种病毒或多或少是一个恶作剧，虽然这对于在软盘上意外感染了这个病毒的人来说肯定是一种痛苦。

2017-06-26 08:08:25

大数据勒索病毒
一步一步学习大数据：Hadoop生态系统与场景
2008年1月, Hadoop成为Apache的开源项目。Hadoop的出现解决了互联网时代的海量数据存储和处理，其是一种支持分布式计算和存储的框架体系。假如把Hadoop集群抽象成一台机器的话，理论上我们的硬件资源(CPU、Memoery等)是可以无限扩展的。

2017-06-23 21:07:15

大数据HadoopHBase
简单有趣的NLP教程：手把手教你用 PyTorch 辨别自然语言（附代码）
本文手把手教你用 PyTorch 辨别自然语言（附代码）。

2017-06-23 19:08:23

大数据PyTorch自然语言
kafka数据可靠性深度解读
本文首先从Kafka的架构着手，先了解下Kafka的基本原理，然后通过对kakfa的存储机制、复制原理、同步原理、可靠性和持久性保证等等一步步对其可靠性进行分析，最后通过benchmark来增强对Kafka高可靠性的认知。

2017-06-23 18:25:51

kafka数据可靠性
【干货】Pycon 2017： Python可视化库大全
本文主要摘录自 pycon 2017大会的一个演讲，同时结合自己的一些理解。

2017-06-23 17:55:49

PythonPycon可视化库
首次参加MWC，亚信软件有新招儿? 原创
通常来说，企业选择参加哪些对外活动很大程度上取决于当下的业务策略以及战略导向。此次上海展会，亚信软件CEO高念书表示，亚信以前被称为“使能者”，通俗来说就是为运营商做软件定制开发，但如今并不能简单作为使能者，而是要成为一个有产品的软件服务公司。

2017-06-23 14:33:46

亚信软件MWC物联网
诸葛io合并DeepShare技术 强化用户识别能力
数据智能决策平台诸葛io日前在其发布会中透露，已完成对DeepShare公司的技术合并，并将其整合到“获取分析解决方案”中，交付无断点的完整获客分析场景。

2017-06-23 10:21:21

诸葛io
2017年中国商业智能行业研究报告
区别于能够实现海量数据的管理、简单分析与可视化的传统商业智能，艾瑞的此份商业智能报告将聚焦于人工智能技术如何用于商业智能决策，实现商业经营的智能化与自动化。

2017-06-23 09:35:38

数据AI机器学习
大数据平台架构技术选型与场景运用

2017-06-22 11:03:58

大数据大数据平台架构技术
Hadoop中ssh+IP、ssh+别名免秘钥登录配置
Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode是通过SSH(Secure Shell)来启动和停止各个DataNode上的各种守护进程的。

2017-06-22 08:58:51

Hadoopssh+IPssh+
分布式数据库和Hadoop都不够好，于是我们设计分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL(如全局性的排序、分组、join、子查询，特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。

2017-06-22 08:25:27

数据库HadoopSQL
Docker和hadoop的碰撞将决定谁才是救世主
综合来说，Docker和hadoop体系在云下物理机的场景非常有限，未来在云上替代VM解决弹性伸缩问题应该有发展。

2017-06-21 21:29:07

Dockerhadoop云
学习Spark——那些让你精疲力尽的坑
这篇就介绍下自己遇到的各种坑。我不知道各位是否遇到过并能轻松解决，反正我是被这些小问题搞得精疲力尽，故在此总结以备忘。

2017-06-21 08:39:20

SparkScalaHDFS
大数据算法的困境
机器学习和深度神经网络，克服了算法设计中人的局限;只要有数据，只要数据中有统计规律，算法就能找到这些规律。人工智能技术近几年的火热，主要得益于机器学习、深度神经网络方面的技术突破，以及大数据技术的成熟。

2017-06-21 08:14:19

大数据算法困境
自然语言处理第一番之文本分类器
文本分类应该是自然语言处理中最普遍的一个应用，例如文章自动分类、邮件自动分类、垃圾邮件识别、用户情感分类等等，在生活中有很多例子，这篇文章主要从传统和深度学习两块来解释下我们如何做一个文本分类器。

2017-06-20 11:00:13

大数据自然语言文本分类器
从无到有、从小到大，今日头条大数据平台实践经历的那些坑 原创
随着公司规模的发展，数据量呈递增式爆棚，他也见证了基础数据平台从无到有、从小到大的历程。头条在这一发展过程中对于数据使用及难度都经历了数量级的变化。本文将与大家分享数据平台经历的各种坑及一些重要的技术决策。

2017-06-20 09:14:32

大数据平台实践
uvloop —— 超级快的 Python 异步网络框架
asyncio是遵循Python标准库的一个异步 I/O框架.在这篇文章里，我将介绍 uvloop: 可以完整替代asyncio事件循环.uvloop是用Cython写的，基于 libuv.uvloop 使得 asyncio 更快. 实际上，比nodejs，gevent，以及其他任何Python异步框架至少快两倍 .uvloop asyncio 基于性能的测试接近于Go程序.

2017-06-20 09:07:22

uvloopPython网络框架
Galera Cluster：一种新型的高一致性MySQL集群架构
Galera Cluster是一个完全可依赖的，MySQL数据一致性的绝杀利器，使用中完全不需要担心数据延迟，数据不一致的问题，DBA从此就从繁复的数据修复、解决复制延迟、维护时担心影响业务的问题中彻底解脱了。可以说Galera Cluster是DBA及业务系统的福音，也是MySQL发展的大趋势，我希望它会越来越好，也希望也有越来越多的人使用它，共同维护这个美好的大环境。

2017-06-20 08:19:56

MySQL集群架构
Uber如何用循环神经网络（RNN）预测极端事件？
在本文中，我们介绍一种将历史数据和外部因素相结合的Uber预测模型，以便更精确地预测极端事件，突出其新架构，以及如何与先前的模型进行比较。

2017-06-19 15:12:30

Uber神经网络事件预测
为什么选择这样的大数据平台架构？
大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个“能用”原则，清晰且容易理解，能指导建设，这里将大数据平台划分为“五横一纵”。

2017-06-19 13:10:59

大数据大数据平台架构
开源IndexR:如何对上千亿的数据进行秒级探索式分析
大数据(Big Data)，可以简单的理解为无法在一定时间范围内用常规手段进行处理的海量数据集合。所有企业的业务分析都是基于数据的，每家企业对数据的收集、整合及处理能力在一定程度上决定了企业的业务发展水平。因此，提升数据分析性能也是当前许多企业共同面临的重大挑战。

2017-06-19 09:00:12

大数据开源IndexR
让大数据分析更有效的5种技术措施
企业已经意识到数据分析可以带来的价值，并且已经开始采用。企业现在的设备几乎都在监测和测量，并创造了大量的数据，通常比企业处理的更快。其问题是，而正因为大数据定义为“大数据”，所以数据收集的小差异或错误可能会导致出现重大问题，错误信息和不准确的推论。

2017-06-19 08:59:06

大数据分析技术
在大数据里：Hadoop可能是你的救命稻草
对于Hadoop来说，前景很乐观——开源框架旨在促进巨大数据集的分布式处理。Hadoop对企业越来越具有吸引力，因为它既可以获取大数据的好处，同时又避免了基础架构费用。

2017-06-19 08:47:49

Hadoop大数据HDFS
遇见大数据可视化：来做一个数据可视化报表
上篇文章简单的介绍了数据可视化的基础，将数据进行设计可视化后，可以让我们有一种全新的方式去认识数据，改变对数据的呈现和思考方式。那现在就让我们开始做一份数据的可视化图表，一步步的来看下我们如何获取数据，以及如何进行可视化的展示。

2017-06-19 08:30:35

大数据数据可视化报表
Hive支持的文件格式与压缩算法
只要是配置了正确的文件类型和压缩类型(比如Textfile+Gzip、SequenceFile+Snappy等)，Hive都可以按预期读取并解析数据，提供SQL功能。

2017-06-16 09:58:34

Hive格式压缩算法
数据结构与算法之排序—看不懂你来打我吧
下面主要写了数据结构课本上介绍的「十种排序算法」，趁着快考试了复习一波排序，有图有真相，看不懂打死我吧。

2017-06-16 09:22:22

数据结构算法链表
比较Apache Hadoop 生态系统中不同的文件格式和存储引擎的性能
这篇文章提出了在Apache Hadoop 生态系统中对比一些当前流行的数据格式和可用的存储引擎的性能：Apache Avro, Apache Parquet, Apache HBase 和 Apache Kudu 空间效率， 提取性能， 分析扫描以及随机数据查找等领域。这有助于理解它们中的每一个如何(何时)改善你的大数据工作负载的处理能力。

2017-06-15 10:21:30

Apache Hado存储引擎性能
机器数据的指南-splunk系列（1）
机器数据是有价值的，因为它包含客户、用户、交易、应用程序、服务器、网络和移动设备的所有活动和行为的确定性记录。它包括配置，来自API的数据、消息队列、事件，诊断命令的输出，来电详细记录和工业系统等的传感器数据。

2017-06-14 21:01:05

大数据机器数据splunk系列
搞懂5种数据可视化方法，胜任90%热门信息图设计
借助于图形化的手段，清晰、快捷有效的传达与沟通信息。从用户的角度，数据可视化可以让用户快速抓住要点信息，让关键的数据点从人类的眼睛快速通往心灵深处。

2017-06-14 18:33:17

大数据可视化方法
深入浅出 spring-data-elasticsearch 系列 - 概述及入门
Spring Data 基于 Spring 为数据访问提供一种相似且一致性的编程模型，并保存底层数据存储的。

2017-06-14 10:53:58

spring-data快速入门
R语言之Apriori算法应用
关联分析用于发现隐藏在大型数据集中的有意义的联系。所发现的联系可以用关联规则(association rule)或频繁项集的形式表示。

2017-06-14 09:37:05

R语言Apriori算法
经济学人重磅：数据经济虽好，可是仍需补钙
虽然数据经济的征兆俯拾即是，但直至最近，它才初具雏形。在J.R.尤因(J. R. Ewing)眼里，这一切都显得格外眼熟。大型数据公司，不断壮大的投机分子队伍，以及其他无数公司，大家都试图分一杯羹。所有人都是冲着一台强大的经济引擎来的，它就是“数据网络效应”，即用数据吸引更多用户，进而催生更多的数据，再用这些数据改进服务，并吸引更多用户。

2017-06-13 16:09:49

大数据动向
图表绘制与处理的常用软件
工科背景的人员常使用Matlab，计算机背景的人员常使用Python，统计学科的人员常使用R，医学背景的人员常使用Graphpad等。常用的论文图表绘制软件包括Excel、Origin、Sigmplot、Graphpad、Matlab、Python、R等，如图1-2-1所示。每个绘图软件的图表都有不同的图表风格。

2017-06-13 15:37:21

大数据图表绘制常用软件
全栈必备Log日志
Log日志，不论对开发者自身，还是对软件系统乃至产品服务都是非常重要的事情。每个开发者都接触过日志，以至于每个人对日志的了解都会有所不同。

2017-06-13 15:10:02

大数据Log日志
上一页 1 ··· 121122123124125 ··· 187
点赞

51CTO技术栈公众号

业务
速览
在线客服