51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
央行出手解除支付宝特权，银联还在线上挣扎，行政驱动的网联会走远吗？
近日央行一纸令下，宣告第三方支付直连银行时代退出历史舞台，“网联”即将取而代之，一场权利和利益的交接仪式拉开帷幕。

2017-08-14 18:15:21

网联支付宝网上支付
大数据迁徙图：逃离北上广，他们竟然去了这里
随着一线城市人口疏解工作步入深水区，“逃离”不仅是主动告别，也包括了被迫离去。逃离者到底都去了哪里?为此，我们调取了2017年第二季度全网移动用户全生命周期的海量数据，进行了深入解析。

2017-08-14 15:53:33

大数据数据分析
Spark入门：Spark Streaming 概览
Spark Streaming是Spark API的一个可横向扩容，高吞吐量，容错的实时数据流处理引擎，Spark能够从Kafka、Flume、Kinesis或者TCP等等输入获取数据，然后能够使用复杂的计算表达式如map,reduce,join和window对数据进行计算。

2017-08-14 10:30:13

SparkSpark Strea扩容
用 Apache Spark 和 TensorFlow 进行深度学习
神经网络在过去几年中取得了惊人的进步，现在已成为图像识别和自动翻译领域最先进的技术。TensorFlow是 Google 为数字计算和神经网络发布的新框架。在这篇博文中，我们将演示如何使用 TensorFlow 和 Spark 一起来训练和应用深度学习模型。

2017-08-10 15:31:57

Apache Spar TensorFlow
果断收藏！六大主流大数据采集平台架构分析
我们今天就来看看当前可用的六款数据采集的产品，重点关注它们是如何做到高可靠，高性能和高扩展。

2017-08-10 14:30:52

大数据数据采集架构分析
如何优化数据表格设计
表格也许很令人厌烦，但它们是富含数据的文件中至关重要的构成元素，并且值得我们进行细致的设计思考。通过设计更高效、清晰、易于使用的表格，你能极大提高分析理解大量数据时的糟糕体验。

2017-08-10 13:43:00

大数据数据表格优化设计
关于Redis的数据清理
serverCron是由redis的事件框架驱动的定位任务，这个定时任务中会调用activeExpireCycle函数，针对每个db在限制的时间REDIS_EXPIRELOOKUPS_TIME_LIMIT内迟可能多的删除过期key，之所以要限制时间是为了防止过长时间 的阻塞影响redis的正常运行。这种主动删除策略弥补了被动删除策略在内存上的不友好。

2017-08-10 10:40:10

Redis数据清理
玩转Hadoop分布式集群搭建
Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2017-08-10 10:17:32

Hadoop分布式搭建
甲骨文二代IaaS不但“富”而且“创” 原创
谈到中国市场的PaaS+IaaS业务时，甲骨文公司高级副总裁及中国区董事总经理李翰璋表示：“PaaS与IaaS业务在中国区也有非常好的增长，很多客户在考虑使用我们的产品。他们来自于不同行业，在使用我们的数据库云、中间件云等方面都有不同的感受。”

2017-08-09 17:58:27

甲骨文二代IaaS创新
数据预处理——是脏活、累活，却也价值无限
当有大企业为数据进行争论时，我们再一次感慨数据的价值。自从大数据一词被提出之后，我们无时无刻不再提醒着自己，累积了越多的数据，就越能手握金矿。在机器学习、深度神经网络开始走向大众视野之后，我们更加自豪，仿佛分分钟能从自己的数据中诞生个什么算法。

2017-08-09 15:41:17

大数据数据预处理数据价值
FMI2017----让人工智能与大数据为时代赋能
2017年8月5日，由飞马网主办的“FMI人工智能&大数据高峰论坛”在北京国家会议中心召开。大会围绕着“大数据”和“人工智能”两大主题展开，20余位来自京东、搜狗、eBay、中兴、科大讯飞、第四范式等知名企业的AI践行者带着自己的实践案例与经验为现场近2000+技术开发者们带来了精彩演讲。

2017-08-09 15:23:32

人工智能大数据FMI2017
看完这篇文章后，别再说自己不懂用户画像了
用户画像是一个挺新颖的词，最初它是大数据行业言必及之的时髦概念。现在我们运营谈及用户画像，它也是和精准营销、精细化运营直接钩挂的。这篇文章主要讲产品和运营角度的用户画像。

2017-08-09 15:07:08

大数据数据分析户画像
支付宝「占领」全球，看大数据时代下的人民购物
现如今，如果提起支付宝，那可是无人不知，无人不晓。支付宝时代，让整个社会变成了无现金社会。无论是我们出去聚餐，还是出去购买，一个手机在手，就像拥有了全世界，方便，快捷。

2017-08-09 14:17:29

大数据支付宝人民购物
用大数据精准预测地震，每年将有1.3万人免于受难
大数据分析通过使用卫星和气象数据，并结合统计分析，开启了一种新的地震预报形式。而这项研究所取得的喜人成果似乎可以有力驳斥那些否定者们的错误观点。

2017-08-09 14:00:20

大数据数据分析预测地震
Apache Kafka：大数据的实时处理时代
本演讲将介绍最近 Apache Kafka 添加的一些系统架构，包括 Kafka Connect 和 Kafka Streams，并且描述一些如何使用它们的实际应用体验。

2017-08-09 13:30:21

大数据Apache Kafk实时处理
阿里5位嘉宾3个分享：HBaseCon Asia 2017干货满满 原创
秉承开源和分享的精神，阿里把HBase的实践经验和改进不断回馈HBase社区，比如说Bucket Cache和Reverse Scan等功能，给HBase技术发展带来了非常深远的影响。同时，也给HBase社区培养了2名PMC和2名Committer，阿里在HBase社区的影响力可见一斑。那么这次HBaseCon 2017 Asia。阿里派出了一位HBase PMC和2位Committer，还有两位资深的HBase开发，给大家带来了十足的干货。

2017-08-09 13:25:20

阿里Asia
导致大数据项目失败的4大痛点及应对策略
大数据项目通常不会因为单一的原因而失败，而且肯定不会仅仅出于技术原因。这些因素的组合有助于破坏大数据部署。业务战略、人员、企业文化、分析方法或分析工具的细微差别等因素，都可能导致大数据项目出现问题和失败，而这样的失败在数字化转型的过程中在所难免。

2017-08-09 10:50:11

大数据失败策略
华为服务器助力全球最大私有Hadoop集群发力大数据
FusionServer硬盘驱动器密度最高且可节能20% 经过几个月的使用和评估，我们决定将华为的FusionServer纳入我们全球采购目录，让华为成为我们的一个主要硬件供应商。所以自2016年初以来，我们在美国，欧洲和亚太地区持续采购华为服务器……华为提供构建强大数据中心所需的全系列产品。我们可以从一个供应商处购买到模块化集装箱、服务器和网络交换机，这一点对我们来说非常有吸引力。 ——Matthieu BlumbergCriteo基础设施业务工程总监

2017-08-08 16:39:49

华为
中国首届区块链极客高峰论坛在京举办 原创
近日，我国首届区块链极客高峰论坛在在京举行。论坛力邀CSDN副总裁孟岩、亿书创始人朱志文、PPkPub开放小组发起人陈晖、阿希链创始人单青峰等业界技术大咖，从版权保护、物联网、数字资产、人才培养等方面分享总结了目前各自的成果。

2017-08-08 15:45:39

区块链极客首届
实现数据科学研究结果可复制的十条规则
所有的数据科学都是研究。仅仅因为研究结果没有发表在学术论文中，这不会改变我们试图从庞杂数据中获取洞见的事实。因此，对于任何从事内部分析的数据科学家来说，那篇论文中的十条规则都应该引起重视。

2017-08-08 12:26:39

大数据数据科学规则
为什么R语言是学习数据分析的第一选择
专注于一种编程语言的原因是，你需要更多地关注过程和技术，而不是语法。你需要掌握如何通过数据科学工具来分析数据，以及如何解决问题。事实证明，R语言是最佳的选择。

2017-08-08 10:55:03

大数据R语言数据分析
详谈数据科学与大数据技术专业
从IT时代进入DT时代，高校在大数据方向上设置了哪些专业，具体学什么，就业怎么样，作为新兴专业，考生如何报考?人才培养目标：以大数据为核心研究对象，利用大数据的方法解决具体行业应用问题。

2017-08-08 09:48:41

数据科学技术
冲击百万年薪：11大编程语言薪资排行榜，再不学Python就晚了！
编程语言有很多，但并非每一种的需求或工资都相同。人工智能和机器学习走热，让 Python 从众多编程语言中脱颖而出。本文将综合各种信源，比较不同编程语言在美国市场的相关薪资水平、人气和前景，为你提供一些参考。

2017-08-07 19:04:52

大数据编程语言薪资排行
横向对比三大分布式机器学习平台：Spark、PMLS、TensorFlow
分布式机器学习是机器学习领域的一大主要研究方向，我们对分布式机器学习平台的三大基本设计方法进行了简要介绍并举例进行了说明。

2017-08-07 11:02:28

机器学习分布式Spark
给Web开发人员推荐的开源图形库——数据可视化
以下是为 Web 开发者推荐的一些精品开源图形库，旨在专注于最常见的问题和最常用的东西。将针对动画(Animation)、数据可视化(Data Visualization)、2D/3D 分别整理。

2017-08-07 08:47:31

开源图形库数据可视化
TiSpark (Beta) 用户指南
TiSpark 是 PingCAP 推出的为了解决用户复杂 OLAP 需求的产品。本文简单介绍如何部署和使用 TiSpark。本文假设你对 Spark 有基本认知。

2017-08-05 16:31:51

TiDBTiSpark数据库
伪数据科学家 VS 真数据科学家
数据科学家在商业分析、统计学和计算机科学等领域也是通才，比如会掌握这些专业知识：健壮性、实验设计、算法复杂度、仪表盘和数据可视化。一些数据科学家也是数据策略师——他们可以开发数据收集策略，并使用数据来发现可操作的、能对商业产生影响的见解。这就要求数据科学家具有创造性，能根据业务要求，制定分析、提出解决方案。

2017-08-04 15:53:10

大数据真伪数据科学家
快速入门 | 一篇文章带你掌握数据可视化方法
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息(来源于百度百科)。也就是说可视化的存在是为了帮助我们更好地去传递信息。

2017-08-04 15:33:33

大数据数据可视化方法
微信支付宝无现金之争：瞄准用户支付大数据
八月，支付宝和微信支付在线下又开启了新一轮的抢夺。双方先后宣布，开启无现金月和无现金周活动。支付宝的活动从8月1日持续到8月8日，活动将有超过1000万线下商家参与;微信支付的活动则持续1个月，与商家联动发起补贴，遍及全行业线下商户。

2017-08-04 15:16:55

大数据动向用户支付
解读00后的移动互联网江湖
本文将从00后生活、学习、娱乐方方面面的移动数据，来解读移动互联网江湖的未来格局和营销市场的新走向，本文00后指10-17岁的用户。

2017-08-04 15:00:59

大数据移动互联网数据分析
Spark学习之RDD简单算子
Spark学习之RDD简单算子希望给大家带来一些帮助。

2017-08-04 10:58:55

RDDSpark算子
数据分析报告怎么用？
本文是作者基于自身多年数据分析的经验，总结的一体化数据分析框架，简单地介绍下数据分析能分析能落地的几点。

2017-08-03 15:20:19

大数据数据分析
SMP、NUMA、MPP体系结构介绍
从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ： Massive Parallel Processing) 。

2017-08-03 14:01:07

大数据深度学习体系结构
HADOOP1.X中HDFS工作原理
HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文，英文)。

2017-08-03 10:38:32

HADOOP1.XHDFSHadoop
SparkStreaming与Kafka整合遇到的问题及解决方案
最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。

2017-08-03 09:37:35

SparkStreamKafkaDirect
使用数据进行决策时要避免3个陷阱
如今，数据不仅仅是营销领域的一个流行语。为了实现业务运作良好，企业需要关注如何改进，有效收集和分析数据。然而，在解释和使用数据来做出决策时也存在一些问题。它不像看起来那么简单，而且有一些陷阱需要避免。

2017-08-02 16:47:43

数据数据收集数据分析
数据变现难题，“七宗罪”待解
我们可以通过数据了解一些截然不同的东西，但遗憾的是，很少有公司能真正利用数据创造价值。难点何在?究其原因，是人们在大数据处理和应用方面，常常会跌入一些错误的逻辑中去。

2017-08-02 16:24:04

数据大数据数据变现
克服大数据集群的挑战
自从大数据的概念诞生以来，集群一直是一个挑战。集群化使得大数据分析更容易。然而，集群也给数据工程师带来了必须解决的问题。

2017-08-02 14:31:58

大数据集群数据存储
大数据技术：内包还是外包
对于零售商来说，大数据是一把双刃剑。这些公司正在努力探索全方位的市场竞争，因为他们试图抵御像亚马逊公司这样的行业巨头，一些公司正在将大量资源部署到开发自己的大数据解决方案中，以试图与零售巨头进行竞争。

2017-08-02 08:56:43

大数据技术SaaS
使用Python + OpenCV来实现脸部和眼睛的检测
本篇文章使用Python和OpenCV中的Haar特征分类器对人脸及眼睛进行检测和追踪。

2017-08-02 07:36:06

大数据PythonOpenCV
四种类型的数据分析模式
在这篇文章中，我们聚焦于在数据科学领域所遇到的四种类型的数据分析模式：描述型、诊断型、预测型和指导型。

2017-08-01 23:44:25

数据分析数据科学数据
掌握这五大技能，你也可以去应聘数据分析师
数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。几年前, 数据分析还是一个比较鲜见的职业。而今天，无论各行各业，它无处不在的闪烁着耀人的光芒。那么做数据分析需要掌握哪些技能呢?

2017-08-01 20:50:45

大数据数据分析技能
产品经理必会的10种数据分析方法
本文将为产品经理介绍数据分析的基本思路，并基于此，衍生出 2 个常见方法和 7 个应用手段，希望在数据分析的实际应用中能给大家带来帮助。

2017-08-01 16:42:09

数据分析互联网
如何让隐藏在大数据背后的价值发挥出来？
如今，信息每天都在以爆炸式的速度增长，其复杂性也越来越高，当人类的认知能力受到传统可视化形式的限制时，隐藏在大数据背后的价值就难以发挥出来。理解大数据并借助其做出决策，才能发挥它的巨大价值和无限潜力。

2017-08-01 16:37:18

大数据可视化数据
数据有限时怎样调优深度学习模型
所谓迁移学习，就是将一个问题上训练好的模型通过简单的调整，使其适用一个新的问题，可以认为是一种模型调优的“取巧”方法。可以类比人的举一反三能力。

2017-08-01 16:01:44

迁移学习深度学习数据
量子纠缠：从量子物质态到深度学习
本文介绍的就是将机器学习方法应用于量子多体问题这一方向上新涌现出的一个研究思路：从量子纠缠的视角审视深度学习，从而反馈机器学习的发展。

2017-08-01 15:39:34

量子深度学习机器学习
人工智能、大数据与深度学习之间的关系和差异
通过对数据科学领域的几个重要概念间关系的分析，来解释数据科学中遇到的困惑。我们将会看到的，远不是金科玉律的具体概念，难免不同看法; 这只是一种参考意见。

2017-08-01 14:51:45

人工智能大数据深度学习
学习数据分析的“里程碑”是什么？
数据分析是一项综合技术。它既包含hardcore的编程技术，也包含诸多分析逻辑的软知识。

2017-08-01 10:15:56

数据分析大数据
手把手教学：使用Elastic search和Kibana进行数据探索（Python语言）
探索性数据分析(EDA)帮助我们认识底层的数据基结构及其动力学，以此来最大限度发掘出数据的可能性。EDA是提取重要变量和检测异常值的关键。尽管存在着很多种机器学习算法，但EDA仍被视为理解和推动业务的最关键算法之一。

2017-07-31 09:20:52

Elastic seaKibana数据
数据可视化专家的七个秘密
数据可视化的道路上充满了不可见的陷阱和迷宫，最近ClearStory Data的两位数据可视化开发人员分享了他们总结出来的数据可视化开发的7个不宣之秘，普通开发者了解这些方法能提升视野，少走弯路。

2017-07-28 14:43:49

大数据数据可视化秘密
上一页 1 ··· 110111112113114 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服