51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9052内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9052 条
BAT大数据的面试题 快收藏！
一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。

2018-09-11 12:54:53

面试HadoopKafka
Hadoop体系结构中的服务角色介绍
翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧!

2018-09-11 12:41:42

HadoopJava工具
云计算如何保障大数据安全？
借助云计算实现数据分析与挖掘，安全保护水平高。数据在云上，又规避了安全风险，降低了泄漏用户的隐私概率。云端存储的数据，大量丢失和被篡改的可能性更低，云技术是企业信息安全的一次飞跃。

2018-09-10 21:14:48

云计算大数据信息安全
一文了解数据库高可用容灾方案的设计与实现
本文将通过介绍一些业界主流的数据库高可用架构、每种方案的特性和优缺点，以及数据库高可用架构的自动化运维实现，讲讲数据库高可用容灾方案设计与实现，希望抛砖引玉，和大家一起讨论。

2018-09-10 15:55:01

数据库UCloud架构设计
数据科学究竟是什么？
数据科学仅是一种概念，它结合了统计学、数据分析、机器学习及其相关方法，旨在利用数据对实际现象进行“理解和分析”。简单来讲：数据科学是一门将数据变得有用的学科。

2018-09-10 13:47:21

数据科学统计学决策
大数据帮你列出了行业焦虑排行榜 你在其中吗？
什么才是一份快乐又经济适用的工作，是所有人努力解答的一道命题。脉脉数据研究院从行业平均薪资、行业人才年平均跳槽频率和职场人对行业压力的主观评价三个维度，将不同行业的焦虑进行量化，最终得出“行业焦虑排行榜”。

2018-09-10 13:23:06

数据焦虑排行互联网
大数据与数据挖掘的相对绝对关系
除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求。

2018-09-07 18:25:47

大数据数据挖掘计算机
做大数据分析时，这几个技巧可以带来帮助
对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。

2018-09-06 18:42:37

数据分析数据收集数据质量
大数据与分析正在重新定义5个行业：医学、零售、建筑、银行、交通
医疗行业依靠专用设备来跟踪生命体征、协助医生诊断。医疗行业同样也使用大数据和分析工具以多种方式改善健康状况。此外，大数据分析可帮助医院管理人员进行安排，以期减少患者的等待时间并改善护理条件。

2018-09-06 18:36:47

数据分析零售交通
2017年大数据产业发展情况及2018年展望
随着政策环境和技术手段的不断完善，行业应用持续升温，产业体系初具雏形，支撑能力日益增强。国内许多行业用户如互联网、电信、金融等开始实际部署大数据平台并付诸实践，同时带动软件、硬件和服务市场的快速发展。

2018-09-06 18:32:55

大数据数据资源大数据产业
区块链对大数据的意义，区块链的应用与大数据
区块链金融服务的业务需求是强大的。想象一下这种规模的区块链。包含每个金融交易完整历史的巨大数据块，均可用于分析。区块链提供分类帐的完整性，但不用于分析。这就是大数据和相关分析工具将发挥作用的地方。

2018-09-06 18:29:39

区块链大数据比特币
五个顶级的大数据架构
本文将介绍用于大数据堆栈的五个最有用的架构，以及每个架构的优点，以便更好地理解和权衡。此外，还对成本、何时使用、热门产品，以及每种架构的提示和技巧进行了阐述。

2018-09-04 23:04:31

大数据架构大数据大数据分析
入行数据科学，这些书一定要看
近日，在GitHub上看到一张大而全的数据科学书单图，该图片分成七大领域，各自都有相对应的推荐书单，本文就为为各位推荐几本书，希望能够有助于你在大数据方面的学习。

2018-09-04 15:10:40

大数据数据科学书
如何使用HBase？大数据存储的两个实战场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。

2018-09-04 12:03:31

HBase大数据存储
用Python分析数千个微信昵称之后，我们发现90后和00后是这样的人！
这是一篇技术文，也是一篇not技术文，今天分享的是，当笔者获取了微信小程序英文取名的3500多个微信用户昵称、年龄段后，分析得到下面结果……

2018-09-04 09:42:01

编程语言Python数据分析
未来10年将要诞生的21项新工作，看看你都能干嘛？
基于今天可观察到的主流宏观经济、政治、人口、社会、文化、商业和技术趋势，我们来看看未来10年将出现的21个新工作岗位，这些岗位将成为未来工作的基石。

2018-09-04 09:15:17

人工智能智能机器大数据
大数据报告 | 房租上涨，谁在说谎？
近两个月，以北京为代表的一线城市房租大涨的报道，持续敲击着租客们脆弱的神经。和住房买卖相比，租房属于功能消费，更带有福利属性。在房价居高不下的一线城市，租得起，是城市居民最后的居住保障。

2018-09-03 13:49:33

大数据房租租金
换个姿势入门大数据
然而，大数据虽然很火，但其实是个概念没那么清晰的东西，不同的人可能有不同的理解。首先第一个问题，大数据，大数据，多大叫大?或者换一个角度，什么时候需要用到大数据相关的技术?

2018-09-03 11:57:28

大数据存储Spark
租房有深坑？手把手教你如何用R速读评论+科学选房
要想租到称心如意的房子，不仅要眼明手快，还得看清各类“前辈”的评价避开大坑。一位程序员在出行选酒店的时候就借用了程序工具：先用python爬下了海外点评网站TripAdvisor的数千评论，并且用R进行了文本分析和情感分析，科学选房，高效便捷，极具参考价值。

2018-09-02 15:15:30

Rpython租房
数据交换模型：他们是什么？
今天主题是数据模型讨论并看一下数据交换模型。我是因为接触过几次过于复杂的数据交换模型而对这个领域开始感兴趣的。

2018-08-31 21:00:39

数据交换模型数据模型应用程序
梅宏院士：构建大数据治理体系，支撑数字经济发展 原创
中国科学院院士梅宏发表了《构建数字治理体系，支撑数字经济发展》的主题演讲，他在演讲中介绍了大数据产业生态的发展及变迁，指出了当前大数据治理体系在研究和实践方面的诸多问题，引出了对大数据治理体系的几点思考。

2018-08-31 19:36:03

大数据治理体系数字经济
美国最新公布中国女人大数据，看完彻底震惊了！
一份由美国劳工部统计报告引起人们的广泛注意。这一份关于世界各国劳动参与率的数据报告，在这份报告中，世界各国的劳动资源和劳动参与率一目了然，不出意外，中国赫然位列世界第一。

2018-08-30 18:04:30

劳动中国女性
教程：使用Python进行基本图像数据分析！
本教程将介绍如何导入图像并观察其属性、拆分图层以及查看灰度。在正式开始之前，我们先来了解一些关于像素的基础知识。

2018-08-30 17:50:30

图像数据分析通道
收藏 | 数据分析师常用的10个机器学习算法！
对于渴望了解机器学习基础知识的机器学习新人来说，这儿有份数据科学家使用的十大机器学习算法，为你介绍这十大算法的特性，便于大家更好地理解和应用，快来看看吧。

2018-08-30 14:20:54

数据分析机器学习算法
IDC《2017年中国BI市场的的跟踪报告》发布 中国厂商帆软软件位居第一
近日，著名咨询机构IDC发布了《2017年中国商业智能（BI）市场的的跟踪报告》，从数据中看，该领域TOP10中有9席为国外厂商，仅有一家国内厂商帆软软件入围前十，且以13.76%的优势占比获得第一名。

2018-08-29 17:19:19

软件
想从事数据科学相关岗位，这些数学基础“必备”
毫无疑问，想成为一名顶级的数据科学家还需要掌握其他领域的知识，比如编程能力、具有一定的商业头脑，以及对数据的独特分析和好奇心态。本文所要做的就是整理一份最基本的数学技能指南，以帮助你更好地完成这项工作。

2018-08-28 13:17:52

数据科学岗位学习资源
Python or Java？大数据解读学什么语言更赚钱
本文主要用Python爬取拉勾网不同编程语言职位信息，包括：Python岗、Java岗、C++岗、PHP岗、C#岗位(5岗);用R语言对影响薪资的因素进行分析。

2018-08-28 12:43:20

Python大数据数据清洗
用Python分析了数千个微信昵称后，我们发现了这些规律...
这是一篇技术文，但又不是一篇技术文，今天分享的是，当笔者获取了微信小程序英文取名的3500多个微信用户昵称、年龄段后，分析得到下面结果。

2018-08-28 12:07:42

微信数据分析
以突破诠释数据的力量，2018年T11数据智能峰会即将举办
据悉，在大数据领域颇具声誉的T11 2018暨TalkingData数据智能峰会将于2018年9月11日在北京举办。

2018-08-27 14:36:08

数据
爬取了上万条租房数据，你还要不要北漂?
昨天还幻想海边别墅的年轻人，今天可能开始对房租绝望了。

2018-08-27 09:39:33

租房数据北漂
使用Ambari接管线上Hadoop游戏数据集群的避坑秘籍 原创
本文首先将简要介绍我们生产环境中 Hadoop 集群现状、Ambari 的关键技术，然后将重点阐述我们 Ambari 管理监控线上 Hadoop 集群的技术方案，介绍线上接管过程中碰见的问题和解决方式。

2018-08-27 08:19:07

Hadoop集群Ambari
北京房租大涨？万条数据+六大维度揭秘真相
本文我们通过Python大法通过获取某网数万条北京租房数据，给大家说说真实的房租情况。还是老规矩，老套路，我们常用的三部曲：数据获取、数据清洗预览、数据分析可视化，与你一起探究最近房租的状况。

2018-08-27 07:01:33

数据分析数据可视化租房
闲鱼在数据聚合上的探索与实践
闲鱼在降低开发成本，提高整体效率上做了一些尝试和实践。本文介绍闲鱼从数据聚合方面进行了一些探索和尝试，以及Graphql的引入给闲鱼带了研发效率的提升。

2018-08-25 14:07:24

数据聚合闲鱼前端
使用Scala开发Apache Kafka的TOP 20大好用实践
本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。

2018-08-24 13:44:22

数据科学Apache Kafk数据速率
反思腾讯：大数据与AI时代的危与机
今天我从一个相对客观的视角----数据及算法这个视角，全面总结3Q大战后腾讯的战略，并提出自己的一些意见，可能比较尖锐，但是绝对非常非常有诚意，所谓爱之深责之切。

2018-08-24 13:34:50

腾讯小程序马化腾
5个大数据处理/数据分析/分布式工具
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

2018-08-24 10:28:41

大数据数据分析工具
高性能Spark作业基础：你必须知道的调优原则及建议
笔者根据之前的Spark作业开发经验以及实践积累，总结出了一套Spark作业的性能优化方案。本文作为Spark性能优化指南的基础篇，主要讲解开发调优以及资源调优。

2018-08-24 07:17:41

Spark大数据调优
带着问题学习分布式系统之数据分片
本文主要讨论数据分片的三个问题：(1)如何做数据分片，即如何将数据映射到节点；(2)数据分片的特征值，即按照数据中的哪一个属性(字段)来分片；(3)数据分片的元数据的管理，如何保证元数据服务器的高性能、高可用，如果是一组服务器，如何保证强一致性。

2018-08-24 07:03:45

分布式系统数据分片元数据
8个Python高效数据分析的技巧
这篇文章介绍了8个使用Python进行数据分析的方法，不仅能够提升运行效率，还能够使代码更加“优美”。

2018-08-23 17:15:10

编程语言Python数据分析
HDFS你一定要知道，要考的
HDFS它的设计目标就是把超大的数据集存储到多台普通计算机上，并且可以提供高可靠性和高吞吐量的服务，支持通过添加节点的方式对集群进行扩容。

2018-08-23 16:25:29

HadoopHDFS存储
关于数据分析那些事，看这一篇文章就够了
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

2018-08-23 16:22:40

数据分析薪酬数据工程师
Python测算女朋友还完花呗多久后吃土
利用刚学会的蒙特卡洛原理，我决定建立收入支出模型进行测算：如果当月全部花费全部由花呗支付，当当月花呗欠款大于当月可支出收入时，就要“吃土了”。预设计算120个月(十年)，假如十年都没能够吃上土，那就代表愿望成真。

2018-08-23 13:04:48

Python月薪支出
IDC：2022年大数据和业务分析解决方案将达到2600亿美元
大数据的热潮已经涌起，近日，IDC发布了一份全球半年度大数据和支出分析指南，根据指南的最新预测，到2022年全球大数据和业务分析(BDA)解决方案的收入将达到2600亿美元，2017年到2022年期间的复合年增长率(CAGR)为11.9%。2018年BDA的收入预计将达到1660亿美元，比2017年增长11.7%。

2018-08-23 08:00:39

大数据业务分析企业
Uber永久定位系统实时数据分析过程实践！
本文，我们将讨论在数据处理管道中使用Spark Structured Streaming对Uber事件数据进行聚类分析，以检测和可视化用户位置实践。(注：本文所用数据并非Uber内部实际用户数据，文末附具体代码或者示例获取渠道)

2018-08-23 07:40:58

Spark流处理数据流
一文解读合成数据在机器学习技术下的表现
本文将通过介绍两个分布模型，并运用它们到合成数据过程中，来分析合成数据在不同机器学习技术下的表现。

2018-08-23 04:26:54

合成数据机器学习数据集
一文读懂数据架构的进化史
近期看到很多企业在设计自己的数据平台，以及选型一些数据分析工具，正好拜读了数据仓库之父的《数据架构：大数据、数据仓库以及Data Vault》一书，有些许感触，就来聊一下个人思考吧。

2018-08-22 17:58:01

数据平台数据仓库架构
盘点：数据可视化的八个标志性例子
我们生活在数据时代，从全球气温到购物习惯，新技术使得收集、存储和访问信息的速度比历史上任何时候都要容易。但是我们对这些技术的使用也侵蚀了我们的注意力范围，并加剧了“后真相”的误解。那么，我们如何快速准确地将思维展示出来呢?研究数据可视化的专业人员经常创新巧妙的移动解决方案。

2018-08-22 17:53:19

数据可视化数据信息
中数经纬CEO林道进：把无序变有序 让数据有价值 原创
中国数据科技集团、中数经纬科技(北京)有限公司董事长兼总裁林道进教授在开幕式上作了“把无序变有序让数据有价值”的主旨演讲，通过数据、场景、技术三个角度切入，详细论述了企业大数据应用和媒体服务三大解决方案，演绎了大数据的精髓与核心价值。

2018-08-22 13:11:35

中数经纬舆情监测中央厨房
大数据时代如何使用数据分析来找女朋友？
大数据时代的我们，一切都要与时俱进，找对象也是如此。本文的小柯今年25岁，单身男，热衷大数据，并决定认真钻研，用数据分析来实现自己的“脱单计划”。

2018-08-21 22:31:04

数据分析单身女朋友
12个ggplot2拓展程序助你强化R可视化
如果你是世界上众多ggplot2爱好者之一，你可能有时会发现自己正在寻找出色的软件包来拓展其功能。本文将为大家简要介绍12个ggplot2拓展程序，包括它们让R可视化更强大的原因以及相应的具体示例。

2018-08-21 21:46:57

ggplot2可视化拓展程序
上一页 1 ··· 9293949596 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服