51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

大数据

8148内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8148 条
数据科学家应该知道的5个统计学知识
今天，我们将分享5个对于数据科学有用的统计学方法。这些不是过分抽象的概念，而是相当简单、有长期适用性的技术。

2019-07-03 15:21:47

数据科学统计数据数据结构
做机器学习项目数据不够？这里有5个不错的解决办法
数据稀缺的问题非常重要，因为数据是任何AI项目的核心，数据集的大小往往是影响项目表现优劣的一个重要因素。大多数情况下，与数据相关的问题，往往都是无法做出优秀人工智能项目的主要原因。

2019-07-03 15:16:56

机器学习数据项目
人力资源管理需要结合大数据和直觉
一些大数据专家对数据分析软件的洞察力如何与人力资源管理者的智慧相结合进行了探讨。那么在企业经营业务时，将会更信任什么：大数据还是自己的直觉?

2019-07-03 10:57:03

大数据人力资源软件
协助企业提升大数据应用的六大平台 译文
应运而生的大数据分析平台，恰好能够使用算法协议来检查大量的数据，并将其分解为相互关联、且富有洞见的信息。由它们所提供的各种直接方案，能够有效地推动企业在战略和战术层面做出各种明智的决策。下面我向您介绍六种可以协助企业提升大数据应用，并能捕捉到大数据真实价值的各种大数据和机器学习平台。

2019-07-02 09:23:55

大数据数据分析机器学习
大数据架构如何做到流批一体？
大数据分析场景需要解决哪些技术挑战?目前，有哪些主流大数据架构模式及其发展?今天，我们都会一一解读，并介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。

2019-07-01 15:40:53

大数据架构流处理
科学家无法涉足的“黑暗世界”，被雪藏的军用数据等待新生
没有人比军队更密切地监视着地球，而这些搭载着人类最先进技术的军事装备，它们采集的海量数据究竟去哪了?

2019-07-01 14:15:59

数据数据分析军队
以大数据技术为基础的4个游戏应用
如今，基于大数据技术的游戏应用程序为游戏行业带来了全新的进步。大数据是游戏的未来。Dataiku公司的Pierre Gutierrez在他的文章中对数据分析在游戏中的作用进行了一次引人注目的分析，即大量的游戏分析数据没有尽头。

2019-07-01 10:11:18

大数据技术软件
用大数据填报高考志愿，靠谱吗？
近日，各地高考分数线陆续公布，志愿填报成了考生和家长们的头等大事，大数据填报高考志愿也火了起来。

2019-06-28 15:54:49

大数据
燃爆！17行Python代码做情感分析？你也可以的
17行代码跑最新NLP模型？你也可以！一台可以上网的电脑，基本的python代码阅读能力，用于修改几个模型参数，对百度中文NLP最新成果的浓烈兴趣。

2019-06-28 12:34:34

Python情感分析NLP
这四款大数据可视化工具不得不看
大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征。

2019-06-27 16:28:39

数据可视化JupyterGoogle Char
大数据平台常见开源工具集锦，看看你都知道哪些
本文整理了大数据平台常见的一些开源工具，并且依据其主要功能进行分类，以便大数据学习者及应用者快速查找和参考。

2019-06-27 15:54:44

大数据工具开源
大数据计算框架Spark之内存模型
Executor 端的内存模型,包括堆内内存(On-heap Memory)和堆外内存(Off-heap Memory)。

2019-06-27 11:18:00

Spark内存大数据
一文看懂怎么用Python做数据分析
常遇到两类朋友。一类是会爬虫但不知道如何进一步做数据分析的，一类是平常用 Excel 做分析但不太会用 Python 分析的。如果和你很像，那下面这篇系统长文会很适合你，建议先收藏。

2019-06-26 11:10:47

Python数据分析Excel
大数据的一个时代的结束了，Hadoop还值得你学习吗？
Hadoop从诞生至今已经十三年了。2006年诞生大数据，2008年成为Apache的顶尖项目，成为国内外互联网大数据的标准配置之一。长久以来，想要入行大数据开发Hadoop也是必学。最近确对Hadoop哀声一片，更多喊得是拥抱云计算，摒弃Hadoop。

2019-06-26 11:05:35

大数据Hadoop云
能够简化数据科学的6种工具
数据科学家过去常常需要绞尽脑汁，因为80%的工作都是通过用Python，Java或他们喜欢的语言来制作自定义例程并准备分析数据的，所以R或SASS中那些复杂的统计工具都可以完成它们的工作。而现在市场上充斥着各种复杂的工具，它们将数百个经过良好设计的例程捆绑到了一个包中，以便为你完成大量重复且令人不快的数据清理和标准化工作。

2019-06-26 10:34:05

数据科学工具数据集
三行Python代码，可以让你的数据处理快别人4倍
Python是一门非常适合处理数据和自动化完成重复性工作的编程语言，我们在用数据训练机器学习模型之前，通常都需要对数据进行预处理，而Python就非常适合完成这项工作，比如需要重新调整几十万张图像的尺寸，用Python没问题！

2019-06-26 08:37:23

Python数据处理编程语言
Hadoop 气数已尽？
从本质上讲，市场上只剩下一个主要的 Hadoop 服务商 Cloudera。如果我告诉你 Cloudera 很久以前就不是主要搞 Hadoop 的呢?

2019-06-25 11:03:20

HadoopGoogleSpark
数读 | 中国哪里的地铁很拥挤
打开北京、上海与广州的地铁地图，你会看见三张纵横交错的线路网络，这代表了中国最成熟的三套城市轨道交通系统。可即使这样，在北上广生活的人依然少不了对地铁的抱怨，其中谈及最多的问题便是拥挤——对很多人而言，每次挤地铁的过程，都像是一场硬仗。更何况，还都是败仗居多。

2019-06-24 15:55:59

地铁线路拥挤
如何利用大数据更好地促进SEO优化服务
托管服务提供商可以利用大数据为企业提供更好的服务和更多的SEO优势。大数据如今已经成为很多企业数字营销战略中的重要组成部分。

2019-06-24 15:11:00

大数据SEO优化搜索引擎
工业制造中的大数据分析
搞清楚工业大数据分析，第一步我们应该如何定义制造业的大数据?这里我和大家通过大数据的三个特性，来经一步了解大数据的特性。

2019-06-23 15:53:48

工业大数据数据分析制造
Python中常用的可视化工具 Matplotlib 简单入门
Matplotlib是约翰·亨特(John Hunter，1968-2012)的心血结晶，他和许多贡献者一起投入了不可估量的时间和精力来制作一套全球数千名科学家使用的软件。

2019-06-23 15:44:24

Matplotlib可视化图表
Hadoop之父：普通程序员到顶级公司CTO的进阶之路
做大数据开发的朋友一定用过 Hadoop 这个工具，它是一款支持数据密集型的分布式应用程序。那么接下来就跟鸡仔一起来了解被誉为 Hadoop 之父的 Doug Cutting，他到底是何许人也？又有哪些值得我们学习的地方呢？

2019-06-21 14:25:07

HadoopCTO数据库
基于Spark的数据分析实践
本文主要分析了 Spark RDD 以及 RDD 作为开发的不足之处，介绍了 SparkSQL 对已有的常见数据系统的操作方法，以及重点介绍了普元在众多数据开发项目中总结的基于 SparkSQL Flow 开发框架。

2019-06-19 16:01:14

Spark数据分析SparkSQL
2019中国大数据产业布局及发展趋势预测
数据显示，2017年中国大数据产业规模达到4700亿元，同比增长30%;其中，大数据硬件产业的产值为234亿元，同比增长39%。2018年我国大数据产业规模突破6000亿元;随着大数据在各行业的融合应用不断深化，预计2019年中国大数据市场产值将达到7150亿元。

2019-06-19 15:38:59

大数据互联网王新哲
制造业企业中台建设思考与实践
“忽如一夜春风来，千树万树梨花开”，中台的概念就如这句诗所描述得一样一瞬间在IT圈里火了起来，好像不讨论中台就任何解决方案就黯然失色了。中台(数据中台、业务中台、技术中台、AI中台……)的概念可谓漫天飞舞，我希望在下面的文章中结合真实的实践案例，就大家最关心的问题从概念到实践层面做一些解读。

2019-06-19 11:11:21

企业中台实践
打破机器学习中的小数据集诅咒
在这篇文章中，我们看到数据的大小可能会体现出泛化、数据不平衡以及难以达到全局最优等问题。

2019-06-19 09:13:29

机器学习中数据集深度学习
万亿数据下 Hadoop 的核心竞争力
在大数据时代，Hadoop 有着得天独厚的优势。然而，每个企业的技术储备和需求特点不同，他们希望从海量的客户数据中挖掘真正的商业价值，像 Google 、Facebook 、Twitter 等这样的企业更是 Hadoop 的最早获益者。那么，今天我们就来聊一聊，万亿数据下 Hadoop 的核心竞争力。

2019-06-18 14:12:07

Hadoop大数据数据库
大数据流处理如何帮助世界新兴市场
随着当今技术的发展，对流处理的需求也越来越大。例如，必须快速处理数据，以便企业能够实时跟上不断变化的业务和市场状况。这就是实时流处理进入图片的地方，它可能会改变人们所知道的关于大数据的一切。

2019-06-18 13:51:08

大数据流处理新兴市场
大数据告诉你80、90后的真实负债
近期，一篇“90后超一半网贷”的文章引起了网络热议。看似90后的收入无法支撑他们的超前消费，然而，20多岁的90后真的比奔四的80后负债更多吗?

2019-06-18 10:05:55

大数据80后90后
我是AI机器人何夕2号，想听听我的故事吗？
如果你不想错过AI时代，没事多去AI·X逛逛，那里是AI爱好者和从业者最能爆发奇迹的交流成长平台。

2019-06-18 08:59:45

AI机器学习
大数据与机器学习将如何改变全球能源行业？
随着AI技术战争的不断升温，企业与消费者也将受益于更加安全、更加清洁、更加便宜以及更加高效的能源。而让这场技术竞赛也才刚刚开始。

2019-06-17 14:41:15

机器学习人工智能 大数据
Teradata CTO宝立明：运用分析引擎实现机器学习和深度学习 原创
Teradata天睿公司首席技术官宝立明(Stephen Brobst)认为，高级分析的发展可以分为三个阶段：第一阶段是描述性分析，用于洞察过去;第二阶段是预测性分析，能够了解未来;第三阶段是指导性分析，为可能发生的结果提供建议。Teradata开发的Vantage软件平台属于第三阶段的产物，能够为企业提供最佳的高级分析能力。

2019-06-17 07:59:32

大数据CTOTeradata
联通大数据周华：用数据科技产品赋能产业发展
6月4日，中国大数据产业峰会在北京召开。会上，联通大数据有限公司副总经理周华先生在大会上以《数据科技助力产业智能升级——联通大数据应用实践》为题做了精彩分享，向与会者介绍了联通大数据在政务、金融、文旅、交通、医疗、安全等方面的应用解决方案，并重点提及了5G对大数据产业带来的影响。

2019-06-16 21:57:54

联通大数据数据
数据基础架构正在发生巨变，您准备好了吗？
进入智能世界，核心是数据量的爆炸式增长。 IDC预测全球数据圈将从2018年的33ZB增至2025年的175ZB。一方面海量的数据蕴含着巨大的价值和商机。一方面对数据基础设施形成了新的挑战。

2019-06-14 15:38:11

数据基础架构海量数据IT厂商
2019，Java码农还有必要转型大数据开发吗？
作为一名码农，相信你身边的同行业者在过去的一年中，对于大数据的谈论并不少，当然，他们之中也不乏有一些人转型去做了大数据。而且，就目前大数据行业的薪资来看，其平均起始薪资已经达到了15k左右，相信，很多有几年编程经验的从业者也无法达到这个标准。

2019-06-14 15:15:44

Java大数据码农
大数据是未来金融专业人士必备的技能吗?
一名税务会计师在一个网络小组的讨论中指出，大数据正以惊人的方式改变金融领域。行业媒体FM Magazine对这一趋势进行了详细的阐述，并指出金融专业人士需要了解大数据的影响，并做好相应准备。

2019-06-14 14:55:07

大数据金融会计师
如何消除多云环境下数据保护与管理的复杂性？ 原创
多云战略下，不论是公有云体系、私有云体系、混合云体系，还是超融合体系架构，企业站在统一数据管理的角度，都需要充分考虑数据迁移、管理的便利性和可信赖性。

2019-06-13 11:49:44

数据保护数据管理多云
Pandas必备技能之“时间序列数据处理”
时间序列数据作为时间序列分析的基础，学会如何对它进行巧妙地处理是非常必要的，Python中的Pandas库为我们提供了强大的时间序列数据处理的方法，本文会介绍其中常用的几个。

2019-06-12 16:21:52

时间序列PythonPandas
聊聊大数据Lambda架构
Mathan Marz的大作Big Data: Principles and best practices of scalable real-time data systems介绍了Lambda Architecture的概念，用于在大数据架构中，如何让real-time与batch job更好地结合起来，以达成对大数据的实时处理。

2019-06-11 13:22:32

Lambda大数据架构大数据平台
你是怎样“被平均”的？细数统计数据中的那些坑
统计数据(statistics)就是用数字表达出来的证据。这样的证据可能看起来非常动人，因为数字让证据显得非常有科学性，非常精确，似乎它就代表了“事实”。但是，统计数据能，而且经常会，撒谎!它们并不必然就能证明它们想要证明的一切。

2019-06-11 10:05:27

统计数据平均值欺骗
为啥Spark 的Broadcast要用单例模式
很多用Spark Streaming 的朋友应该使用过broadcast，大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么?

2019-06-11 09:50:07

SparkBroadcast代码
17 款可视化工具，让你的数据更美观！
想让数据变得更好看?不必成为经验丰富的数据科学家，也不必成为平面设计师。有一些能让数据从简单的表格变成多种多样的图形，地图甚至词“云”。并不是所有的工具都适合你，但这些工具确实很有用。

2019-06-11 09:35:34

可视化工具图形
应对大规模数据集群治理，联通大数据这么做
维克多在2012年出版的《大数据时代》一书中曾预测：数据列入企业资产负债表只是时间问题。如今，伴随着新兴科技手段的融合创新，大数据已经应用到了我们生活中的方方面面，数据资产的概念已逐渐得到国内外企业的强烈认同。

2019-06-10 16:17:37

联通大数据集群
数据科学思维 ：打造健康数据驱动组织的 6 条原则
数据科学是一个结合数学、编程和可视化技术的领域，它将科学方法应用于特定的业务领域或问题，如预测未来的客户行为、规划空中交通路线或识别语音模式等。但是，成为一个数据驱动的组织究竟意味着什么呢?

2019-06-10 16:08:06

数据科学家数据驱动原则
一边吃粽子，一边思考流量数据分析！
作为数据分析师你可能想到的是CPC、CPS这一类的关键字，但到底是用CPC还是其他方式计费，如何计费，给哪条渠道线推广?什么样的用户可能适合粽子大亨?这些问题都需要你对公司网站流量数据从采集到到分析有全面深刻的理解。

2019-06-10 15:58:30

数据分析流量采集
GDPR一周年：数据合规进程任重而道远
欧盟《通用数据保护条例》(GDPR)于2018年5月颁布，无疑成为了数据保护与使用合规领域的重要里程碑。

2019-06-06 19:01:05

GDPR数据合规进程
活用这23种图表，让你的数据分析胜人一筹
互联网与不断出现的便捷工具，让所有人都可以无须具备数据或相关专长，就可以简单、低成本地将数据做成直观的可视化图、表。

2019-06-06 16:30:02

数据分析图表大数据
一篇文章了解 Spark Shuffle 内存使用
在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢?

2019-06-06 15:22:07

SparkShuffle内存
数据分析必不可少之数据仓库！
数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持(Decision Support)。数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

2019-06-06 14:08:37

数据仓库数据分析数据报表
联通大数据连斩两枚大数据“星河奖” 参与发布两本白皮书
为了深入落实国家大数据战略，推动大数据产业交流与合作，展示我国大数据产业最新发展成果，6月4日至5日，由中国信息通信研究院、中国通信标准化协会主办，大数据技术标准推进委员会承办的2019大数据产业峰会在北京国际会议中心隆重召开。

2019-06-06 11:26:59

联通大数据
上一页 1 ··· 6364656667 ··· 163
点赞

51CTO技术栈公众号

业务
速览
在线客服