51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
我被“非结构化数据包围了”，请求支援！
“非结构化数据”是什么?相较于记录了生产、业务、交易和客户信息等的结构化数据，非结构化的信息涵盖了更为广泛的内容。非结构化数据指的是：数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。

2019-09-10 10:19:50

非结构化数据数据智能
我们可以不再使用ETL了吗？
近年来，我们在数据科学和高级分析方面取得了一些进步，但许多项目仍然采用20世纪80年代的遗留技术：萃取(extract)、转置(transform)和加载(load)，也就是我们所说的ETL。这让数据架构师感到无比头疼，但我们似乎又无法超越它，那有什么方法能改变这个局面吗?

2019-09-09 16:10:32

ETL数据科学数据
数据科学中的“帕累托法则”
帕累托法则是一个非常简单但功能非常强大的管理工具。企业高管长期以来一直将其用于战略规划和决策。诸如20%的商店产生80%的收入，20%的软件错误导致80%的系统崩溃，20%的产品功能驱动80%的销售等，受到广泛欢迎，善于分析的企业尝试在他们自己的商业世界中找到这样的帕累托法则。

2019-09-09 15:28:04

数据科学帕累托法则工具
电商数据分析，掌握这些业务的数据指标就够了
在电商行业当中，通常涉及到六大部门，且各个部门当中，业务框架以运营为导向，今天我们就来解析一下相关重要指标。

2019-09-09 14:13:31

电商数据分析指标
这些方法解决了数据清洗 80% 的工作量
本文会给大家介绍如何用Python中自带的 Pandas 和 NumPy 库进行数据清洗。在正式讲解之前，先简单介绍一下这两个非常好用的库。

2019-09-09 09:28:46

数据技术代码
大数据：现代政府廉政建设的利器
21世纪是科技高速发展的时代，大数据技术的应用领域不断扩大，在廉政建设与反腐败斗争中，从事前、事中和事后三个阶段应用大数据技术手段开展工作，可为其提供全新的思路，找到有效的突破口。

2019-09-05 20:02:27

大数据廉政风险反腐败
从数据到洞察 IBM赋能企业加速人工智能之旅 原创
智能+时代，数据成为了企业的核心资产。数据爆发式的增长，随之而来的复杂性、成本、时间和错误风险都在呈指数级上升。企业需要集数据管理、分析和洞察应用程序开发于一体的企业洞察平台(EIP)，来帮助企业快速地将数据转化为洞察。

2019-09-05 10:29:06

大数据人工智能IBM
「大数据分析」深入浅出：如何从零开始学习大数据分析与挖掘
最近有很多人想学习大数据，但不知道怎么入手，从哪里开始学习，需要学习哪些东西?对于一个初学者，学习大数据分析与挖掘的思路逻辑是什么?本文就梳理了如何从0开始学习大数据挖掘分析，学习的步骤思路，可以给大家一个学习的建议。

2019-09-04 19:58:46

数据挖掘数据分析学习
大数据技术分享：如何在企业中从0建立一个数据/商业分析部门？
如果你现在已经在互联网行业从事多年的数据分析工作，你不妨耐心看看这篇文章，为你下一步的职业规划做一个打算。

2019-09-04 19:53:45

大数据数据分析公司
如何在Flink 1.9中使用 Hive？
Apache Flink 从 1.9.0 版本开始增加了与 Hive 集成的功能，用户可以通过 Flink 来访问 Hive 的元数据，以及读写 Hive 中的表。本文将主要从项目的设计架构、最新进展、使用说明等方面来介绍这一功能。

2019-09-04 19:32:56

HiveFlink大数据
制定机器学习训练数据策略的6个技巧
AI系统通过实例来学习，它们拥有的高质量实例数据越多，就会学得越好。缺乏，或只有低质量的训练数据可能会生成不可靠的系统，得出错误的结论，做出糟糕的决策，无法处理现实世界的变化，并引入或延续一些如偏见等问题。

2019-09-03 18:09:20

机器学习AI训练数据
美国十大热门数据科学Data Science全面解析
美国数据科学专业是当今最受广大留学生欢迎的热门专业，在互联网科技高速发展的今天，大数据时代已经正式来临，分析大数据可以帮助企业更好的进行产品制定与推广规划，从而最大程度的帮组企业盈利，所以各大公司对于数据科学专业人才可谓是求之若渴。

2019-09-03 10:09:53

数据科学数据分析美国
大数据在智慧城市建设中的深度应用
为了应对城市化所带来的全新挑战，各国不约而同的以智慧城市建设作为解决问题的抓手。中国作为全球最大的智慧城市实施国之一，无疑也将其作为重中之重。

2019-09-02 15:49:06

大数据智慧城市大数据建设
技术人最不该忽视可视化数据分析！
在这个“人人都是数据分析师”的时代，阿里的同学几乎都在参与数据的采集、加工与消费。数据可视化作为连接“加工——消费”的重要一环，其质量至关重要。优秀的可视化能促成卓越洞见，糟糕的内容则让所有的努力失去意义。

2019-09-02 15:40:25

可视化数据分析
Pandas循环提速7万多倍！Python数据分析哪种更快？
用Python和Pandas进行数据分析，很快就会用到循环。但在这其中，就算是较小的DataFrame，使用标准循环也比较耗时。

2019-09-02 15:12:46

Python 开发数据分析
云+社区联合快手 深度解读五大热门大数据技术 原创
8月24日，由云+社区（腾讯云官方开发者社区）联合快手举办的《大数据技术实践与应用》沙龙活动成功举行，沙龙聚焦于大数据的技术实践与应用，为到场的用户奉上了一场大数据技术盛宴。来自腾讯云的专家和快手的工程师重点介绍了Spark、ElasticSearch，yarn、MapReduce、Flink等大数据技术的发展历程、架构优化以及实践应用。

2019-09-01 21:20:18

腾讯云大数据
大数据是否会导致更多量化的战略决策模型?
大数据正在改变组织决策的未来。阿莱因科技大学教授Belkacem Athamena撰写了一篇关于决策中大数据演变的白皮书。由于新的大数据技术使决策更加可靠，因此企业将比以往更加重视量化决策模型。

2019-08-30 11:18:19

大数据技术系统
写给大数据从业者：数据科学的5个陷阱与缺陷
这篇分享主要总结了数据从业人员在实践中可能遇到的陷阱与缺陷。跟其他新起的行业一样，数据科学从业人员需要不停的去考虑现在，考虑未来；需要不断的斟酌工作方法的合理性，正确性。思索不断，才能前行。

2019-08-29 10:20:13

大数据IT互联网
你的隐私被泄露了！大数据时代如何保护信息安全？
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。”

2019-08-28 17:23:20

信息安全大数据技术
大数据主导的七大领域，看看你是否身处其中
在《大数据：一场改变如何我们生活，工作和思考方式的革命》一书中，Viktor Mayer-Schönberger和Kenneth Cukier认为，“大数据分析是一种革命性的工具，主要用于商业，科学，研究，媒体行业，和社交生活。”大数据跨越了标准技术产业的高墙，并扩展到了其他非技术领域。

2019-08-28 17:05:18

大数据技术人工智能
7步搞定Python数据可视化，大牛出品教程，Jupyter、Colab版都有
做图表，谁不会？打开Excel，自动就可以生成各种各样的图表。但你看这些图表呢？

2019-08-28 15:51:41

Python 开发编程语言
7个原因告诉你数据科学家为什么“供不应求”
在过去几年中，各行各业都拥有各种形式的海量数据，包括内部数据、合作伙伴、客户以及大规模业务信息。对高级数据科学家的需求改变了市场趋势，以下是影响印度数据科学工作需求统计的主要因素。

2019-08-28 08:08:47

数据科学家数据工程师数据科学
数据处理必看：如何让你的Pandas循环加快71803倍
如果你使用 python 和 pandas 进行数据分析，那么不久你就会第一次使用循环了。然而，即使是对小型数据集，使用标准循环也很费时，你很快就会意识到大型数据帧可能需要很长的时间。当我第一次等了半个多小时来执行代码时，我找到了接下来想与你共享的替代方案。

2019-08-27 17:32:10

数据处理PandasPython
数据科学中的强大思维
如果你参加过统计学入门课程，就会知道数据点可以用来激发灵感，也可以用来测试理论，但两者却不能兼顾，这是为什么呢?

2019-08-27 09:34:29

数据科学统计机器学习
海量样本无从下手？五种抽样算法分分钟搞定
数据科学是研究算法的学科。本文介绍了一些常见的用于处理数据的抽样技术。

2019-08-27 09:03:48

抽样技术数据科学算法
Hive和Spark究竟是凭借什么优势而大获成功？
Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-08-27 08:36:34

HiveSpark数据库
数据科学家为什么这么贵？
当你听到“数据科学家”这个头衔时，你会想到什么?可能不是一个衣衫褴褛、表情严肃的白领，对吧?也许这就是为什么《哈佛商业评论》(Harvard Business Review)将“数据科学家”称为“21世纪最性感的工作”。他们写道，“如果‘性感’意味着拥有非常抢手的稀有品质，那么数据科学家已经在那里了。

2019-08-26 09:47:56

数据科学家数据分析
大数据需求使用的六个Hadoop发行版
Hadoop可以在不同的发行版中使用，因为公司通常将其作为打包交易提供。它使用Hadoop分布式文件系统(HDFS)，它允许使用不同的平台和执行并行数据处理的能力。在这里，我们将讨论六种可用于满足大数据需求的Hadoop发行版。

2019-08-26 09:39:53

Hadoop发行版大数据
大数据需求使用的六个Hadoop发行版
Apache Hadoop是一个出色的软件框架，允许处理大数据元素。它可以通过采用模块化系统和处理大量数据来使用商用硬件的强大功能。Hadoop可以在不同的发行版中使用，因为公司通常将其作为打包交易提供。

2019-08-26 09:20:43

Hadoop大数据数据库
美漂数据科学家年薪多少？爬了6年H1B签证数据发现，招的人多了，但钱少了
一位名叫Tony Yiu的数据科学家就想统计一下，在美国做数据分析师，到底收入如何?下面文摘菌就带大家一起看看，去美国当数据科学家一年能赚多少钱!

2019-08-25 12:02:53

数据科学家数据数据分析
数据工程要从全局性数据架构考虑
说到数据工程，给人的感觉往往是空间数据的采集、核查、规整、入库等过程。这些过程，距离主流IT所说的“数据工程”还是有些差异的。

2019-08-23 15:58:18

数据工程数据架构分析
常用的几种大数据架构剖析
随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统。

2019-08-23 15:55:27

架构大数据BI系统
如何成为一名更有“市场”的数据科学家？
这个标题可能有点奇怪，毕竟在2019年，数据科学家本身就已经是一个非常有市场的职业了。由于数据科学对当今的业务产生了巨大影响，因此对数据科学专家的需求正在增长。截至本文发布之前，仅LinkedIn就有144,527个数据科学工作。

2019-08-22 09:23:58

数据科学工程师数据处理
6个用于大数据分析的优秀工具
大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源：传感器，气候信息，公开的信息，如杂志，报纸，文章。

2019-08-22 09:08:53

大数据HadoopStorm
“数据科学与大数据技术”专业为啥会这么火？就业前景有多好？
在刚刚结束的2019年高考录取中，可能有不少同学已经被一个新兴专业“数据科学与大数据技术”录取了，因为这个专业最近两年实在是太火了。

2019-08-22 09:07:11

大数据数据科学专业
大数据技术在在线游戏中产生了巨大的变化
大数据技术给在线游戏带来了巨大的变化。以下将阐述大数据如何在行业中产生重大影响。

2019-08-21 14:27:33

大数据网络安全
人工智能是一种改进数据控制和处理的好方法
数据处理当然受益于人工智能的使用，因为它允许从可用数据集中获得更多信息，同时确保减少错误，并且每一次数据处理练习的近似概率都会变得更好。以下阐述在数据处理中使用人工智能的一些重要好处，特别是在处理大数据。

2019-08-21 08:36:36

人工智能数据处理解决方案
物联网、大数据和人工智能，为什么总是“抱团出现”？
本文将阐述大数据、人工智能和物联网这些概念，并进一步探讨它们在工业中的重要性、面临的阻碍以及未来的发展方向。

2019-08-21 07:05:37

物联网大数据人工智能
大数据分析是21世纪医疗保健领域的颠覆者
21世纪医疗保健领域较大的颠覆者是大数据。医疗保健行业采用大数据将使其发展方式产生巨大变化。

2019-08-20 14:05:17

大数据数据分析医疗
Google科学家最新整理，给新手推荐的十篇优秀数据科学文章
作为数据科学的初学者，一些好的文章能够快速带我们入门这一充满了未知和挑战的领域。近日，google 决策智库的主管 Cassie Kozyrkov 整理了十篇给学生们的优秀文章。下面这些文章几乎都来自于相同的博客。让我们来看看是哪些文章吧~

2019-08-20 09:09:50

数据科学数据分析
面试系列：十个海量数据处理方法大总结
本文将简单总结下一些处理海量数据问题的常见方法。当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎讨论。

2019-08-19 18:42:43

大数据海量数据堆
大数据应用尚需打通采集与规范间的藩篱
数字技术是行业、机构发展的战略制高点。达沃斯发布报告显示，全球企业在数字化转型中投入超万亿美元，仅1%达到或超过预期。医疗行业的数字化程度更是远远落后于其他行业，埃森哲(Accenture)认为其尚不足交通等行业的20%。

2019-08-19 18:08:43

大数据医疗大数据梁志刚
企业数据是如何“养成”的？
如今，数据仍在以爆发的态势不断增长，并且充当着企业数字化转型的核心驱动力，成为商业模式创新的重要基础。然而，据统计，目前只有20%的数据得到了挖掘和利用，还有剩余80%的绝大多数数据由于不能被访问、不能被信任、或是不能被分析，价值无法释放，也无法被充分应用。

2019-08-19 18:01:26

企业数据数据分析数据源
如何跨历史数据和实时数据进行实时分析？
当下的数据分析需求给现有的数据基础设施带来了前所未有的压力。跨操作和存储数据执行实时分析通常是成功的关键，但这些操作实现起来却充满挑战。

2019-08-19 14:24:39

数据分析Spark操作
大数据时代，如何避免陷入“算法崇拜”？
要防止陷入"算法崇拜"，还需从源头上了解算法的前世今生，而算法是和数据紧密联系，算法源于大量数据的产生和沉淀，为了让数据具备可追溯和可归纳，同时让数据具备商业化价值，各种各样的算法产生了。

2019-08-19 09:35:22

大数据数据算法算法崇拜
数据科学简化：统计学习的关键概念
在本文中，我将深入探讨数据科学中的统计学习概念。首先，我将定义什么是统计学习。然后，我们将深入研究统计学习中的关键概念。

2019-08-19 09:31:47

数据机器学习统计学习
从韩国的大数据之殇，看技术的产业价值与功能价值
韩国在大数据行业上的案例是极具参考价值的。在一个企业发展和法规发展都极为完善的情况下，确实会损失技术的产业价值。现如今美国闹的沸沸扬扬的科技巨头拆分，实际也有对这类情况的应对。

2019-08-19 09:09:19

韩国大数据互联网
深度解析 Flink 是如何管理好内存的？
在这篇文章中，我们将讨论 Apache Flink 如何管理内存，讨论其自定义序列化与反序列化机制，以及它是如何操作二进制数据的。

2019-08-19 08:01:50

Flink数据管理内存
真正的大数据问题以及为什么只有机器学习才能解决它
为什么很多公司仍在努力构建从采集数据到获得洞察力的平稳运行的管道?他们希望投资和采用机器学习算法来分析数据，并做出商业预测。

2019-08-16 10:38:23

大数据机器学习算法
民生银行数据中台体系的构建与实践
在大数据、人工智能、区块链等新兴技术的驱动下，各家银行纷纷利用新技术制定数字转型改革战略，寻找差异化经营的可行模式。

2019-08-16 10:04:40

民生银行数据中台数据体系
上一页 1 ··· 7374757677 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服