51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8810内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8810 条
Google科学家最新整理，给新手推荐的十篇优秀数据科学文章
作为数据科学的初学者，一些好的文章能够快速带我们入门这一充满了未知和挑战的领域。近日，google 决策智库的主管 Cassie Kozyrkov 整理了十篇给学生们的优秀文章。下面这些文章几乎都来自于相同的博客。让我们来看看是哪些文章吧~

2019-08-20 09:09:50

数据科学数据分析
面试系列：十个海量数据处理方法大总结
本文将简单总结下一些处理海量数据问题的常见方法。当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎讨论。

2019-08-19 18:42:43

大数据海量数据堆
大数据应用尚需打通采集与规范间的藩篱
数字技术是行业、机构发展的战略制高点。达沃斯发布报告显示，全球企业在数字化转型中投入超万亿美元，仅1%达到或超过预期。医疗行业的数字化程度更是远远落后于其他行业，埃森哲(Accenture)认为其尚不足交通等行业的20%。

2019-08-19 18:08:43

大数据医疗大数据梁志刚
企业数据是如何“养成”的？
如今，数据仍在以爆发的态势不断增长，并且充当着企业数字化转型的核心驱动力，成为商业模式创新的重要基础。然而，据统计，目前只有20%的数据得到了挖掘和利用，还有剩余80%的绝大多数数据由于不能被访问、不能被信任、或是不能被分析，价值无法释放，也无法被充分应用。

2019-08-19 18:01:26

企业数据数据分析数据源
如何跨历史数据和实时数据进行实时分析？
当下的数据分析需求给现有的数据基础设施带来了前所未有的压力。跨操作和存储数据执行实时分析通常是成功的关键，但这些操作实现起来却充满挑战。

2019-08-19 14:24:39

数据分析Spark操作
大数据时代，如何避免陷入“算法崇拜”？
要防止陷入"算法崇拜"，还需从源头上了解算法的前世今生，而算法是和数据紧密联系，算法源于大量数据的产生和沉淀，为了让数据具备可追溯和可归纳，同时让数据具备商业化价值，各种各样的算法产生了。

2019-08-19 09:35:22

大数据数据算法算法崇拜
数据科学简化：统计学习的关键概念
在本文中，我将深入探讨数据科学中的统计学习概念。首先，我将定义什么是统计学习。然后，我们将深入研究统计学习中的关键概念。

2019-08-19 09:31:47

数据机器学习统计学习
从韩国的大数据之殇，看技术的产业价值与功能价值
韩国在大数据行业上的案例是极具参考价值的。在一个企业发展和法规发展都极为完善的情况下，确实会损失技术的产业价值。现如今美国闹的沸沸扬扬的科技巨头拆分，实际也有对这类情况的应对。

2019-08-19 09:09:19

韩国大数据互联网
深度解析 Flink 是如何管理好内存的？
在这篇文章中，我们将讨论 Apache Flink 如何管理内存，讨论其自定义序列化与反序列化机制，以及它是如何操作二进制数据的。

2019-08-19 08:01:50

Flink数据管理内存
真正的大数据问题以及为什么只有机器学习才能解决它
为什么很多公司仍在努力构建从采集数据到获得洞察力的平稳运行的管道?他们希望投资和采用机器学习算法来分析数据，并做出商业预测。

2019-08-16 10:38:23

大数据机器学习算法
民生银行数据中台体系的构建与实践
在大数据、人工智能、区块链等新兴技术的驱动下，各家银行纷纷利用新技术制定数字转型改革战略，寻找差异化经营的可行模式。

2019-08-16 10:04:40

民生银行数据中台数据体系
缺失数据别怕！这里有份强大的初学者指南
根据很多专业人士的经验，对数据清理涉及的过程有充分的认知总是好的。了解流程、流程的重要性以及流程中可使用的技巧，将减少执行数据清理任务所需的时间。

2019-08-16 09:20:39

数据清理数据集分析数据
云数据管理会成为DataOps的未来吗?
有专业人士预测，到2020年，云投资将超过1430亿美元。尽管，很多500强企业在过去不愿涉足数字化转型领域;但近年来，他们的态度发生了根本性的转变。数字化转型已经不只是一个“口号”，更像是一个引擎，让企业真正获得了大数据的能力。

2019-08-15 23:24:23

云大数据企业
从全球大数据市场看未来发展趋势
预测未来几年，全球大数据储量规模也都会保持40%左右的增长率。在数据储量不断增长和应用驱动创新的推动下，大数据产业将会不断丰富商业模式，构建出多层多样的市场格局，具有广阔的发展空间。

2019-08-15 22:55:39

大数据数据圏数据产生量
我国大数据产业发展前景广阔，物联网将成为主要驱动力
通过研究发现，本轮大数据发展的主要驱动力是互联网的快速普及，但是随着移动终端市场的渗透率逐渐饱和，我国互联网市场规模增速明显放缓，物联网将成为下一轮数据爆炸式增长的主要来源，并且会极大提高我国数据信息的价值密度。

2019-08-15 09:15:07

大数据物联网互联网
企业可以不要大数据，但必须要有“数据中台”
数据中台绝对不等于数据平台，差别之一就在于是否具有业务属性，这也是数据中台出现的一个非常重要的原因，它可以支撑多个前台业务，使得数据不再是各前端业务独立管理，真正实现不同业务之间的互通互融。

2019-08-14 22:12:09

数据中台数据平台数据库
大数据核心框架MapReduce过程解析
首先MapReduce很明显是分为Map阶段和Reduce阶段。两个阶段分别做什么呢?小编自己画了个图，大家共勉一下，请看正文。

2019-08-14 17:13:23

大数据MapReduce框架
大数据时代的用户数据隐私保护
近年来，用户信息安全问题是公众关切的焦点议题之一。个人信息与数据保护作为互联网治理体系的组成部分，也是构建良好互联网秩序的重中之重。

2019-08-14 16:08:43

大数据安全互联网
数据科学家与数据分析师的三个区别
数据科学家和数据分析师有相同的目标:通过解释信息提供关键业务决策和趋势。但这些也为他们的角色带来了不同的技能、教育和经验水平要求，并且影响了他们的需求和薪酬。

2019-08-13 21:44:46

数据科学家数据分析师数据
大数据和物联网都是什么的情况
无可否认，科技从根本上改变了我们今天的生活方式。与我们的祖先相比，如今的日常工作中使用了大量先进的技术。

2019-08-13 15:46:34

物联网大数据技术
常见数据结构和Javascript实现总结
做前端的同学不少都是自学成才或者半路出家，计算机基础的知识比较薄弱，尤其是数据结构和算法这块，所以今天整理了一下常见的数据结构和对应的Javascript的实现，希望能帮助大家完善这方面的知识体系。

2019-08-13 09:40:55

数据结构算法JavasCript
数据科学和分析的热门市场
近年来，数据分析、集成、可视化的价值日益重要，许多企业最近在数据分析领域的收购也凸显了这一点。企业的首席信息官应优先考虑团队教育、现代工具集和流程，以利用数据分析市场的所有变化。

2019-08-12 10:32:30

大数据数据科学云计算
Hadoop是什么，能干什么，怎么使用
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

2019-08-09 16:01:18

Hadoop数据库
大数据时代的终结：HPE收购MapR
HPE今天宣布将收购MapR Technologies的资产，收购金额未对外公开，给这个为期两个月、让MapR这家曾经高速发展的大数据公司陷入困境的戏剧性事件画上了句号。

2019-08-08 17:33:43

大数据MapRHPE
你公司所拥有的数据，真正被使用的有多少？
如今，很多公司的领导者基本都可以认定一个事实：你的公司有很多数据。但有一个非常重要问题是，任何组织内部，可能都会有大量数据从来没有被收集、处理或使用过，当然造成这种现象的原因有很多。

2019-08-08 16:35:02

暗数据信息企业
如何在GPU上加速数据科学
数据科学家需要算力。无论您是用 pandas 处理一个大数据集，还是用 Numpy 在一个大矩阵上运行一些计算，您都需要一台强大的机器，以便在合理的时间内完成这项工作。

2019-08-07 18:52:40

GPU数据科学CPU
比Spark快100倍的GPU加速SQL引擎！BlazingSQL开源了
BlazingSQL 是基于英伟达 RAPIDS 生态系统构建的 GPU 加速 SQL 引擎，可以为各种 ETL 大数据集提供 SQL 接口，并且完全运行在 GPU 之上。

2019-08-06 17:19:22

开源技术 趋势
学Hadoop你必须要知道的
Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。

2019-08-06 14:54:22

Hadoop数据集海量数据
简述Hadoop之后大数据的未来在谁的身上
本篇文章小编就给读者们探讨一下Hadoop之后大数据的未来在谁的身上，对大数据开发感兴趣的小伙伴们就随小编来了解一下吧。

2019-08-06 14:18:33

Hadoop大数据数据分析
5天破10亿的哪吒，为啥这么火，Python来分析
小编抱着好奇的心态，去猫眼上看了一下，结果显示在接近84万人评分的情况下，评分竟然高达9.7分。看了这确实是一部好剧，也值得我去爬取一下大家的评论，并进行一波分析，从中发现一些值得关注的东西。

2019-08-06 14:15:23

Python数据分析哪吒
Hive SQL常用命令总结，大数据开发人员按需收藏
Hive是基于Hadoop生态的一个重要组件，是对数据仓库进行管理和分析数据的工具。她提供了SQL查询方式来分析存储在HDFS分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能。

2019-08-06 14:14:47

Hive SQLSQL数据库
数据分析有哪些好书值得推荐？
假期除了吃喝玩乐，还可以利用碎片化时间看看书，让自己的人生更美好。在知识的海洋里，一次小小的偶遇，可能就是你苦候良久的邂逅。

2019-08-05 15:07:04

数据分析书单学习
大数据“问诊”朝阳老旧街区
在朝阳规划艺术馆数字沙盘区，巨型荧幕上显示着用地强度、通勤便利性、人口活力等数据指标。这些庞杂的监测数据，就是双井街道和麦子店街道的“体检报告”。左手大数据“体检化验”，右手责任规划师开方、专家“会诊”。

2019-08-05 14:56:23

大数据社区规划
数据分析工具用SPSS和Python哪个好？
SPSS和Python，单纯地说哪个好，是没有意义的，还要看你用来干什么?本文笔者就来帮你区分一下这些术语。

2019-08-05 13:35:10

数据分析Python分析工具
从道德层面看基于云的数据科学
在拥抱大数据，机器学习，预测分析和无限数据访问的同时，我们如何避免其中潜在的伤害?考虑体育博彩。如今，许多投注者使用已知和已经发布的统计数据，数学模型和其他相对原始的工具。这让实施这一想法的投注者获得了一个小小的优势。

2019-08-05 11:01:24

大数据数据科学数据
Spark on Kubernetes 的现状与挑战
云原生时代，Kubernetes 的重要性日益凸显，这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的现状与挑战。

2019-08-02 13:16:08

SparkKubernetes云原生
Hadoop YARN：调度性能优化实践
YARN作为Hadoop的资源管理系统，负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

2019-08-02 11:28:45

HadoopYARN调度系统
大数据与离婚：企业如何利用生活变化
大数据与离婚有什么关系？这可比人们想象的还要多。如今，企业正在利用消费者生活中的巨大变化开展业务。

2019-08-02 11:09:16

大数据零售商离婚
大数据分析及其建模应用
在数字经济时代，互联网、物联网、5G、大数据、智慧城市等各类形式的信息技术呈爆炸式增长，使得数据以令人难以想象的速度不断增长，企业经营的各个阶段都可以被记录下来，产品销售的各个环节也被记录下来，客户的消费行为和网上行为，智能设备的信息都被采集下来。

2019-08-01 13:09:57

大数据分析建模信息化
杨镇：从大数据与 AI 技术发展来看，跨链技术必要且必然
本文首先会对大数据和 AI 技术做一些概念扫盲，算是个小小的科普，也会涉及一些我认为有助于我们从本质上理解这些技术的关键点;我本人其实早就想聊聊这些内容，因为我见多太多人乃至很多公司都并不确切地知道这些最基本的概念，都只是在跟风或者被很多媒体、大公司的商业炒作所迷惑。

2019-08-01 12:41:22

人工智能大数据AI
前端必看的数据可视化入门指南
这是一篇给大家提供数据可视化开发的入门指南，介绍了可视化要解决的问题和可以直接使用的工具，我将从下面几个方面给大家介绍，同时以阿里/蚂蚁的可视化团队和资源举例说明：

2019-08-01 10:20:36

前端数据可视化阿里
物联网大数据平台应具备的功能和特点
一个物联网大数据平台需要具备哪些功能?与通用的大数据平台相比，它需要具备什么样的特征呢?我们来仔细分析一下。

2019-08-01 08:26:14

物联网大数据平台物联网IOT
干货：如何正确地学习数据科学中的Python
大多数有抱负的数据科学家是通过学习为开发人员开设的编程课程开始认识 python 的，他们也开始解决类似 leetcode 网站上的 python 编程难题。他们认为在开始使用 python 分析数据之前，必须熟悉编程概念。

2019-07-31 15:14:40

Python数据科学可视化
图解HBase--大数据平台技术栈
HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase不限制存储的数据的种类，允许动态的、灵活的数据模型。HBase可以在一个服务器集群上运行，并且能够根据业务进行横向扩展。

2019-07-31 14:51:21

HBase数据库数据模型
常见的大数据分析模型
今天我们主要为大家讲解在做大数据可视化时，有哪些常见得到数据分析模型。

2019-07-31 14:16:35

大数据人工智能算法
当人们谈论工业大数据时，到底在谈论什么
当前，全球主要国家掀起了新一轮以“信息技术与制造业融合”为共同特征的工业革命，加速发展新一代信息技术，并推动其与全球工业系统的深入融合，以期抢占新一轮产业竞争的制高点。无论是欧美老牌国家制造业的重振，还是中国制造业的转型提升，工业大数据都将发挥不可替代的作用。

2019-07-30 13:12:22

工业大数据工业互联网智能制造
大数据分析的八大趋势
有哪些新兴技术是我们应该关注，或者说科研人员正在重点研究的呢?《电脑世界》采访了一些IT精英、咨询师和行业分析专家，来看看他们列出的几大趋势吧。

2019-07-30 12:43:28

大数据数据湖数据分析
数据科学家需要了解的5种采样方法
笔者按，采样问题是数据科学中的常见问题，对此，WalmartLabs 的数据科学家 Rahul Agarwal 分享了数据科学家需要了解的 5 种采样方法，笔者编译整理如下。

2019-07-30 12:05:20

数据科学采样算法
是什么让数据科学家从优秀变得伟大？
数据科学领域的劳动力市场正发生着快速的变化。曾经，能够搭建机器学习模型被认为是只有少数顶尖的数据科学家才能掌握的尖端技能，但如今，有一点基本编程经验的人就能根据教程完成Scikit-learn或者keras的模型训练。

2019-07-30 11:47:29

数据科学云计算机器学习
一篇文章了解 Spark Shuffle 内存使用
在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。

2019-07-26 15:01:42

SparkShuffle内存
上一页 1 ··· 7475767778 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服