51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8799内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8799 条
数据分析工具篇——Spark计算原理
Hadoop的MR结构和YARN结构是大数据时代的第一代产品，满足了大家在离线计算上的需求，但是针对实时运算却存在不足，为满足这一需求，后来的大佬研发了spark计算方法，大大的提高了运算效率。

2021-01-25 20:20:35

数据分析SparkHadoop
Pandas中的这3个函数，没想到竟成了我数据处理的主力
为展示应用这3个函数完成数据处理过程中的一些demo，这里以经典的泰坦尼克号数据集为例。需要下载该数据集和文中示例源码的可后台回复关键字apply获取下载方式。

2021-01-25 20:08:36

Pandas数据处理数据分析
数据分析师必须了解的编程语言TOP4
想要入行数据分析领域，你是否对选择要学习的编程语言感到困惑？当前流行和广泛接受的编码语言包括Python，R，Scala，Hadoop语言（Hive，Pig等），Java和SAS。但是，Java语言正在迅速失去其光泽，只有12％的数据分析师当前从事大数据项目的工作，比其他任何语言都更喜欢python。

2021-01-23 23:21:46

数据分析编程语言Java
杀熟只是个开始，大数据违法成本过低
爆炸性增长的数据带来了价值增长地带，合理利用数据诚然可以提升企业运行效率。但是大数据这把双刃剑向内的剑锋已经开始闪烁寒光。“杀熟”之类的数据隐私买卖频繁出现的首要原因是大数据犯罪成本过低。

2021-01-23 13:04:09

杀熟大数据数据安全
作为数据科学家，你会怎样应对这五大挑战？
作为数据科学家，我在很多公司工作过，也遇到了很多问题和挑战。事实上，很多人都会经历这些挑战，就不同情况而言，也会有多种可行的解决方案。我将谈谈我曾面临的一些最常见或最困难的挑战。

2021-01-22 15:25:42

数据科学数据分析IT
公安大数据建设再次被强调
1月18日至1月19日，国务委员、公安部党委书记、部长赵克志在全国公安厅局长会议上再次强调了公安大数据战略，提出“要深化科技创新，深入推进大数据智能化建设应用，推动大数据建设应用实现新跨越”。

2021-01-22 10:17:09

大数据公安大数据大数据应用
人民日报：套路多损害消费者利益维权难 大数据“杀熟”必须重罚
更让用户无奈的是，尽管常用的网络平台APP存在种种问题，很多时候却别无选择，因为有些平台已处于垄断地位。

2021-01-22 09:46:22

大数据互联网大数据应用
图解计算机中数据的表示形式
作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。

2021-01-22 05:44:24

数据底层架构
未来10年，大数据将取代石油，成为最重要的资源
马云曾说过：未来10年最稀缺的资源不再是石油，而是数据，未来谁有获取数据、处理数据、分享数据的能力，就可以抓住未来的趋势。

2021-01-21 22:23:57

大数据石油智慧交通
大数据创新任重道远
　　“数据融合需要标准规范先行，实现数据可见性、数据易理解性、数据可链接性、数据可信性、数据互操作性和数据安全性。”中国工程院院士邬贺铨在近期举办的“永不落幕的数博会”2020系列活动——“大数据产业生态创新发展高峰会”上表示。

2021-01-21 17:20:28

大数据安全人工智能
六个大数据采集工具架构分析
随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：Apache Flume、Fluentd、Logstash、Chukwa、Scribe、Splunk Forwarder。

2021-01-21 16:20:14

数据采集数据采集工具大数据
自动获取vlookup函数的第三参数，再也不用一列一列的数了
对于vlookup函数，很多人都有会这样的想法：vlookup函数的第三参数为什么就不能自动的获取到呢，还需要一个一个的数太烦人了。有没有什么方法能自动的获取vlookup函数的第三参数呢?当然有了，利用match函数就能达到自动获取vlookup函数第三参数的效果，操作也非常的简单，下面就让我们来一起学习下吧

2021-01-21 15:44:03

vlookup函数数据区域Match函数
未来10年，大数据将取代石油，成为最重要的资源
在信息高度发达的互联网时代，我们被各种给样的数据包围，而且是不同形式的。 马云曾说过：未来10年最稀缺的资源不再是石油，而是数据，未来谁有获取数据、处理数据、分享数据的能力，就可以抓住未来的趋势。大数据不但能够提升交通的效率，未来也可以提升市场的效率。

2021-01-21 14:33:38

大数据大数据应用
一文让你了解什么是管理大数据技术！
为了能更好地适应每一个时代的机遇与挑战，企业的制度需不断更新迭代。那么时至今日，最具备划时代特点的企业管理制度是什么呢？看看这里，一文让你了解什么是管理大数据技术！

2021-01-21 14:26:56

大数据互联网大数据应用
云计算成为数据仓库的新重心
绝大多数组织计划在2021年扩大对云计算数据仓库和数据湖的投资。然而，围绕数据管理和ETL的许多问题仍然存在。

2021-01-21 11:44:20

云计算数据仓库云数据仓库
中国工程院院士邬贺铨：大数据创新任重道远
“数据融合需要标准规范先行，实现数据可见性、数据易理解性、数据可链接性、数据可信性、数据互操作性和数据安全性。”中国工程院院士邬贺铨在近期举办的“永不落幕的数博会”2020系列活动——“大数据产业生态创新发展高峰会”上表示。

2021-01-21 10:47:04

大数据云计算大数据分析
政府大数据治理：政府管理的新形态
大数据是从各种渠道收集的大量数字数据的总称，由于它数量巨大、未经处理、非结构化，无法通过目前主流的软件工具在合理时间进行采集、存储和处理。

2021-01-21 09:54:47

大数据大数据治理政府管理
手把手教你用ECharts画柱状图
柱状图主要用于表示离散数据的频数，也是一种基础可视化图。

2021-01-21 09:10:29

ECharts柱状图大数据
有人相爱，有人年少财务自由，有人数据结构都背不出来
今天给大家介绍的是常见的几种数据结构，主要针对一些刚入门数据结构以及需要系统复习数据结构的小伙伴们!身为程序员的我们，每天都在和不同的数据打交道。那么你真的对数据结构一清二楚了么?

2021-01-21 08:04:39

数据结构栈
大数据排查：年预警高风险入境人员4.5万人
从全国移民管理工作会议上了解到，2020年，全国边检机关通过信息大数据分析和排查预警，向各地联防联控机制推送预警高风险入境人员4.5万人次。

2021-01-20 16:01:44

大数据违法边检机关
2020十大优秀大数据分析工具，果断收藏
营销的基本原理是一致的，每个人都喜欢洞察力，因为这些数字模式可以提供最安全的方法来确保企业采取正确的行动，更有效地运作，以及将其资源用在何处。数据已经成了战略的据点。

2021-01-20 15:02:22

数据分析大数据可视化
对大数据开发工程师的能力新要求
作为大数据从业者，你一定明白有数据是一回事，可要想让数据发挥价值、成为生产力是另一回事。手里得有两把刷子，才能成为大数据圈儿的“大拿”！

2021-01-20 10:30:04

大数据大数据开发
大数据杀熟消费者维权难 算法应用不公该如何规制
大数据“杀熟”，也只是冰山一角。近几年，网络游戏抽奖概率不明、网络消费促销规则繁复、网络搜索竞价排名推荐、网络直播推送违反法律规定和公序良俗、刷好评隐差评使评价结果呈现失真、平台采用算法限制交易等侵害消费者权益的行为屡禁不绝、备受诟病。

2021-01-20 09:14:54

大数据杀熟算法消费者
20张图带你到HBase的世界遨游
HBase 是一款面向列存储，用于存储处理海量数据的 NoSQL 数据库。它的理论原型是Google 的 BigTable 论文。你可以认为 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

2021-01-20 08:34:37

HBaseNoSQL数据库
如何利用统计软件Stata进行回归分析 原创
数据挖掘和机器学习在如今的社会早已成为经典的流行技术。采用相关技术的企业不在少数，并且为社会产生了极大的效益。流行的数据挖掘软件非常多，比如 Scikit-Learn、Pandas、R、Spark MLLib 等等，极大的方便了广大从业者的日常开发和数据分析工作。

2021-01-20 08:30:00

数据分析机器学习IT
八张图，看懂数据分析如何驱动决策
数据驱动决策，是大家天天挂在嘴边的时髦词汇。可到底数据是如何驱动的?很少有同学真正看到过全流程。更有同学总疑惑：“自己被人追着屁股要数，感觉自己才是被驱着动的“。今天系统讲解一下，拒绝跟风。

2021-01-20 06:02:24

数据分析驱动
后疫情时代：2021年商业科学改变供应链的5种方法
2020年，各行各业都不容易，新冠病毒改变了我们生活的方方面面。疫情引起的数据科学一大趋势，就是数据科学家和数据驱动分析与大型公司运营整合加速。要想在混沌中生存发展，数据至关重要。

2021-01-19 22:04:29

数据科学大数据数据分析
2021年大数据发展趋势及动态
2021年大数据发展趋势及动态，大数据已经走单纯的技术架构和技术体系，走向了社会基础设施。2020年“新基建”就将“大数据中心”定义为数字新基础设施的重要建设内容。

2021-01-19 21:59:14

大数据物联网边缘计算
2021年数据产业五大趋势预测
2020年是充满动荡的一年，组织面临着众多挑战。进入2021年，大数据行业将会更加快速地发展。下面来看看2021年数据产业将出现的五大趋势与预测吧。

2021-01-19 19:14:52

数据大数据数据产业
“大数据”行业风口来临，源于数据分析，终于产业效能提升
从2018年全球大数据储量分布状况分析，我国成为大数据存储量最高的国家，占据全球大数据储量的23%，美国大数据存储量位居全球第二，占比全球大数据储量的20.4%。

2021-01-19 10:32:37

大数据云计算大数据分析
别再被忽悠了！想靠Python找工作，你在做梦！
我在数据分析行业中浸淫了十年之久，从接触数据分析开始就学习了很多编程语言，其中就包括现在大火的python，也有很多人在转行数据分析之前都来问我要不要学python。

2021-01-19 06:05:28

Python数据分析编程语言
QQ偷偷扫描浏览器，这是要做什么？大数据时代我们都是透明人
近日有网友在V2EX论坛上爆料，新版本的QQ和TIM会读取浏览器的浏览记录和cookie信息。包括微软edge，360浏览器，猎豹浏览器，Chrome浏览器等等浏览器纷纷中招，除了IE浏览器之外，可能大家常用的浏览器都在QQ的监视之下。

2021-01-18 16:57:40

网络安全大数据QQ
高德地图发布“全国十大热门上班路”：北京后厂村路、大山子路口均上榜
近日，高德地图联合国家信息中心大数据发展部、清华大学戴姆勒可持续交通联合研究中心等权威机构共同发布《2020年度中国主要城市交通分析报告》。

2021-01-18 15:46:57

高德大数据上班
高德地图2020年度交通报告：“全国十大热门上班路”出炉
近日，高德地图联合国家信息中心大数据发展部、清华大学戴姆勒可持续交通联合研究中心等权威机构共同发布《2020年度中国主要城市交通分析报告》。报告首次对外发布“全国十大热门上班路”榜单，其中北京市“龙域西一路-西二旗北路-后厂村路”驾车上班热度最高，排名第一。

2021-01-18 15:40:18

高德交通大数据
企业中台规划和IT架构微服务转型杂谈
对于传统企业IT架构转型，中台和微服务架构规划在我头条前面的文章里面都有比较系统的整理和阐述，虽然云原生概念在2013年就提出，但是2020年可以算作是云原生的元年，同时企业IT架构转型，微服务化和逐步迁移上公有云也将是未来多年的一个技术发展趋势。

2021-01-18 14:49:07

企业中台微服务迁移上云
数字经济发展呼唤数据权利保护类法律
当前，以信息技术和数据资源作为关键要素的数字经济蓬勃发展，并成为推动各国经济高质量增长的重要动能。加强数字治理，为建设数字经济强国提供制度保障是国家立法的当务之急。我国立法机关正在综合考量国家安全、信息保护、数据产权等需求，分类分步完善关于数据的法律制度体系。

2021-01-18 13:00:03

数字经济数据权利大数据
2021年数据分析的行业预测
为了对2021年的重要新趋势有所了解，行业媒体采访了各行业厂商的高管，以获取他们的思想和见解，以及对可能发生的事情的预测。2021年数据分析行业将会面临令人兴奋的前景。

2021-01-18 11:06:38

数据分析数据科学大数据
专家建议：用大数据提升突发公共事件应急能力
充分理解和发挥大数据优势，完善数字化应急治理体系与机制，对于提升突发公共事件应急能力具有重要现实意义。

2021-01-18 10:59:27

大数据公共事件大数据+
2021大数据5大趋势，值得关注
2014年，“大数据”首次进入政府报告，中国市场便开始了一场大数据的浪潮。2020年“新基建”又将“大数据中心”定义为数字新基础设施的重要内容。随着数字时代的不断转型，以及各个行业数据的增长，2021年，大数据仍是科技发展的重中之重。

2021-01-18 10:08:36

大数据大数据趋势
2021年十大科技趋势 - 人工智能，边缘计算，机器视觉等
随着科技浪潮的不断涌进，2021年，微服务将变得极简；云原生则以应用为导向；边缘计算也将迎来规模化商业落地；前端代码会更简单；并且大数据也将会发生变革，与云融合，湖仓一体从理论到落地；人工智能将迈过发展的初级阶段，可解释性AI大规模应用落地更进一步；做重要的是5G的应用加快更多产业的升级。

2021-01-18 09:54:13

人工智能边缘计算机器视觉
2021年大数据发展十大趋势：抓准一个，就能掌握先机
如何激活数据价值、真正从大数据中“淘金”，成为2021年大数据的重中之重。大数据究竟如何持续不断地影响组织和机构，以及它给这个世界带来了何种影响，本文特别梳理出2021年大数据技术相关趋势与关键点，以便大家能够在快速发展的数字化时代抓住机遇，快人一步。

2021-01-18 09:48:20

大数据大数据技术
未来：大数据和AI越来越“懂”你
从什么时候开始，世界变化的更快了呢？也许自动化是现代社会的一个重要标志。那么是什么因素推动自动化产生的呢，接下来我将为您介绍 两大不能被忽略的因素。

2021-01-18 08:23:09

大数据AI人工智能
实时数仓|架构设计与技术选型
当我们做一个项目时往往都需要选择该用什么技术。这一部分不是我们普通员工想的，而是架构师会根据客户的需求选择出合适的技术。

2021-01-18 05:20:52

数仓hive架构
想在Kaggle比赛中进入前4%，你需要掌握哪些诀窍？
其实我们对于Kaggle比赛挺陌生的。我们不是机器学习领域的专业人士，只是在网上在线课程学习了Python和机器学习而已。

2021-01-17 16:30:57

Kaggle机器学习大数据
大数据在智慧城市中的作用
智慧城市的兴起基于各种先进技术，例如物联网、人工智能和5G，这些技术促进了大数据的流动，从而为各种市政服务的性能和有效性提供宝贵见解。

2021-01-17 08:35:36

大数据智慧城市
轻松教你搞定组件的拖拽, 缩放, 多控制点伸缩和拖拽数据上报
由于我们的技术栈采用的是 React, 目前还没有一个成熟库可以同时支持自由拖拽和缩放, 我们不得不用 react-dragable 和 react-resiable两个库来实现拖拽和缩放, 但是这样我们要维护的数据结构就相当复杂了(当然vue生态有成熟的vue-dragable等来支持自由拖拽和缩放), 所以最后笔者决定自己来实现一个.

2021-01-16 12:21:59

react-dragareact-resia可视化
智慧城市如何实现数据的真正价值？
在摘录自《悉尼市概况》的摘录中，我们探讨了悉尼的《智慧城市战略框架》旨在如何帮助将原始数据转化为可操作的知识。

2021-01-15 17:10:55

智慧城市数据悉尼
让大数据真正发挥“大价值”
数字经济时代，大数据带来的诸多便利得益于被誉为“万能粮仓”的数据中心。数据中心算力越强，大数据价值越能得到发挥。

2021-01-15 14:37:38

大数据数据中心新基建
一文教你认清领域模型和数据模型
依稀记得我第一次设计一个系统的时候，画了一堆UML图，面对Class Diagram(其实就是领域模型)，纠结了好久，不知道如何落地。因为，如果按照这个类图去落数据库的话，看起来很奇怪，有点繁琐。可是不按照这个类图落库的话，又不知道这个类图画了有什么用。

2021-01-15 13:18:39

数据模型领域模型代码
混合数据湖的好处
本文介绍了如何使用混合数据湖。数据湖使您的公司能够灵活地以数据形式捕获业务运营的各个方面，同时保持传统数据仓库的生命周期。

2021-01-15 11:40:38

混合数据湖数据湖数据
上一页 1 ··· 4647484950 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服