51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8824内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8824 条
DLF +DDI 一站式数据湖构建与分析最佳实践
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。

2021-08-06 09:33:57

数据湖DLF DDI
数据分析助力帕克兰医院拿下抗疫之战
帕克兰团队在数据分析领域的早期探索与持续投入，帮助他们提前建立起足以应对爆发式疫情的高敏捷性。

2021-08-06 06:47:05

数据分析数据新冠疫情
学习大数据分析需要具备的三大技能
面对大数据越来越猛的发展趋势，我们不得不承认，大数据的前景是极好的，也因此催生了大数据培训的热潮。不少外行小伙伴，希望通过专业的网上培训学习，掌握学习大数据分析技术，入行做大数据。

2021-08-05 23:24:44

大数据数据分析技能
大数据的利与弊？请别再拿隐私数据说事儿了
人们都说数据是未来企业的核心资产。其实这句话就已经说出了结论。

2021-08-05 23:15:19

大数据隐私工具
大数据分析点亮新常态下体育产业创新发展新思路
近日,东京奥运会终于宣布开幕。由于新冠疫情的影响,原定于2020年7月24日开幕的东京奥运会被整整推迟了一年。直到今年七月,仍有不少东京奥运相关人员被报告感染,甚至在开赛前一天,奥运会仍然还存在着被取消的可能。一波三折之后,如期举办的东京奥运更显难能可贵。

2021-08-05 21:39:06

大数据分析
友盟+ 消息推送U-Push，为开发者提供合规、高效推送服务
友盟+一直致力于为百万开发者提供数据化运营服务，同时也非常重视个人信息保护与合规，从组织建设、制度流程、技术工具和人员能力等多个方面构建数据合规及信息安全体系，并与开发者一道共同推动个人信息保护工作，共同落实个人信息保护义务。

2021-08-05 21:36:12

友盟+U-Push
Snowflake 如日中天是否代表 Hadoop 已死？大数据体系到底是什么？
大数据平台的数仓体系最初由数据库发展而来，Shared-Nothing（也称MPP）架构在很长一段时间成为主流。随云原生能力增强，Snowflake为代表的Shared-Data逐渐发展起来。而基于DFS和MapReduce原理的大数据体系，设计之初就是Shared-Everything架构。

2021-08-05 15:32:18

Snowflake Hadoop 大数据
爱奇艺实时大数据体系：应对超3千万QPS也稳得一批
毫无疑问，实时化一定是大数据未来最重要的方向之一。爱奇艺大数据团队会沿着上述这些方向继续探索和发展，通过技术创新去支持和孵化更多落地的业务场景，继续推动爱奇艺的数据和产品向着实时化的方向发展。

2021-08-05 15:03:16

爱奇艺大数据体系存储
疫情当下，大数据可视化对此有何作用？
随着数据信息的越发复杂，大数据可视化技术的应用也变得越发广泛，在各大行业领域中，大数据分析都是推动产品、行业发展、进步的重要因素之一，而我们也正式步入了数字信息时代。

2021-08-05 13:52:05

大大数据疫情数据可视化
2021数据治理趋势分析
2021年的数据治理趋势反映了不断变化的数据管理格局，侧重点主要在数据安全和远程访问。在很大程度上，数据治理趋势受到了2020年应对大流行带来的持续影响，当时企业面临着突然将工作场所结构转向远程设置的情况。

2021-08-05 11:21:01

数据治理数据收集云
大数据“杀熟”的正面效益
大数据“杀熟”，可简单理解为经营者通过大数据分析手段，利用自身掌握的信息优势，将新老客户区别对待，对老客户设置更高的价格，造成老客户吃亏的现象。本质上，大数据“杀熟”行为是个性化的“差别化定价”。

2021-08-05 11:13:47

大数据杀熟大数据分析大数据应用
强势登上Github热榜，这个数据可视化分析平台火了！
今天要和大家推荐一个最近新开源的数据可视化分析平台——DataEase。

2021-08-05 10:46:59

GitHub代码开发者
浅谈人工智能、大数据等技术在交通领域的应用
随着人工智能、大数据、物联网、云计算等技术的兴起与发展，各类设备、终端、系统平台等都会产生海量的数据，加之传统的处理方式已经逐渐落伍，因此，这些智能便捷化的技术便逐渐渗透到各行各业中。像交通行业随着交通路线、卡口的增多及大规模联网，这就汇集了海量车辆通行记录信息，如果单纯......

2021-08-05 09:23:56

人工智能大数据物联网
终于有人将Seaborn可视化讲明白了
Seaborn是一种开源的数据可视化工具，它在Matplotlib的基础上进行了更高级的API封装，因此可以进行更复杂的图形设计和输出。

2021-08-04 20:35:03

可视化SeabornMatplotlib
贝壳找房 x DorisDB：全新统一的极速OLAP平台实践
在近半年的使用过程中,从整体来看DorisDB在稳定性和查询性能上要优于Apache doris。宽表性能和ClickHouse不相上下,多表Join能力要胜于ClickHouse。DorisDB在保持甚至超过ClickHouse性能的同时,极大降低了我们的运维压力,简化了数据开发的链路。

2021-08-04 18:14:25

贝壳找房 DorisDB
《数字化中台》上市，一本数智化转型和商业创新的实战指导书！
当前，数智化浪潮、国产化浪潮、全球化浪潮三浪叠加，云计算、移动互联网、大数据、人工智能、物联网等新技术与实体经济加速融合，为中国企业和公共组织的数智化转型带来了历史性的发展机遇。

2021-08-04 18:10:21

中台数字化
数据告诉你，哪个省才是高考地狱模式？
本文，以若干个客观指标的量化比对，来评价并排序中国各省的高考难度，看一看哪些省份高考是地狱模式，哪些省份高考是简单模式。

2021-08-04 16:58:25

数据高考录取人数
数据泄露、数据窃听，如何保障大数据时代的信息安全
《中华人民共和国数据安全法》即将于9月1日起生效施行。近日，工信部委托中国互联网协会召开头部平台座谈会，召集国内12家知名企业参加，要求强化平台数据管理责任，明确数据安全责任人，并加强重要数据安全评估和出境管理。

2021-08-04 16:44:22

大数据数据安全技术
一文读懂DataOps
大部分企业的数据平台建设要想顺利过渡到第三阶段，则离不开一个关键方法论—DataOps（数据运维）的帮助。

2021-08-04 16:06:45

DataOps智领云
为什么图数据平台对电信公司的成功至关重要？
当今电信网络的复杂性使得查明网络或基础设施的问题所在变得异常困难。但是，图数据库可以轻松捕捉有助于诊断故障的相互依赖性并对其进行建模。

2021-08-04 13:37:36

数据平台电信公司IT
Hive 数据倾斜问题定位排查及解决
多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。

2021-08-04 07:21:31

Hive 数据排查
大数据时代，如何获取精准流量？
说道大数据，本人深有体会。我想到的就是抖音短视频软件，通过用户的搜索习惯，点赞，浏览时长来判断用户对于某类型的视频喜好，后进行推送该类型或相关性高的视频，来增加用户的粘稠度，并且通过转发视频的方式来形成裂变获取流量。

2021-08-03 22:56:01

大数据流量软件
为什么现在的大数据行业热度这么高？
2021年，大数据行业迎来了新的发展阶段，有关大数据的词条也频繁地出现在公众视野中，那为什么现在的大数据行业热度会这么高呢？

2021-08-03 22:53:38

大数据存储互联网
气象大数据已融入人们日常生活
在上个世纪，数据壁垒曾是困扰我国科学研究乃至经济社会发展的一大障碍。2001年，气象部门作为破除数据壁垒的先行者，开始面向科学界乃至社会公益部门提供气象数据。截至今年，国家气象科学数据中心服务专业用户超过36.8万户，累积访问量超过7.6亿人次，累积数据订单量近300万次。

2021-08-03 14:31:11

大数据气象科技
注释掉 on('data') 请求为什么一直挂着？— 了解 Node.js Stream 的两种模式
流刚开始处于暂停模式，所以注释掉 req.on('data') 事件监听，请求才会一直挂起。在基于流的方式读取文件时，之前通常使用注册 'data' 事件处理函数的方式从可读流中拉取数据，现在 Node.js 支持了异步迭代，更推荐你使用 for...await of 这种方式来读取数据，代码看起来也会更简洁，同步编码思维让人也能更好的理解。

2021-08-03 06:57:37

模式Nodejs
未来什么职业最吃香？从领英报告看“数据分析”有多重要
你知道未来十年，从事什么职业最吃香吗？或者说，作为一个正在找工作的求职者/已经步入工作的职场人，你知道必须掌握什么技能，才能在职场立足吗？

2021-08-02 23:06:05

数据分析职业技术
浅谈漏斗分析
说起数据分析，很多人把精力放在了各种高大上的数据模型上。事实上，比较常见的一些数据分析方法，往往都不是什么非常高深的学问，在实践中，涉及到的方法论或者复杂性，其实是远低于学校里学习的专业知识。

2021-08-02 22:56:54

漏斗分析数据
通信大数据行程卡崩溃！中国通信院：别急，还有其他方法查询
通信大数据行程卡是中国通信院联合移动、联通、电信三大运营商研发的服务平台，基于手机“信令数据”，可获取用户的地理位置，向国内用户16亿手机用户提供免费查询服务， 用户可以查询自己14天内到过的所有城市信息。

2021-08-02 15:34:54

大数据IT互联网
投诉数据告诉你，“大数据杀熟”有哪些套路？
大数据杀熟有很多种叫法，千人千价、价格歧视;或者更专业一点，个性化定价。从一系列如“同一时间打开不同手机查看机票，价格相差近千元”、“会员优惠力度比普通用户还小”的发现开始发酵，大数据杀熟已经变成了一个为人所熟知的概念。

2021-08-02 14:27:18

大数据杀熟人工智能网络投诉
Kyligence 行业峰会成功举办，“智能数据云”引领数字化转型未来
月30日，Kyligence 在上海成功举办 Data & Cloud Summit 2021 行业峰会，本次峰会以“云 · 数据 · 智能”为主题，聚焦数据服务与管理领域的前沿趋势、领先技术及最佳实践。

2021-08-02 13:35:14

Kyligence数据
数据科学领域的顶级语言：Python 居首，SQL 次之
Anaconda 最新发布的一份《State of Data Science 2021》报告指出，数据科学和机器学习专业人士推动了 Python 编程语言的采用，但数据科学和机器学习在商业中仍然缺乏关键工具，在成为决策的必要条件之前还有发展空间。

2021-08-02 10:00:34

数据科学PythonSQL
复合数据类型：字典 Map 和 结构体 Struct
本文介绍了字典和结构体，两种很常用的数据类型。虽然篇幅不长，但基本操作也都包括，写代码肯定是没有问题的。更底层的原理和更灵活的用法就需要大家自己去探索和发现了。

2021-08-02 07:02:18

数据结构体Struct
你的孤独，大数据知道
你认同大数据更了解一个人的孤独吗？手机支付宝的一个密码，可以查阅你去过的任何地方。

2021-07-31 23:13:29

大数据数据分析技术
“大数据杀熟”对消费者有什么影响？
今年21日，某程因涉嫌“大数据杀熟”一案被判刑，法院裁定原告胜诉。法院审理后，裁定某程向原告承诺，钻石贵宾享有优惠价格，但没有价格监管措施，并向原告展示了100%的溢价不准确的价格，未履行承诺。该案是绍兴市第一例消费者在“大数据杀熟”后成功捍卫自己的权利的案例。

2021-07-31 23:01:10

大数据技术应用
时代大数据安全与隐私
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。

2021-07-30 20:45:13

大数据大数据安全
从技术视角看大数据行业的发展趋势
正所谓 “抬头看天，低头走路”，大数据从业者既要脚踏实地立足当前技术栈做出高效易用的大数据产品，又要仰望星空顺应大数据的发展趋势，做出有技术前瞻性能适应未来变化的大数据产品。

2021-07-30 19:07:27

大数据云计算云原生化
数据挖掘建模过程全公开
数据挖掘的基本任务包括利用分类与预测、聚类分析、关联规则、时序模式、偏差检测、智能推荐等方法，帮助企业提取数据中蕴含的商业价值，提高企业的竞争力。

2021-07-30 18:35:57

数据建模聚类
EnginePlus受邀参加亚马逊云科技中国峰会 分享Spark on Amazon EKS实践经验
亚马逊云科技中国峰会在上海召开。亚马逊云科技的众多技术合作伙伴受邀出席峰会，围绕“构建新格局，重塑云时代”的主题，进行了系列主题演讲和产品展示，分享云计算领域的先进技术经验与企业成功实践。

2021-07-30 17:11:21

EnginePlus亚马逊云科技
怎样玩转基于大数据技术的应用？
现在正处于大数据时代，互联网上产生的数据大量又杂乱，但是不同的人所接收的信息也就不同，为什么有的人接收的信息比较局限，而有的人接收的信息就比较全面呢？我们应该怎么去利用大数据推送技术的特点去接收自己所感兴趣的内容呢？

2021-07-30 16:01:05

大数据技术应用
为什么说嵌入式分析是成功应用程序的基础？ 译文
您的应用程序是否开始变得无关紧要？换句话说，您的应用程序是否只专注于为客户交互过程的交易部分提供便利，却错失了提供关键洞察力的机会？如果您的应用程序是这样，它正失去价值。

2021-07-30 08:00:00

数据分析IT技术
Hdfs 相对路径与静态代码块引起的问题
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员必不可少的一项技能。

2021-07-29 20:28:24

静态代码Hdfs
不可错过的可视化经验，你学到了吗？
本文从可视化类型选择和色彩搭配角度分享了部分经验，希望读者可以在可视化制作中积累经验，提高可视化制作的水平！

2021-07-29 18:46:52

可视化类型图形化
退改纠纷、大数据“杀熟”……在线旅游平台问题不少
退改纠纷、大数据“杀熟”、限制交易条件、霸王条款、不合理低价游、捆绑搭售……当下，在线旅游问题不少。

2021-07-29 16:19:04

大数据旅游信息安全
外部工具连接 SaaS 模式云数据仓库 MaxCompute 实战
MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。

2021-07-29 11:30:41

SaaS云数据仓库MaxCompute
一学就会，一做就废！为什么数据分析上云这么难？
与传统的内部数据分析方式相比，将数据分析迁移到云端需要新的方法、技能和架构。

2021-07-29 10:26:34

数据分析上云CIO
分布式协调框架Zookeeper核心设计理解与实战
想起很久以前在某个客户现场，微服务 B 突然无法调用到微服务 A，为了使服务尽快正常恢复，重启了微服务 B 。虽然故障原因找到了，但对于 Zookeeper 的理解还是不够深刻，于是重新学习了 Zookeeper 的核心设计，并记录于此文共勉。

2021-07-29 07:48:36

Zookeeper 核心设计
用Pandas读取CSV，看这篇就够了
通过本文的介绍，我们了解了读取CSV文件的一些参数的功能，也了解了在读取CSV文件时可以做一些初步的数据整理工作。

2021-07-28 13:29:57

大数据PandasCSV
数百名大数据工程师齐聚快手 共享领域数据建设经验
近日，快手大数据数据内容建设交流会在快手总部成功举行。交流会探讨了如何利用海量的数据，将数据转化成有用的知识，辅助管理层的决策，为产品迭代、业务运营提供高效数据支撑。

2021-07-27 22:49:21

快手数据建设
MaxCompute Spark 资源使用优化祥解
本文主要讲解MaxCompute Spark资源调优，目的在于在保证Spark任务正常运行的前提下，指导用户更好地对Spark作业资源使用进行优化，极大化利用资源，降低成本。

2021-07-27 15:56:28

MaxCompute 资源优化
用Python进行数据清洗方式，这几种都很常见！
在数据分析中，数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大，致使数据不可避免的出现重复、缺失、格式错误等异常数据，如果忽视这些异常数据，可能导致分析结果的准确性。

2021-07-27 15:40:39

Python数据清洗函数
上一页 1 ··· 3435363738 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服