51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
我们已经没有秘密可言！大数据被滥用，谁来保护我们的个人隐私
大数据杀熟，这个词几乎是家喻户晓，很多人也都有被“杀熟”的经历，比如某APP上打车，在相同的时间、距离、车型等条件下，但不同手机查询出的价格却相差甚多，同样购物，就餐，住宿也存在这样的问题。但是这仅仅是大数据滥用的一小方面，比这严重的比比皆是。

2021-09-21 10:43:55

大数据监控隐私
大数据告诉你：哪些家庭的孩子会更优秀
“好的家庭就是一所好的学校，好的家长就是孩子一生的班主任，今天用大数据告诉你：哪些家庭的孩子会更优秀

2021-09-18 10:59:08

大数据家庭成绩
指尖上的大数据 - IM消息处理优化方案
消息从服务端推到客户端，然后被分发到消息队列，在消息队列中经过一番处理后，最终展示到页面上。这张图只是简单地描述了消息的处理流程，下面我们将分步骤说明每个流程的设计和优化。

2021-09-18 09:53:48

京东客服IM消息消息处理
Go 程序运行时数据统计的可视化工具 Statsviz
今天跟大家介绍一款实时可视化 Go 程序运行时数据统计的工具 statsviz。

2021-09-18 08:02:49

Go程序工具
使用 Data Fabric 实现数据发现、治理和自动化
目前，IBM 在下一代 IBM Cloud Pak for Data 中推出了智能Data Fabric概念。

2021-09-17 15:56:14

数据平台自动化
一文了解大数据下 Redis 的应用
目前市面上比较流行的客户端有jedis、lettuce、redisson。在并发数量不大的情况下，两者性能可能差不多，jedis的性能可能还优于lettuce，但当并发量的提升，jedis的超时错误会增加，但lettuce只是平均响应时间增加和最大响应时间会增加，lettuce是已稳定性为主的。

2021-09-17 13:34:57

大数据Redis 应用
用于收集大量数据的十个强大的企业级ELT工具 译文
很多企业每天都在处理海量数据。调研机构Global Data Fabric公司发布的一份市场分析报告指出，“到2021年底，全球各地的企业使用数据获取洞察力获得的收入高达1.8万亿美元。”

2021-09-17 08:00:00

数据分析工具数据
Sentry 监控之Discover 大数据查询分析引擎
Discover 通过构建和丰富您的错误数据，提供跨环境数据的可见性。您可以查询和解锁对整个系统健康状况的洞察，并在一个地方获得关键业务问题的答案。

2021-09-16 23:33:41

大数据Sentry监控
运用新媒体大数据提升基层社会精细化治理水平
“十四五”规划和2035年远景目标明确了我国新时期的社会发展目标，提出“构建基层社会治理新格局”，要求“完善共建共治共享的社会治理制度”，“加强和创新社会治理”。

2021-09-16 14:18:44

大数据云计算新媒体
赋能智慧教育发展，大数据至关重要！
谓智慧教育，就是利用人工智能、物联网、云计算等智能技术，搭配机器人、VR/AR等智能装备，让教育变得数字化、信息化和智慧化。

2021-09-16 10:27:40

智慧教育大数据VR
广告机构正越来越多将“大数据”作为宣传策略的组成部分
广告行业越来越依赖于数据以满足客户需求。过去五年以来，大型广告控股企业一直在收购、投资或建立大数据厂商，目的自然是增强自身的数据与技术能力、更好地同Facebook及谷歌等开展竞争、切实满足客户需求，并在吸引新的业务客户时将这些能力作为一大核心竞争优势。

2021-09-15 12:12:15

大数据广告行业数据
大数据在零售业的主要优势及四个真实的应用案例
大数据将会成为零售行业未来的游戏规则改变者，并且已经产生了巨大的影响。

2021-09-15 10:17:09

大数据零售业大数据应用
云原生大数据架构中实时计算维表和结果表的选型实践
随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生，传统的大数据架构无法承载。

2021-09-15 09:43:31

大数据架构互联网
终于有人将Spark的技术框架讲明白了
Spark是加州大学伯克利分校的AMP实验室开源的类似MapReduce的通用并行计算框架，拥有MapReduce所具备的分布式计算的优点。但不同于MapReduce的是，Spark更多地采用内存计算，减少了磁盘读写，比MapReduce性能更高。

2021-09-14 18:27:08

Spark
看了电商大佬的数据分析报表！才理解为啥人家月薪拿3万
数据分析已经成为电商人不可或缺的一项技能。特别像618、双十一这些大型活动来临，电商行业就要一波数据爆炸，如何将这些数据更好的展现出来就成了一个难题。我们公司的大佬给我们展示了他做的数据分析报表，图表结合，公式设定好，厉害的哟，高薪不是白拿的!

2021-09-14 15:29:22

数据分析电商报表
智慧城市如何保障大数据安全
大数据的全流程应用是智慧城市的核心。智慧城市的发展过程中，大数据就是一面双刃剑，促进智慧城市更快、更智能地发展，同时也带来了严重的安全问题。首先概述了大数据与智慧城市的关系，然后对大数据环境下智慧城市存在的信息安全风险进行分析，并提出应对策略。

2021-09-13 15:44:52

智慧城市大数据安全
大数据跨境流动是必然趋势
近日，习近平总书记向可持续发展大数据国际研究中心成立大会暨2021年可持续发展大数据国际论坛致贺信并指出，设立可持续发展大数据国际研究中心是他在第75届联合国大会上宣布的支持落实联合国2030年可持续发展议程的重要举措。

2021-09-13 14:19:37

大数据数据技术
大数据杀熟到底侵犯了你的哪些权益？
大数据算法、用户画像、精准推送等技术日新月异，为人们的生活提供了便利，但大数据的杀熟现象也成为近年公众一直热议的话题。

2021-09-13 14:07:24

大数据安全信息
Apache Hudi 在 B 站构建实时数据湖的实践
本文介绍了为什么 B 站选择 Flink + Hudi 的数据湖技术方案，以及针对其做出的优化。

2021-09-13 13:46:29

Apache HudiB 站数据湖
针对各行业的八个数据驱动的内容营销技巧
许多营销人员已经使用人工智能和数据分析来对各种市场活动进行更明智的洞察。数据分析工具对按点击付费(PPC)营销、媒体购买以及其他形式的付费流量特别有用。大数据技术在内容营销领域也同样重要。

2021-09-13 13:29:06

数据驱动大数据SaaS
Hive提高查询效率的八条军规
一个简单的查询语句，是指一个没有函数、排序等功能的语句，当开启一个Fetch Task功能，就执行一个简单的查询语句不会生成MapRreduce作业，而是直接使用FetchTask，从hdfs文件系统中进行查询输出数据，从而提高效率。

2021-09-13 07:10:54

Hive查询效率
Python高级算法与数据结构:使用treap实现双索引之一
前面介绍的堆结构只能对数据进行部分排序，也就是它只能知道部分元素的排序，例如从根节点出发，沿着左孩子或右孩子前行，我们能得知所遍历的元素一定是递增(小堆)或是递减(大堆)关系，但是我们无法得知左子树与右子树两部分节点的排序关系。

2021-09-12 17:31:17

Python数据结构
终于有人把 Hadoop 生态的核心讲明白了！
Hadoop是一个由Apache基金会开发的分布式系统基础架构。开发人员可以在不了解分布式底层细节的情况下开发分布式程序，充分利用集群的威力进行高速并行运算以及海量数据的分布式存储。

2021-09-10 18:23:14

Hadoop
预测分析和大数据分析的终极指南
大数据是指在研究和分析中变得有价值的原始和大量信息集。企业拥有的新技术越多，这些技术积累的数据容量就越大。因此，通过分析来利用这些大量信息是非常重要的。

2021-09-10 14:05:14

预测分析大数据分析大数据
HDFS 底层交互原理，看这篇就够了
HDFS全称是 Hadoop Distribute File System，是 Hadoop最重要的组件之一，也被称为分步式存储之王。本文主要从 HDFS 高可用架构组成、HDFS 读写流程、如何保证可用性以及高频面试题出发，提高大家对 HDFS 的认识，掌握一些高频的 HDFS 面试题。

2021-09-10 13:06:45

HDFS底层Hadoop
九大数据分析方法：矩阵分析法
今天继续分享九大数据分析方法系列：矩阵分析法。矩阵分析法是在各路数据分析文章中，出现频率最高的词。甚至有不懂行的小白把它捧到“核心思维”，“底层逻辑”的高度。哈哈，才没有那么神呢。

2021-09-09 17:38:55

数据分析矩阵
大数据报告：中秋小长假或现客流高峰 短途游受青睐
中秋小长假期间的火车票全面开售，跨省游业务恢复。记者8日获悉，中国知名旅行平台同程旅行研究院发布的《2021中秋小长假旅游趋势报告》显示，随着新冠肺炎疫情逐步得到良好的控制，9月初周边短途游市场已经开始大面积恢复。

2021-09-09 16:26:08

大数据中秋旅游
Hadoop、Spark、Hive到底是什么，做算法要不要学？
最近我发现，很多萌新说着想要做算法工程师，但是却对这个岗位的要求以及工作内容一无所知。以为学一个Python，再学一些机器学习、深度学习的模型就可以胜任了。工作就是用Python不停地写模型。

2021-09-09 15:09:56

HadoopSparkHive
品高云数据湖管理平台入围“企业数字化转型优秀案例”
9月5日，“企业数字化转型高峰论坛”在河北举行。论坛由中国国际数字经济博览会组委会主办、中国电子信息行业联合会承办，旨在分享典型企业数字化转型最佳案例，持续完善企业信息系统建设和服务能力贯标评估体系，进一步引领企业数字化转型发展。

2021-09-09 11:45:16

数据
JetBrains 推出全新数据科学 IDE —— DataSpell
知名软件 IntelliJ Idea IDE 和 Kotlin 编程语言的开发商 JetBrains 近日推出了一个专门针对数据科学的 IDE —— DataSpell。

2021-09-09 09:03:30

JetBrainsDataSpell数据科学
Excel函数公式：禁止在Excel单元格中输入空格，你真的会吗？
今天给大家分享的内容是：禁止在Excel单元格中输入空格的技巧……看到这个标题，相信大家都有所感触，都被“空格”坑过，那在数据处理和分析的过程中，如何避免“空格”了?其实，最根本的方法还是【数据验证】，但是，需要借助两个函数来实现。

2021-09-09 08:58:32

Excel数据处理函数
源码开放：基于Pyecharts可视化分析苏州旅游攻略
全国旅游城市终于又更新啦！以前写过厦门、长沙、成都、西安、大连。今天带来的是：上有天堂，下有苏杭：苏州来了。终于挤出时间把苏州的旅游景点和美食的攻略写完了。

2021-09-09 06:40:28

Pyecharts可视化源码
大数据在智慧城市中的五大应用
借助大数据，可以从总体角度研究现有的碎片化和孤立的数据集，为影响当今快速发展的城市的常见问题提供有效的解决方案。

2021-09-08 17:17:43

大数据智慧城市大数据应用
Flink执行流程与源码分析
整体的流程与架构可能三两张图或者三言两语就可以勾勒出画面，但是背后源码的实现是艰辛的。源码的复杂度和当初设计框架的抓狂感，我们只有想象。现在我们只是站在巨人的肩膀上去学习。

2021-09-08 10:47:33

Flink执行流程
中国以大数据服务支持联合国可持续发展目标
9月6日，可持续发展大数据国际研究中心正式成立，全球首个以大数据服务联合国2030年可持续发展议程的国际科研机构正式落户中国，为全球科学家参与和推动实现可持续发展目标提供平台。

2021-09-08 09:31:55

大数据联合国大数据服务
治理“大数据杀熟”法律技术行业自律第三方监管都不能少
随着中国《网络安全法》《数据安全法》《个人信息保护法》等信息安全法律法规的颁布实施，企业需关注监管要求的最新动态，应对数字化时代数据安全及隐私合规所面临的挑战。

2021-09-08 09:27:41

大数据大数据“杀熟”数据监管
Java面试“整活”自己会一点大数据被疯狂diss
ArrayList 底层实际上是大小可变数组的实现，并允许包括 null 在内的所有元素，还提供一些方法来操作内部用来存储列表的数组的大小。

2021-09-08 06:51:53

大数据Java面试
大数据能给企业带来什么？这些你得知道！
现在很多企业都开始使用大数据，数据在企业中是个很重要的东西，支撑着企业的正常运转，能让企业通过数据，及时的转换策略。今天，我们就来看看大数据能给企业带来什么？一起来看看吧！

2021-09-07 19:18:20

大数据大数据应用
九大数据分析方法之：周期性分析法
数据分析常用的方法有九种，今天先介绍第一种，操作上最简单的：周期性分析法。它是新人们避免犯小白错误的最好方法。

2021-09-07 11:14:36

数据分析互联网
新一代云原生数据仓库 AnalyticDB「SQL 智能诊断」功能详解
AnalyticDB For MySQL（新一代云原生实时数据仓库，语法兼容MySQL，以下简称ADB）为用户提供了高效、实时、功能丰富并且智能化的「SQL智能诊断」和「SQL智能调优」功能，提供用户SQL性能调优的思路、方向和具体的方法，降低用户使用成本，提高用户使用ADB的效率。

2021-09-07 11:07:35

AnalyticDBSQL 云原生
面试 | 十分钟聊透Spark
Spark是一个快速的大数据处理引擎，在实际的生产环境中，应用十分广泛。目前，Spark仍然是大数据开发非常重要的一个工具，所以在面试的过程中，Spark也会是被重点考察的对象。

2021-09-07 09:40:20

Spark大数据引擎
一篇学会Hadoop3数据容错技术
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。

2021-09-07 09:20:44

Hadoop数据容错
大数据的数据治理与应用场景
大数据技术在技术层面、业务层面都有十分重要的应用价值在技术层面：大数据技术可以应用于非结构化数据的分析、挖掘，大量实时监测数据分析等，为管理系统、综合信息平台等建设提供技术支持；在业务层面：大数据技术可以提供辅助决策和科研支持，向管理者提供管理辅助决策、行业监管、绩效考核支持。

2021-09-06 15:39:00

大数据技术医疗
“大数据”不等于“多数据”
密接人群锁定、疫情地图绘制、食品安全追溯、智能交通调度……在疫情防控和城市治理中，大数据的作用日益凸显。

2021-09-06 15:29:16

大数据防疫信息安全
如何使用技术解决方案做出数据驱动的决策
数据驱动决策(DDDM)是一种基于可量化目标或关键绩效指标(KPI)的方法，可以收集信息、从发现中评估模式和事实，并以各种方式实施有利于企业的战略和行动。

2021-09-06 13:45:21

数据驱动大数据SaaS
字节跳动大规模埋点数据治理优秀实践
本文整理自火山引擎开发者社区 Meetup 第四期演讲，主要介绍了字节跳动流量平台的埋点内容解决方案和埋点链路解决方案，揭秘了流量平台如何支撑起字节跳动万亿+的实时数据处理。

2021-09-06 11:15:05

数据治理字节跳动埋点
预测分析和大数据分析的完整指南 译文
什么是大数据？如何使用大数据分析来预测未来发生的事件？它会颠覆软件市场吗？人们需要了解预测分析和大数据的完整指南。

2021-09-06 09:00:00

大数据大数据分析技术
大数据集群开启 kerberos 认证后 Hive 作业执行失败
本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。 以下是正文。

2021-09-06 07:28:31

大数据 kerberos 认证
用户增长是什么？和数据分析有啥关系？
很多同学会经常看到“用户增长”“增长黑客”“增长团队”之类的说法，并且这些岗位常常一眼看上去和数据分析有关系。

2021-09-05 18:28:10

数据分析模型
大数据和人工智能时代，审计人还需要有思想吗？
登陆微信公众号平台时，可以见到这么一句话：再小的个体，都有自己的品牌。我们借用一下这句话，延伸到审计人：再初级或普通的审计人，也有自己的思想。

2021-09-04 23:31:57

大数据人工智能审计
上一页 1 ··· 3334353637 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服