51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8797内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8797 条
终于有人把数据挖掘讲明白了
随着大型数据库的建立和海量数据的不断涌现，人们迫切需要强有力的数据分析工具。但现实情况往往是“数据十分丰富，而信息相当贫乏”。

2022-01-05 18:27:44

数据挖掘工具
实时数仓 | 三分钟搞定Flink Cdc
Flink CDC Connector 是ApacheFlink的一组数据源连接器，使用变化数据捕获change data capture (CDC)从不同的数据库中提取变更数据。Flink CDC连接器将Debezium集成为引擎来捕获数据变更。

2022-01-05 18:18:01

Flink 数仓连接器
轻松搞跨数据治理，我们就靠这七招！
随着企业对数据重视程度的不断增加，数据治理解决方案越来越成熟，技术越来越先进。但不幸的是，仍有很多IT从业者，正陷入数据治理的泥潭中，无法自拔。为了帮助更多企业解决数据治理难题，本文梳理了7个常犯的错误。

2022-01-05 16:12:01

数据治理CIOIT领导者
2022年，如何选择优秀数据分析工具？
数据分析软件选型不是一件小事儿，需要多方面权衡，还要综合利弊，充分考虑到应用的特性和框架等等要素。以下方法，或许能为更多企业的选型带来指导作用。

2022-01-05 15:50:09

数据分析工具数据分析数据
2022年大数据工程师薪资和工作趋势
Gartner 2021 年 4 月的一份报告预测，到 2022 年，全球超自动化经济将达到近6000亿美元，而帮助实现这一目标的方法就是从组织拥有的大量数据中获取洞察力。这就产生了对数据工程专业人士的需求。因此，数据工程领域正在迅速发展。这意味着什么呢?

2022-01-05 15:10:03

大数据数据工程师薪资
一篇文章彻底理解 Hive 常见的三种 Authentication 认证机制的配置与使用
本片博文，分享下 HIVE 常见的三种 AUTHENTICATION 认证机制，包括其配置与使用。

2022-01-05 10:22:17

HiveAuthenticat认证
数据架构对推动人工智能和医学的未来发展至关重要
新冠疫情不仅凸显了速度对医学发现的重要性，而且还凸显了数据科学和人工智能为这种加速提供帮助的重要性。

2022-01-04 16:01:11

数据架构人工智能医学
TalkingData安全岛：构筑新时代数据融通的基石 原创
安全岛本身是一个安全计算平台，最主要的目的是为了让TalkingData和客户的数据在安全平台上进行安全合规的数据价值的交换，隔离掉双方的隐私问题，真正实现数据的价值，帮助客户解决原有数据能力上的不足。

2022-01-04 14:11:47

TalkingData安全岛安全
从本地到云端，如何正确处理数据？
如何把数据从本地平滑迁移到云端?相信这是所有上云企业关注的重点!

2021-12-31 18:20:44

数据云端数据迁移
首个国产分布式数据库调研：TDSQL产品技术及服务能力排名第一
腾讯云TDSQL在产品实施的技术服务方面，建设了完善的产品实施服务、维保服务团队，有实力保障金融用户数据库产品的实施与日常运营。

2021-12-30 18:15:56

数据库TDSQL
大数据都在帮我们做年终总结
2021年眼看接近了尾声，相信大家都能在各大网络平台上看到很多朋友在晒自己在一些APP的年终总结。

2021-12-30 11:16:31

大数据年终总结APP
面试 | 不可不知的十大 Hive 调优技巧优秀实践
Apache Hive是建立在Apache Hadoop之上的数据仓库软件项目，用于提供数据查询和分析。Hive是Hadoop在HDFS上的SQL接口，它提供了类似于SQL的接口来查询存储在与Hadoop集成的各种数据库和文件系统中的数据。

2021-12-30 10:54:53

Hive调优实践
手把手教你使用 Pandas 读取结构化数据
Pandas是一个基于Numpy库开发的更高级的结构化数据分析工具，提供了Series、DataFrame、Panel等数据结构，可以很方便地对序列、截面数据（二维表）、面板数据进行处理。

2021-12-29 20:20:25

结构化数据Pandas
TalkingData T11 2021数据智能峰会线上举办，探寻赋能增长之道
在科技演进、疫情持续等多重影响下，以短视频、内容社交为代表的新流量爆发，传统流量体系进入慢速增长。TalkingData创始人兼CEO崔晓波认为，以新流量、新渠道、新品牌为代表的新时代还将持续5-10年，企业想要突破增长瓶颈，就需要借助新流量的力量。

2021-12-29 13:09:59

TalkingData数据智能
openGauss凝聚创新力量，推动数据库跨越式发展
openGauss社区理事长江大勇表示，openGauss开源数据库，面向数字基础设施致力于提供安全、稳定、高效、智能的数据管理能力，加速企业数字化转型。openGauss是技术创新平台，持续打造最具创新力的数据库开源社区，构建繁荣的生态体系。

2021-12-28 14:33:01

openGauss数据库
大小巨头涌入赛道，隐私计算迎来商业落地元年
近两年来，隐私计算逐渐从小众领域为大众熟知。2021年，隐私计算开始在真实商业场景中全面落地。

2021-12-28 11:14:48

隐私计算大数据隐私
Hbase 构建二级索引的一些解决方案
HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。假设我们相对Hbase里面列族的列列进行一些组合查询，就只能全表扫描了。表如果较大的话，代价是不可接受的，所以要提出二级索引的方案。

2021-12-28 10:43:09

Hbase索引方案
数据赋能，大数据助力疫情防控
近年来国家科学技术随着云计算、大数据、人工智能等新兴科技不断地发展，我们正在逐步进入数字化时代，同时我们也将这些科学技术应用到交通、医疗、教育等各个领域。

2021-12-26 10:00:53

大数据大数据技术
Spark 性能调优核心原理，你会吗？
所谓内存计算，不仅仅是指数据可以缓存在内存中，更重要的是，通过计算的融合来大幅提升数据在内存中的转换效率，进而从整体上提升应用的执行性能。

2021-12-26 00:03:25

Spark性能调优
大数据时代下，我们显得更沉重还是更轻松
大数据是继物联网、云计算技术后世界又一热议的信息技术，这种密集型数据爆炸现象的出现，标志着“大数据”时代的到来，那么大数据时代下的我们显得更轻松还是更沉重呢？

2021-12-25 23:39:37

大数据科技疫情
详解 Pandas 与 Lambda 结合进行高效数据分析
这篇文章小编来讲讲lambda方法以及它在pandas模块当中的运用，熟练掌握可以极大地提高数据分析与挖掘的效率。

2021-12-24 10:45:19

PandasLambda数据分析
2022年大数据行业预测
2022年将会继续加大创新的步伐，采用创新和没有采用创新企业之间的差距可能会扩大。“创新者”明白这一切都由软件提供支持，他们正在以质量、速度和高度协作的方式掌握软件开发过程。

2021-12-23 14:44:31

大数据大数据动向数据技术
税收大数据是怎么“逮住”薇娅的？原来只用了三招
最近网络主播薇娅因涉嫌偷逃税款，被追缴并处罚款共计13.41亿，数额之大引发关注，同时税务部门发现薇娅涉嫌偷逃税款的利器——税收大数据分析，也引起很多人的好奇。

2021-12-23 11:10:38

税收大数据大数据税收
三种策略，让企业避免无效数据分析！
数字时代，大多数组织都追求数据驱动战略的成果。但是，获得的回报却比想象的更加微妙。

2021-12-23 06:57:32

企业策略数据
为什么数据专业人士需要投资数据治理计划?
美国德雷塞尔大学勒博商学院日前公布的一项数据管理调查报告发现，66%受访的数据和分析专业人员表示，在实施数据治理计划时将数据质量提高作为一个“主要优势”。对于已经拥有成熟数据治理框架的企业来说，这一趋势上升到了惊人的83%。

2021-12-21 13:58:53

大数据数据治理数据分析
协助税务局「逮住」薇娅的「税务大数据」，是什么？
据新华社消息，税务部门已对网络直播等新业态从业人员，给予了包容性的自查整改期，目前已有上千名主播主动自查补缴税款。税务局是如何发现这场重大偷逃税问题的？从监管部门的回复来看，税收大数据功不可没。

2021-12-21 10:53:34

大数据AI税务
论大数据时代个人信息的重要性
我们这个社会发展至今早已进入大数据快速发展的时代，涌现出各种新的平台，也让人们的生活变的丰富多彩，同时让更多的人都有发展的空间。但是我们在发展的同时也伴随着信息安全隐患，那么有哪些安全隐患呢？

2021-12-19 13:50:42

大数据信息安全隐私
手把手教你设计大数据流水线
本文介绍大数据流水线的标准工作流程，以及设计大数据架构流水线时需要考虑的各种工具和流程。

2021-12-17 18:21:54

大数据流水线设计
2025年我国大数据测算规模超3万亿 期待带来大市场
工信部日前发布《“十四五”大数据产业发展规划》，提出到2025年，我国大数据产业测算规模突破3万亿元，年均复合增长率保持25%左右，创新力强、附加值高、自主可控的现代化大数据产业体系基本形成。规划有什么亮点？如何补齐大数据产业发展短板？

2021-12-15 13:49:21

大数据数字化转型安全
伴鱼基于 Flink 构建数据集成平台的设计与实现
数据仓库有四个基本的特征：面向主题的、集成的、相对稳定的、反映历史变化的。其中数据集成是数据仓库构建的首要前提，指将多个分散的、异构的数据源整合在一起以便于后续的数据分析。

2021-12-14 15:35:33

Flink数据分析数据集成平台
比较Hadoop、Spark和Kafka大数据框架
大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的趋势是实时处理来自多个源的数据。

2021-12-14 09:56:51

HadoopSparkKafka
Cloudera：拥抱云计算，深耕企业数据云平台 原创
企业正在不断加码对数字化的投入。CDP让企业IT人员能够在任何云环境中进行数据分析，同时提供多种数据安全功能，从而最大程度降低数据风险。Cloudera将依靠CDP及生态的力量，助力企业释放更多数据价值。

2021-12-13 11:47:01

ClouderaCDP大数据
值得拥有的五大数据质量工具 译文 精选
在本文中，我们和您讨论五种数据质量类工具，以协助您完成数据之旅，并确保数据质量真正能够为业务奠定坚实的基础。

2021-12-13 09:00:00

数据质量工具业务
记录一次 Hbase 线上问题的分析和解决
本篇文章，我们回顾一次 hbase 线上问题的分析和解决 - KeyValue size too large，总结下背后的知识点，并分享一下查看开源组件不同版本差异点的方法。

2021-12-12 18:12:13

Hbase线上问题
建立数据策略的六个关键组成部分
数据策略包括一套在企业中使用数据的长期目标，以及支持这些目标的政策和应用实践。

2021-12-12 08:35:13

数据策略数据数据分析
使用数据仓库BI的六种策略
用于流分析、数据准备和主数据管理的新工具可以帮助企业采用更好的数据仓库策略。这里有六种策略，可以帮助企业充分使用新的云数据仓库。

2021-12-10 13:08:31

数据仓库BI数据存储
数据驱动的电子邮件验证至关重要的六个原因
大数据在电子邮件通信的未来中扮演着非常关键的角色。越来越多的公司正在寻找更具创新性的方法来使用数据技术来简化沟通并在各个利益相关者之间建立更加个性化的关系。

2021-12-10 11:35:40

数据驱动大数据
客户数据分析对于基于客户的营销的未来至关重要
数据分析的最佳应用之一是通过增强的基于帐户的营销。有很多方法可以使用大数据来更好地了解目标客户群，这是任何营销策略的重要组成部分。

2021-12-10 11:35:05

数据分析大数据技术
聊聊为什么 IDL 只能扩展字段而非修改
本文聊聊 grpc proto 变更时的兼容问题，核心只有一条：对扩展开放，对修改关闭，永远只增加字段而不修改。

2021-12-09 07:54:19

IDL字段兼容
数据结构与算法之合并区间，这么贪
对于贪心算法，很多同学都是：如果能凭常识直接做出来，就会感觉不到自己用了贪心, 一旦第一直觉想不出来, 可能就一直想不出来了。

2021-12-08 11:31:43

数据结构算法合并区间
详解数据治理相关的七个术语和名词
作为最小颗粒度的数据，数据元是对数据进行标准化定义的基础，也是构建统一、集成、稳定的行业数据模型的基础。

2021-12-07 22:07:26

数据治理元管理
百事可乐：利用数据分析缓解供应链困境
大多数企业来说，供应链运营一直以来是产业关注的焦点，对其进行分析也逐渐成为应对供需重大波动的一项关键性缓解举措。

2021-12-07 15:14:54

数据分析供应链CIO
创建数据驱动的价值生态系统的三个步骤
为了改善这种情况并为客户和股东创造新价值，IT领导者必须创建生态系统和企业文化，以加速和维持企业的数据科学和分析的发展。

2021-12-07 14:49:39

数据驱动生态系统数据分析
大数据产业新风口，运营商优势何在？
大数据产业是以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业。工信部近日发布《“十四五”大数据产业发展规划》（下称《大数据规划》）提出了“十四五”时期的总体目标，将成为大数据产业未来发展的基础。

2021-12-06 23:27:41

大数据运营商新基建
手把手教你绘制数据治理实施路线图
很多企业知道数据治理很重要，但是却不清楚如何做好数据治理。有的企业开展数据治理是“摸着石头过河”，还有一部分企业是“想过河但是不知道该摸哪一块石头”。

2021-12-06 18:22:15

数据项目技术
数据分析 VS 算法模型，如何高效分工合作？
数据分析该如何与算法合作，是个老大难问题。一方面是业务方日益提高的，对模型的幻想。

2021-12-06 11:28:37

数据分析合作
如何面对繁杂的数据需求？
大家好，我是一哥，最近有一位数据新人小伙伴私聊我：在平时的工作中会面临着大量的数据需求，不仅多，而且杂，请问如何处理面对这些问题?有没有什么好的提高工作效率的方法?

2021-12-06 07:09:45

数据业务语言
手把手教你对文本文件进行分词、词频统计和可视化（附源码）
本文主要涉及的库有爬虫库requests、词频统计库collections、数据处理库numpy、结巴分词库jieba 、可视化库pyecharts等等。

2021-12-04 09:10:09

可视化
年度数据分析报告，如何写出“年”味
临近年底，很多同学在写年度数据分析报告，一个普遍的困惑就是：这玩意怎么能写出“年”味来。

2021-12-03 11:29:21

数据分析年度
浅析区块链与大数据的关系
随着数字经济的发展，区块链的价值逐渐凸显，区块链和大数据确保了数据的安全性，还可以防止数据泄露，一旦信息存储在链上，就需要有多个权限来访问数据。通过可伸缩性，区块链允许以更平静的方式共享数据。

2021-12-02 22:41:10

区块链大数据数据安全
上一页 1 ··· 2728293031 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服