开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2022年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

大数据

8130内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 8130 条

腾讯2022年度研发大数据报告：研发人员占比74%

从腾讯官方获悉，今日腾讯发布《2022 年腾讯研发大数据报告》，这份由腾讯技术委员会出品的报告，披露了 2022 年腾讯在研发投入、研发效能、开源协同等方面的重要数据。

2023-03-20 16:28:49

大数据云计算腾讯

柏睿数据2023新品发布会在京成功举办，升级全新数据智能算力基座

夯实数字核心基座、助力千行百业加速迈向数智时代

2023-03-17 10:03:05

数字化大数据

处理缺失值的三个层级的方法总结

缺失值是现实数据集中的常见问题，处理缺失值是数据预处理的关键步骤。缺失值可能由于各种原因而发生，例如数据的结构和质量、数据输入错误、传输过程中的数据丢失或不完整的数据收集。

2023-03-16 15:13:41

缺失值据集中数据分析

新一代云数据平台架构演进之路

下面我们将从不同发展阶段来介绍大数据平台的演化和大数据基础设施的演进过程。

2023-03-16 07:20:15

大数据平台云数据

数据治理实践 | 网易某业务线的计算资源治理

对于调度优化一开始会无从下手，统计凌晨2-5点区间下大概600+任务难梳理，同时存在任务依赖，修改起来可能会对下游整体有大的影响，因此我们选择循序渐进先梳理再改善。

2023-03-15 18:34:26

资源治理数据治理业务线

Apache Kyuubi 1.6.0 新特性解读

文将对 Apache Kyuubi 1.6.0 版本特性进行解读。

2023-03-15 07:29:54

开源数据湖

如何构建好的用户画像平台？

画像平台是一个在中台侧应用非常广，在业务侧依赖很重的产品。本文将分享快看在建设画像平台方面的一些经验。

2023-03-15 07:22:56

画像平台数据中台

火山引擎 DataLeap：揭秘字节跳动业务背后的分布式数据治理思路

经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享：字节的挑战与实践，数据治理的发展与分布式，分布式自治架构，分布式自治核心能力。

2023-03-13 21:55:37

确保企业数据完整性的五种方法

通过采取必要的步骤来确保数据的完整性，企业可以提高数据的准确性并实现利润最大化。有了干净可靠的数据，企业可以做出更好的决策，识别新的增长机会，降低成本，并防止代价高昂的错误。

2023-03-13 14:23:56

企业数据大数据

这一次，我用数据分析提升了用户转化率

某在线教育机构，每周会开免费的直播，所有用户预约后可以观看直播。业务方期望通过直播能提升用户的付费率。

2023-03-10 11:33:40

用户转化率数据分析

AI 算法在大数据治理中的应用

普遍观念认为，云计算收集存储海量数据，从而形成大数据；再经过对大数据的挖掘学习，进一步形成 AI 模型。这种观念默认了大数据服务于 AI，但忽视了其实 AI 算法也可以反哺于大数据，它们之间是一个双向、互相支撑、依赖的关系。

2023-03-10 07:30:24

如何组织、保护和有效应用大数据与自动化

虽然大数据和自动化带来了巨大的好处，但对于制造商来说，在推出新技术时优先考虑网络安全至关重要。如果没有适当的网络安全措施，制造商可能会暴露敏感数据，并遭受代价高昂的攻击，这可能会破坏他们技术进步的所有好处。

2023-03-10 07:08:09

大数据自动化网络

什么是数据可视化？怎样引入Syplot模块？

可视化最早应用于计算机科学中，后形成了计算科学的一个重要分支——科学计算可视化。科学计算可视化将测量或计算产生的数字信息以图形图像的形式呈现给研究者，使他们能够更加直观地观察和提取数据表示的信息。

2023-03-09 15:11:30

数据可视化工具 matplotlib

天花板！商业分析模型超强总结

做生意要赚钱！这是商业基本法则。因此商业分析模型，大多围绕利润（Total Profit，记为TP）、收入（Revnue、记为R）、成本（Cost记为C）展开。利润=收入-成本，是最基本的公式。

2023-03-09 13:56:00

商业分析模型 Revnue

浅谈AB实验及其在转转B2B报价系统中的应用

P 值是当原假设为真时，所得到的样本观察结果或更极端的结果出现的概率。如果 P 值很小，说明这种情况发生的概率很小，但是在这次试验中却出现了，根据小概率原理，我们有理由拒绝原假设，P 值越小，我们拒绝原假设的理由越充分。

2023-03-08 08:31:35

AB实验报价系统

大数据Hadoop之EFAK和Confluent KSQL简单使用

kafka 0.9.x以后的版本新增了advertised.listeners配置，kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已经deprecatedhost.name 和 port 为 deprecated，使用listeners代替。

2023-03-08 07:25:08

Hadoop EFAK KSQL

如何做好一场NPS调研？

我们要学会充分利用这些“珍贵用户”，大胆的邀请他们加入产品的后续互动：问题回访、用户访谈或者新功能内测体验等等……他们大概率不会拒绝我们的邀约，而且后续的互动会更加提升他们的参与感，为产品获得更多的拥护者。

2023-03-07 17:53:00

彻底销毁！这地10亿条个人涉疫数据被清理原创精选

近期，素有“江南胜地”之称的江苏无锡，举办了一场“特别”的仪式，为这一问题提供了可行答案。

2023-03-07 17:50:03

个人涉疫数据

智能建筑需要数据支持吗？

智能建筑和空间需要数据驱动的价值链，包括建筑管理、可持续发展目标和用户体验。而首席信息官们需要建立一个基于公共数据环境的整体框架，以实现效率、预测性管理和创新服务能力。智能建筑需有一个“数据流结构”，与建筑的重点保持一致。

2023-03-07 14:40:57

智能建筑大数据

从0到1，搭建经营分析体系

经营分析最大痛点，在于很多人做的“既不经营，也没啥分析”，基本就是按：GMV=UV*转化率*客单价的公式，把KPI一拆，然后开始表演：“本月目标未达成，原因是转化率低了，要搞高。”并且很多公司的经营分析报告是有模板的，美其名曰：“历史传承”。于是这个“要搞高”就传了一代又一代。

2023-03-06 11:35:55

经营分析体系

谈谈数据的货币化

人们对隐藏宝藏的想法很感兴趣。藏在尘土飞扬的阁楼中的无价绘画和珍贵古董的故事激发了热情，并给了我们找到金票的希望。不幸的是，我们家中的大多数垃圾确实是垃圾，而且只值几分钱而不是数百万。

2023-03-06 00:20:42

数据资产货币数据货币

产品分析，有经验的人都这样做

战略层的分析，理应是最先开始，最先需要明确的分析。因为后续每一个具体功能，每一项具体设计，每一次迭代优化，都是为了达成战略目的服务的。但是这恰恰是很多产品分析最缺的部分。

2023-03-05 17:40:00

产品分析转化率活跃率

来说说，什么才是真正的大数据分析

数据是如此重要，以至于历史上很长一段时间，统计任务归属于政府、军队、情报机关。我国的第一家调查公司还是在90年代初，在宝洁强烈要求下成立的。

2023-03-04 21:31:57

大数据采集抽样式

数字孪生在建筑中有多重要？

首先，让我们用“资产”这个词来说明围绕数字孪生的困惑。资产被定义为有价值的东西，可以是金融的，也可以是实物的，并且可以根据上下文描述许多不同的东西。金融资产可以指品牌、现金、库存、股票、债券等。实物资产可以指车辆、建筑物、水泵等设...

2023-03-03 15:20:56

通向优秀数据分析师的六个阶梯

纵观整个成长阶梯，核心就是：数据分析师要能剥丝抽茧的解决复杂企业问题，这样培养能力，才是我们自己安身立命的法宝。

2023-03-02 11:51:00

数据分析师企业

使用手工特征提升模型性能

本文将使用信用违约数据集介绍手工特征的概念和创建过程。

2023-03-01 15:14:48

数据集机器学习

谈谈将数据作为战略资产管理

在任何组织中，领导者的角色都是确定并清楚地传达组织的愿景、使命和价值主张。以此愿景为基础，确定短期、中期和长期战略目标，并将愿景贯彻执行。作为战略举措的一部分，当业务环境发生意外变化时，应主动制定应急计划。

2023-02-28 16:07:18

数据资产数据分析

火山引擎DataLeap数据血缘技术实现与具体用例

本文介绍的数据血缘能力和实践，目前大部分已通过火山引擎DataLeap对外提供服务。

2023-02-28 07:22:14

数据血缘能 DataLeap

分析指标波动，数据模型得这么建

数据分析需要跑数，但想解读跑出来的数，需要的是掌握丰富的事实情况，用数据量化评估其中可量化的部分，监控其中持续发展的部分，拆解其中模糊部分，从而越来越接近真相。

2023-02-26 17:46:03

分析指标波动数据模型

T3 出行基于 Hudi+Kyuubi 的现代技术栈探索

在本文中，我将给大家分享下 T3 出行结合公司业务场景，在现代技术栈这方面，做的一些探索于与实践，以及在此基础上打造的特征平台。

2023-02-26 11:07:48

数据湖现代数据栈

大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）

Hudi（Hadoop Upserts Deletes and Incrementals），简称Hudi，是一个流式数据湖平台，支持对海量数据快速更新，内置表格式，支持事务的存储层、一系列表服务、数据服务(开箱即用的摄取工具)以及完善的运维监控工具，它可以以极低的延迟将数据快速存储到HDFS或云存储（S3）的工具，最主要的特点支持记录级别的插入更新（Upsert）和删除，同时还支持增量查询

2023-02-26 00:12:10

Hadoop 数据湖存储

一文快速解锁：标签体系全流程

标签体系做得好，后续分析才有足够多素材，才能积累经验。标签体系做得差，白费功夫不说，后边做深入分析的时候还没有依靠。

2023-02-26 00:00:04

项目标签体系

数据分析报告，【建议】部分该怎么写？

当然，这些都建立在一个基本前提上：你得能分清看到的是结果数据还是过程数据。曾经有个同学问陈老师：“老师，我要如何提升策略性思考能力，你看我们现在明明一切做得很好，可转化率就是上不去，为啥嗯？”

2023-02-26 00:00:03

数据分析数据模型

Presto+Alluxio 加速 Iceberg 数据湖访问

本文将分享 Alluxio 社区和 Presto 社区在数据湖方面的一些工作，主要聚焦 Iceberg。

2023-02-25 10:17:28

数据湖 Hive 数据仓库

得物供应链复杂业务实时数仓建设之路

得物供应链业务是纷繁复杂的，我们既有JIT的现货模式中间夹着这大量的仓库作业环节，又有到仓的寄售，品牌业务，有非常复杂的逆向链路。在这么复杂的业务背后，我们需要精细化关注人货场车的效率和成本，每一单的及时履约情况，要做到这一点我们需要各粒度和维度的数据来支撑我们的精细化管理。

2023-02-24 18:47:37

供应链实时数仓

一文详解Python数据分析模块Numpy切片、索引和广播

ndarray对象的内容可以通过索引或切片来访问和修改，与 Python 中 list 的切片操作一样。

2023-02-24 14:40:24

ndarray Python 数据分析

使用深度学习模型生成合成数据译文

合成数据仓库（SDV）是一个生成合成数据的生态系统，允许用户通过了解单表、多表、文本和时间序列数据集，轻松创建合成数据。SDV使用概率图形模型和深度学习技术来生成合成数据。

2023-02-23 07:46:48

学习模型数据仓库

2023年有哪些数据分析和商业智能发展趋势？

随着2023年的到来，现在是探索数据分析和商业智能在新的一年发展趋势的好时机，本文将介绍数据分析和商业智能的一些发展趋势。

2023-02-22 15:57:41

数据分析商业智能

智能建筑的数据集成架构

数据集成架构提供了一种组织、协调和呈现建筑数据的方法，通过有效集成，数据可以提高建筑性能、利益相关者之间更顺畅地协作，并提高顾客满意度。

2023-02-22 10:08:34

数据集成智能建筑

介绍一个有趣的可视化工具，超Q！

今天我们介绍的可视化工具是 cutecharts[1]，这是一个纯 Python 语言编写的可视化工具，就像其名字一样，这是一个可以产生 cute 版图表的工具。

2023-02-21 08:02:09

可视化工具图表

2023中国国际大数据产业博览会新闻发布会召开

贵阳贵安作为国家大数据综合试验区核心区，以实施“强省会”行动为主抓手，加快建设数字经济发展创新区，已成为西部地区唯一入选建设信息基础设施和推进产业数字化成效明显市（州），全世界聚集超大型数据中心最多的地区之一。

2023-02-20 15:01:19

数博会数据中心

腾讯广告模型基于"太极"的训练成本优化实践

近年来，随着大模型在 NLP 领域横扫各种大数据磅单取得巨大成功之后，大数据加大模型成为了 AI 领域建模的标准范式。搜索、广告、推荐的建模也不例外，动辄千亿参数，上 T 大小的模型成为各大预估场景的标配，大模型能力也已经成为各大科技公司军备竞赛的焦点。

2023-02-20 13:50:39

AI 领域建模大数据

腾讯Alluxio（DOP）在金融场景的落地与优化实践

本文将分享腾讯 Alluxio（DOP）在金融场景的落地和优化实践。DOP 全称为 data orchestration platform，数据编排平台，是腾讯内部 Alluxio 及其生态产品组成的一个大的产品。

2023-02-20 13:45:31

数据分析腾讯 Alluxio

大数据分析如何重塑物联网(IoT)?

大数据和物联网正在推动科技进步，让生活变得更快、更智慧。为了收集数据，物联网可以将任何产生数据的东西连接到互联网，包括汽车、可穿戴技术、视频游戏、家用电器和其他物体。

2023-02-17 16:25:58

大数据分析物联网

时间序列数据库的数据集成策略译文

时序数据带来了额外的复杂性。从本质上讲，每个时序数据点的值会随着时间的推移而减少，因为数据的粒度会随着数据过时而失去相关性。因此，团队必须仔细规划数据集成到时间序列数据库（TSDB）中的策略，以确保分析近乎实时地反映趋势和情况。

2023-02-16 17:44:13

时序数据库 CDC ETL

2023年的四个大数据发展趋势

企业对数据科学家的需求也呈指数级增长。许多人预测，在未来五年内，这将是最受欢迎的职业。无论专业领域如何，基础数据科学技能都可以为企业提供在该领域开始充满活力和有前途的职业生涯所需的广泛知识。以下将探讨2023年的一些大数据趋势。

2023-02-16 13:46:36

大数据数据科学

使用Pandas也可以进行数据可视化

数据可视化是数据分析的一个重要方面，它提供了一种理解数据并从中得出有意义见解的方法。Pandas 是最常见的于数据分析的 Python 库，它基于Matplotlib扩展了一些常用的可视化图表，可以方便的调用，本篇文章就让我们看看有哪些图表可以直接使用。

2023-02-15 08:24:12

数据分析数据可视化

大数据已死！从业10年老哥爆文抨击：这套唬不住客户了

Jordan Tigani认为——如果大数据真是未来，那情况应该不一样。

2023-02-15 08:24:00

连接数据与技术，改造智能建筑

当我们拥有无法理解或无法关联的数据时，可能根本就没有数据。孤立的数据正在削弱智能建筑，我们需要管理运营技术的组合，将多个数据源和不同的系统结合在一起，以推动价值。

2023-02-14 14:33:54

连接数据智能建筑

春节大数据看2023年中国经济走向

中国电信融合运营商、互联网和产业经济数据，分析春节期间（2023年1月7日-2023年2月5日）产业发展状态，展望2023年经济走向。

2023-02-13 23:48:12

大数据运营商经济

1 2 3 4 5 6 ··· 163 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营