51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

数据管理

530内容  
数据管理涵盖数据收集、存储、处理和应用等内容，为用户提供数据管理行业动态、全新产品、前沿技术、应用案例等内容，帮助用户管好用好数据，实现数据的有效管理并充分发挥数据价值。
文章
共 530 条
山洪灾害后的 Ceph 惨案：PG incomplete 到 RBD 镜像消失
在一次山洪灾害后，机房的服务器全部断电，等供电恢复后进入系统发现所有的虚拟机文件系统损坏了，并且查看ceph集群有个pg出现inactive和incomplete状态，上传新的镜像io也会卡住，以下是恢复过程。

2025-08-27 00:00:05

Ceph镜像系统
说说内存泄漏的常见场景和排查方案？
内存泄漏是指程序中某些对象不再被使用，但由于仍然被引用，垃圾回收器无法回收这些对象，导致内存被持续占用的问题。长期的内存泄漏会导致内存溢出问题，但内存泄漏不等于内存溢出，这点面试的时候一定要注意。

2025-08-13 13:03:53

内存泄漏场景
多级缓存架构设计与缓存一致性保障
多级缓存架构是平衡性能与成本的最优解，而缓存一致性则是系统可靠性的基石。在实际应用中，需结合业务场景（如读写比例、一致性要求）灵活调整方案，毕竟没有什么技术方案是完美的，只有最适合当前业务场景的取舍。​

2025-08-08 07:09:58

多级缓存架构
Ceph 对象存储分层功能增强：基于策略的数据检索
为了弥补这些不足，我们在 Ceph 对象存储生态系统中引入了基于策略的数据检索功能。这一增强功能使管理员和运维团队能够将迁移到云或磁带层级的对象直接检索回 Ceph 集群，从而满足操作效率和数据可访问性的需求。

2025-08-06 08:03:23

对象存储分层
字节终面：CPU 是如何读写内存的？
CPU只是按照指令按部就班的执行，机器指令从哪里来的呢？是编译器生成的，程序员通过高级语言编写程序，编译器将其翻译为机器指令，机器指令来告诉CPU去读写内存。

2025-08-05 03:22:00

CPU内存语言
一文读懂堆栈与堆，代码世界的“内存双雄”
堆栈就像是一位敏捷的短跑健将，在处理函数调用和临时数据存储等场景时，能够以极快的速度完成操作；而堆则更像是一位耐力十足的长跑选手，虽然在速度上不及堆栈，但它的灵活性使得它在需要动态分配内存和存储长生命周期数据的场景中发挥着重要作用。

2025-08-05 01:15:00

堆栈堆内存
腾讯三面折戟，被mmap虐哭了
正是因为我对 mmap 的理解存在如此多的不足，才在面试中被这个问题难住，最终与腾讯的 offer 失之交臂。这次的经历让我深刻认识到，在技术学习的道路上，容不得半点马虎和一知半解，每一个知识点都可能成为决定成败的关键。

2025-08-04 02:44:00

Mmap内核读写效率
大疆二面追问：如何通过内存映射提高文件读写性能？
内存映射技术便是这样一把能够提升文件读写性能的利器。它就像一位隐藏在幕后的高手，默默发挥着强大作用，将文件与内存巧妙关联，改变了数据读取和写入的方式。今天，让我们一同走进内存映射的世界，揭开它作为文件读写加速秘密武器的神秘面纱 。

2025-07-28 02:22:00

内存映射函数
全 NVMe 闪存下的 Ceph 集群性能优化万字完整指南
当前，使用全 NVMe 存储的需求，彻底改变了 Ceph 的存储能力及其竞争领域。多年来，Ceph 凭借能够使用普通的常规硬盘（HDD） 以高性价比的特性被大量使用。这使其成为满足海量对象存储需求的首选。

2025-07-23 08:06:00

Ceph集群存储
AI时代，非结构化数据带来的存储挑战与解决方案 原创
当AI应用需要快速实时访问和频繁修改数据的时候，文件存储便是更好地选择。当需要收集海量数据，做模型训练以及备份归档等应用场景时，对象存储是更好的选择。

2025-07-15 16:36:25

AI文件存储对象存储
内存泄漏之谜：一个Lambda如何拖垮了我们的Kubernetes服务
我多希望我们能迅速定位问题。但事实上，我们花了六周时间、两次紧急补丁尝试，外加一个痛苦的性能分析周末，才揪出罪魁祸首：一个Lambda表达式。

2025-07-09 03:00:00

内存Lambda定位
程序崩溃时，mmap映射的文件会怎样？
当程序崩溃这一意外降临，mmap映射的文件瞬间陷入未知之境。是能维持原状，还是会数据丢失、损坏，又或是引发其他复杂问题？

2025-07-09 02:00:00

mmap映射程序
秒杀活动中，某商品库存100件，瞬时万级并发请求抢购。如何保证库存扣减的准确性和高性能？如何避免超卖？
库存扣减的本质是分布式系统状态同步问题。当性能与精确性不可兼得时，通过预占机制和最终一致性校验，在业务容忍的时间窗口内达成平衡，这正是分布式系统设计的艺术所在。

2025-07-08 02:25:00

高性能架构QPS
保护高并发服务稳定主要有三把利器：缓存、降级和限流
在视频直播场景中，为了保证直播的流畅性和稳定性，需要对观众的并发访问数量进行限流。例如，根据服务器的带宽和处理能力，限制每个直播间同时在线观看的人数不超过 10000 人，当人数达到上限时，新的观众将无法进入直播间，只能等待其他观众离开后才有机会进入。

2025-07-04 07:06:48

高并发服务缓存
Elasticsearch 集群直接数据、协调、主节点混用在一个节点，有比较大的风险吗？
在实际的 Elasticsearch 部署中，节点并不是“一视同仁”的。根据分配的角色，节点可能负责协调集群、存储数据或预处理数据。理解这些节点角色对于设计一个可扩展、高性能且容错的 Elasticsearch 集群至关重要。

2025-07-01 03:22:00

集群主节点存储
CPU的底线：为什么只有操作系统才能执行这些操作？
只有当CPU位于Ring0也就是内核态时才可以执行我们刚才列举的这些操作，否则会触发异常，这会进一步触发操作系统的运行，操作系统运行起来后会终止掉有问题的进程。

2025-07-01 02:25:00

CPU内存系统
避免“卡脖子”！如何减少内存I/O延迟对程序的影响？
单来说，内存 IO 就像是计算机的 “数据高速公路”，负责在内存和其他设备（如硬盘、CPU 等）之间传输数据。它的速度和效率直接影响着计算机系统的整体性能。

2025-06-26 09:15:41

内存I/O程序
Ceph 对象存储分层功能增强：在不同存储类别之间无缝迁移数据来优化成本和性能
本篇博客介绍了如何通过分层和生命周期策略将冷数据迁移到更具成本效益的存储类别，并将其归档到 IBM Cloud Object Storage (COS)。

2025-06-25 08:00:41

Ceph对象存储
程序为何不越界，内存管理单元MMU全解析
在 Linux 系统中，内存的分配与回收是一个复杂而有序的过程，就像是一个繁忙的物流中心，不断地接收和处理各种内存请求；从操作系统的角度来看，进程分配内存主要有两种方式，分别由brk和mmap这两个系统调用完成（这里不考虑共享内存）。

2025-06-19 01:00:00

内存管理单元MMU
eBPF+内核调优：动态追踪内存碎片的终极武器
了解内存碎片问题后，再来认识 eBPF 技术。它最初用于网络数据包过滤，如今已演变成通用执行引擎。能在内核构建安全虚拟机环境，在不改动内核源码、不重启系统的情况下，动态加载自定义程序，精准追踪内存分配与释放，进而解决内存碎片问题 。

2025-06-09 02:10:00

动态追踪内存碎片
Ceph 对象存储多站点复制：归档区域（Archive Zone）的概念和架构
归档区域作为多站点区域组（multisite zonegroup）中的一个区域，可以拥有与生产区域不同的配置，包括其自己的存储池和复制规则。

2025-06-04 08:04:26

Ceph对象存储
内存一路狂飙，如何精准揪出“幕后黑手”
在手机上，也有许多内存优化工具可供选择。比如 “猎豹清理大师”，它可以深度清理手机内存，关闭后台运行的不必要程序，还能清理应用程序的缓存和垃圾文件，释放大量内存空间，有效解决手机内存不足和卡顿的问题。

2025-06-03 02:15:00

内存优化手机
全面解析页面回收技术：让你的系统“轻装上阵”
常见的页回收技术包括按需回收、全局页面替换算法（如LRU、FIFO等），以及基于工作集模型等更复杂的策略；这些机制通常由操作系统负责实施和调度，根据应用程序的访问模式和资源需求动态地进行页面分配和回收。接下来，就让我们一起深入了解一下页面回收技术的原理吧。

2025-05-29 02:00:00

页面回收技术系统
SpringBoot与Cassandra整合，实现高写入吞吐量用户事件存储系统
随着我们的app使用人数快速发展，用户行为数据变得越来越重要，这些数据可以用来优化产品设计、提升用户体验、实施精准营销策略，并支持业务决策。然而，处理海量的用户行为数据需要高效的存储和分析能力，传统的数据库方案往往难以满足这些需求。

2025-05-23 08:37:26

SpringCassandra存储
内存 “舞台” 上，进程如何 “翩翩起舞”？
CPU 缓存（Cache）是位于 CPU 和主存之间的高速存储部件，它利用了局部性原理来提高内存访问命中率。当 CPU 需要访问内存数据时，首先会在 Cache 中查找 。

2025-05-06 00:18:00

内存进程CPU
字节二面：为何还执着传统数据复制，零拷贝它不香吗？
在多媒体流传输领域，零拷贝技术是实现流畅播放体验的关键。以在线视频播放为例，视频数据需要从服务器快速传输到客户端，并且要求低延迟。

2025-04-14 01:11:00

数据复制零拷贝
全面解读zsmalloc：高效内存分配器的源码
为了更直观地展示 zsmalloc 分配器的卓越性能，我们以一款中低端 Android 智能手机为例进行详细分析。这款手机配备了 4GB 的物理内存，在日常使用中，经常会出现内存紧张的情况，尤其是在同时运行多个应用程序时。

2025-04-11 00:44:00

zsmalloc内存分配器
面试官：说说零拷贝和多路复用？
多路复用技术则是一种让单个进程（或线程）能够同时监视多个描述符（如文件描述符、socket描述符）的技术，当其中任何一个描述符准备好进行读、写或者异常操作时，就会通知该进程。

2025-04-10 03:00:00

NIOI/O进程
事务处理对持久统计信息自动收集的影响
系统变量innodb_stats_auto_recalc（默认ON）控制表行更改超过10%时，是否自动计算统计信息。也可以通过创建或更改表时指定stats_auto_recalc子句为单个表配置自动统计重新计算。

2025-04-03 02:22:00

事务处理信息自动收集
多个 Elasticsearch 集群要一起监控，怎么办？
假设你公司有三五个 Elasticsearch 集群，有的跑日志分析，有的处理搜索服务，还有的可能是测试环境。

2025-03-26 03:25:00

集群日志分析搜索
第十八届全国大学生信息安全竞赛（创新实践能力赛）暨第二届“长城杯”铁人三项赛（防护赛）半决赛成功举办
第二届“长城杯”铁人三项赛（防护赛）决赛将于2025年4月在福建福州与第八届数字中国建设峰会同期举办。

2025-03-17 12:12:23

铁人三项赛长城杯
Commvault在数据保护领域的深度探索：护航全球企业数据安全，破解出海与AI时代的新挑战 原创
唯有将数据安全融入业务血脉，企业才能真正实现基业长青。

2025-03-13 11:15:08

Commvault
Commvault任命Ha Hoang为首席信息官
在加入Commvault之前，Hoang曾担任UKG云工程和基础设施集团副总裁，负责领导多个全球云转型项目。她还曾在麦肯锡咨询公司和Wipro担任领导职务，致力于推动能够带来显著业务成果的技术战略。

2025-03-11 17:16:55

Commvault
Commvault赋能医疗和生命科学领域领导者保护关键数据，为患者提供持续的护理服务
医疗服务提供商、制药公司和生命科学机构都依靠Commvault的解决方案，以推动业务的持续展开，助力满足法规合规要求，并加快从各类意外事件中恢复的速度。

2025-03-07 17:00:55

Commvault
Hammerspace携手驿心科技，为中国打造超大规模AI存储解决方案
开创AI工厂新时代：统一文件与对象存储平台，凭借跨数据中心和云端的无缝编排能力，为企业提供高效、经济的AI数据管理方案

2025-03-05 13:26:40

Hammerspac驿心科技
Hammerspace 拓展中国市场，打破多个行业的数据孤岛问题
满足文件与对象数据融合平台的激增需求，驱动新一代数据基建与存储架构升级

2025-03-05 13:24:39

HammerspacYition.ai
我们一起聊聊 Ceph 对象存储多站点复制
我们详细讲解了如何使用rgw管理器模块在两个站点/区域之间部署Ceph对象存储多站点复制。这只是一个开始，我们的目标是构建一个完整的部署，包括必要的负载均衡。

2025-03-05 08:02:45

Ceph对象存储
《网络数据安全管理条例》正式施行，企业数据保护合规如何落地？
增强数据保护和数据安全能力是企业在数字化时代保持竞争力的应时之举，企业应当不断提升自身数据保护治理，答好这道数字化时代的“必答题”。

2025-02-21 11:03:25

Commvault
Commvault推出CIS强化镜像，支持简单、安全的云部署
作为一家将安全放在首位的企业，对我们的解决方案部署方式充满信心非常重要。Commvault的CIS强化镜像帮助我们确保了一个强大的安全基线，让我们的团队能够专注于保护和恢复关键数据。

2025-02-14 10:36:37

Commvault
2025 年主数据管理和数据质量的十大趋势
随着 2024 年的结束，现在是时候展望并确定 2025 年影响主数据管理 (MDM) 和数据质量的关键趋势了。

2025-02-10 10:06:18

数据管理数据质量人工智能
应对数据保护挑战，Commvault推出自动化Active Directory林恢复守护企业“关键命脉”
Commvault平台全面保护关键工作负载，助力客户和合作伙伴将持续业务提升至全新高度

2025-01-16 13:39:58

Commvault
真实案例解析缓存大热key的致命陷阱
缓存大key和热key是缓存使用中常见的陷阱，千万不要心存侥幸，否则会引发严重的线上事故。通过本文的案例分析和解决方案，我们希望能够帮助读者更好地理解和应对这个问题。记住，合理使用缓存是提高系统性能的关键，而不是简单地将所有数据都存储在缓存中。​

2025-01-07 00:00:10

系统性能缓存存储
为什么必须手动关闭IO流，不能坐等GC回收?
如果对未关闭流的文件进行读写操作，可能就会报错，告诉你这个文件被某个进程占用。如果不手动释放资源，随着资源占有量逐渐增多，垃圾会越来越多，最终可能导致系统无法存储其他的资源，甚至会出现系统崩溃。

2024-12-30 09:22:11

IO流GC回收
C++ 虚析构函数：如何避免内存泄漏
在C++程序开发中，内存泄漏（Memory Leak）是一种常见的内存管理错误。它指的是程序在申请内存后，未能正确释放已申请的内存空间。

2024-12-19 14:42:15

C++内存泄漏内存管理
Commvault：三大支柱重塑数据保护，赋能持续业务新时代 原创
Commvault将持续引领数据保护领域的发展潮流。通过持续业务理念的不断推广和实践，Commvault将帮助企业重塑数据保护体系，迎接数字化时代的挑战和机遇。

2024-12-13 10:28:48

Commvault
Hitachi Vantara扩展混合云平台：满足不断变化的数据存储需求 原创
Hitachi Virtual Storage Platform One将对象存储与块存储和文件存储相集成，利用QLC闪存扩展高密度容量，并增强软件定义的云集成，从而降低成本、改善非结构化数据管理，同时显著提高能效。

2024-12-11 09:15:51

HitachiVSPONE对象存储
共迎持续业务新时代，2024 Commvault SHIFT全球巡演 · 中国站成功召开
Commvault SHIFT全球巡演 · 中国站已经成为中国企业了解数据安全前沿趋势，学习数据保护最新技术的行业盛会。

2024-12-06 17:05:22

CommvaultSHIFT全球巡演
企业级的OSS对象存储服务，这样封装万能好用！
本文主要讲解企业级OSS对象存储服务Spring Boot Starter制作，开箱即用，为项目进行赋能。基于AmazonS3协议，适配市面上的大部分对象存储服务如：阿里云OSS、腾讯COS、七牛云OSS、MInio等等。

2024-12-02 15:50:42

OSS对象MInio
AI存储瓶颈破解之道，西部数据用前沿技术持续引领存储革命 原创
面对AI领域日益增长的存储需求与性能瓶颈，西部数据凭借前沿技术持续引领存储创新。通过研发高性能、高密度的存储解决方案，西部数据有效提升了AI数据处理的速度与效率，降低了存储成本。

2024-11-29 16:57:16

西部数据AI
Commvault荣膺Forrester数据弹性解决方案领导者
在此次报告的“当前产品”类别评估中，Commvault在13项核心标准中都获得了最高评分，包括超大规模云/IaaS、监管与合规功能、直接支持的SaaS平台、生成式AI模型与数据的保护，以及跨基础设施的恢复能力。

2024-11-29 11:41:19

Commvault
1 23456 ··· 11
点赞

51CTO技术栈公众号

业务
速览
在线客服