51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

数据管理

521内容  
数据管理涵盖数据收集、存储、处理和应用等内容，为用户提供数据管理行业动态、全新产品、前沿技术、应用案例等内容，帮助用户管好用好数据，实现数据的有效管理并充分发挥数据价值。
文章
共 521 条
内存泄漏之谜：一个Lambda如何拖垮了我们的Kubernetes服务
我多希望我们能迅速定位问题。但事实上，我们花了六周时间、两次紧急补丁尝试，外加一个痛苦的性能分析周末，才揪出罪魁祸首：一个Lambda表达式。

2025-07-09 03:00:00

内存Lambda定位
程序崩溃时，mmap映射的文件会怎样？
当程序崩溃这一意外降临，mmap映射的文件瞬间陷入未知之境。是能维持原状，还是会数据丢失、损坏，又或是引发其他复杂问题？

2025-07-09 02:00:00

mmap映射程序
秒杀活动中，某商品库存100件，瞬时万级并发请求抢购。如何保证库存扣减的准确性和高性能？如何避免超卖？
库存扣减的本质是分布式系统状态同步问题。当性能与精确性不可兼得时，通过预占机制和最终一致性校验，在业务容忍的时间窗口内达成平衡，这正是分布式系统设计的艺术所在。

2025-07-08 02:25:00

高性能架构QPS
保护高并发服务稳定主要有三把利器：缓存、降级和限流
在视频直播场景中，为了保证直播的流畅性和稳定性，需要对观众的并发访问数量进行限流。例如，根据服务器的带宽和处理能力，限制每个直播间同时在线观看的人数不超过 10000 人，当人数达到上限时，新的观众将无法进入直播间，只能等待其他观众离开后才有机会进入。

2025-07-04 07:06:48

高并发服务缓存
Elasticsearch 集群直接数据、协调、主节点混用在一个节点，有比较大的风险吗？
在实际的 Elasticsearch 部署中，节点并不是“一视同仁”的。根据分配的角色，节点可能负责协调集群、存储数据或预处理数据。理解这些节点角色对于设计一个可扩展、高性能且容错的 Elasticsearch 集群至关重要。

2025-07-01 03:22:00

集群主节点存储
CPU的底线：为什么只有操作系统才能执行这些操作？
只有当CPU位于Ring0也就是内核态时才可以执行我们刚才列举的这些操作，否则会触发异常，这会进一步触发操作系统的运行，操作系统运行起来后会终止掉有问题的进程。

2025-07-01 02:25:00

CPU内存系统
避免“卡脖子”！如何减少内存I/O延迟对程序的影响？
单来说，内存 IO 就像是计算机的 “数据高速公路”，负责在内存和其他设备（如硬盘、CPU 等）之间传输数据。它的速度和效率直接影响着计算机系统的整体性能。

2025-06-26 09:15:41

内存I/O程序
Ceph 对象存储分层功能增强：在不同存储类别之间无缝迁移数据来优化成本和性能
本篇博客介绍了如何通过分层和生命周期策略将冷数据迁移到更具成本效益的存储类别，并将其归档到 IBM Cloud Object Storage (COS)。

2025-06-25 08:00:41

Ceph对象存储
程序为何不越界，内存管理单元MMU全解析
在 Linux 系统中，内存的分配与回收是一个复杂而有序的过程，就像是一个繁忙的物流中心，不断地接收和处理各种内存请求；从操作系统的角度来看，进程分配内存主要有两种方式，分别由brk和mmap这两个系统调用完成（这里不考虑共享内存）。

2025-06-19 01:00:00

内存管理单元MMU
eBPF+内核调优：动态追踪内存碎片的终极武器
了解内存碎片问题后，再来认识 eBPF 技术。它最初用于网络数据包过滤，如今已演变成通用执行引擎。能在内核构建安全虚拟机环境，在不改动内核源码、不重启系统的情况下，动态加载自定义程序，精准追踪内存分配与释放，进而解决内存碎片问题 。

2025-06-09 02:10:00

动态追踪内存碎片
Ceph 对象存储多站点复制：归档区域（Archive Zone）的概念和架构
归档区域作为多站点区域组（multisite zonegroup）中的一个区域，可以拥有与生产区域不同的配置，包括其自己的存储池和复制规则。

2025-06-04 08:04:26

Ceph对象存储
内存一路狂飙，如何精准揪出“幕后黑手”
在手机上，也有许多内存优化工具可供选择。比如 “猎豹清理大师”，它可以深度清理手机内存，关闭后台运行的不必要程序，还能清理应用程序的缓存和垃圾文件，释放大量内存空间，有效解决手机内存不足和卡顿的问题。

2025-06-03 02:15:00

内存优化手机
全面解析页面回收技术：让你的系统“轻装上阵”
常见的页回收技术包括按需回收、全局页面替换算法（如LRU、FIFO等），以及基于工作集模型等更复杂的策略；这些机制通常由操作系统负责实施和调度，根据应用程序的访问模式和资源需求动态地进行页面分配和回收。接下来，就让我们一起深入了解一下页面回收技术的原理吧。

2025-05-29 02:00:00

页面回收技术系统
SpringBoot与Cassandra整合，实现高写入吞吐量用户事件存储系统
随着我们的app使用人数快速发展，用户行为数据变得越来越重要，这些数据可以用来优化产品设计、提升用户体验、实施精准营销策略，并支持业务决策。然而，处理海量的用户行为数据需要高效的存储和分析能力，传统的数据库方案往往难以满足这些需求。

2025-05-23 08:37:26

SpringCassandra存储
内存 “舞台” 上，进程如何 “翩翩起舞”？
CPU 缓存（Cache）是位于 CPU 和主存之间的高速存储部件，它利用了局部性原理来提高内存访问命中率。当 CPU 需要访问内存数据时，首先会在 Cache 中查找 。

2025-05-06 00:18:00

内存进程CPU
字节二面：为何还执着传统数据复制，零拷贝它不香吗？
在多媒体流传输领域，零拷贝技术是实现流畅播放体验的关键。以在线视频播放为例，视频数据需要从服务器快速传输到客户端，并且要求低延迟。

2025-04-14 01:11:00

数据复制零拷贝
全面解读zsmalloc：高效内存分配器的源码
为了更直观地展示 zsmalloc 分配器的卓越性能，我们以一款中低端 Android 智能手机为例进行详细分析。这款手机配备了 4GB 的物理内存，在日常使用中，经常会出现内存紧张的情况，尤其是在同时运行多个应用程序时。

2025-04-11 00:44:00

zsmalloc内存分配器
面试官：说说零拷贝和多路复用？
多路复用技术则是一种让单个进程（或线程）能够同时监视多个描述符（如文件描述符、socket描述符）的技术，当其中任何一个描述符准备好进行读、写或者异常操作时，就会通知该进程。

2025-04-10 03:00:00

NIOI/O进程
事务处理对持久统计信息自动收集的影响
系统变量innodb_stats_auto_recalc（默认ON）控制表行更改超过10%时，是否自动计算统计信息。也可以通过创建或更改表时指定stats_auto_recalc子句为单个表配置自动统计重新计算。

2025-04-03 02:22:00

事务处理信息自动收集
多个 Elasticsearch 集群要一起监控，怎么办？
假设你公司有三五个 Elasticsearch 集群，有的跑日志分析，有的处理搜索服务，还有的可能是测试环境。

2025-03-26 03:25:00

集群日志分析搜索
第十八届全国大学生信息安全竞赛（创新实践能力赛）暨第二届“长城杯”铁人三项赛（防护赛）半决赛成功举办
第二届“长城杯”铁人三项赛（防护赛）决赛将于2025年4月在福建福州与第八届数字中国建设峰会同期举办。

2025-03-17 12:12:23

铁人三项赛长城杯
Commvault在数据保护领域的深度探索：护航全球企业数据安全，破解出海与AI时代的新挑战 原创
唯有将数据安全融入业务血脉，企业才能真正实现基业长青。

2025-03-13 11:15:08

Commvault
Commvault任命Ha Hoang为首席信息官
在加入Commvault之前，Hoang曾担任UKG云工程和基础设施集团副总裁，负责领导多个全球云转型项目。她还曾在麦肯锡咨询公司和Wipro担任领导职务，致力于推动能够带来显著业务成果的技术战略。

2025-03-11 17:16:55

Commvault
Commvault赋能医疗和生命科学领域领导者保护关键数据，为患者提供持续的护理服务
医疗服务提供商、制药公司和生命科学机构都依靠Commvault的解决方案，以推动业务的持续展开，助力满足法规合规要求，并加快从各类意外事件中恢复的速度。

2025-03-07 17:00:55

Commvault
Hammerspace携手驿心科技，为中国打造超大规模AI存储解决方案
开创AI工厂新时代：统一文件与对象存储平台，凭借跨数据中心和云端的无缝编排能力，为企业提供高效、经济的AI数据管理方案

2025-03-05 13:26:40

Hammerspac驿心科技
Hammerspace 拓展中国市场，打破多个行业的数据孤岛问题
满足文件与对象数据融合平台的激增需求，驱动新一代数据基建与存储架构升级

2025-03-05 13:24:39

HammerspacYition.ai
我们一起聊聊 Ceph 对象存储多站点复制
我们详细讲解了如何使用rgw管理器模块在两个站点/区域之间部署Ceph对象存储多站点复制。这只是一个开始，我们的目标是构建一个完整的部署，包括必要的负载均衡。

2025-03-05 08:02:45

Ceph对象存储
《网络数据安全管理条例》正式施行，企业数据保护合规如何落地？
增强数据保护和数据安全能力是企业在数字化时代保持竞争力的应时之举，企业应当不断提升自身数据保护治理，答好这道数字化时代的“必答题”。

2025-02-21 11:03:25

Commvault
Commvault推出CIS强化镜像，支持简单、安全的云部署
作为一家将安全放在首位的企业，对我们的解决方案部署方式充满信心非常重要。Commvault的CIS强化镜像帮助我们确保了一个强大的安全基线，让我们的团队能够专注于保护和恢复关键数据。

2025-02-14 10:36:37

Commvault
2025 年主数据管理和数据质量的十大趋势
随着 2024 年的结束，现在是时候展望并确定 2025 年影响主数据管理 (MDM) 和数据质量的关键趋势了。

2025-02-10 10:06:18

数据管理数据质量人工智能
应对数据保护挑战，Commvault推出自动化Active Directory林恢复守护企业“关键命脉”
Commvault平台全面保护关键工作负载，助力客户和合作伙伴将持续业务提升至全新高度

2025-01-16 13:39:58

Commvault
真实案例解析缓存大热key的致命陷阱
缓存大key和热key是缓存使用中常见的陷阱，千万不要心存侥幸，否则会引发严重的线上事故。通过本文的案例分析和解决方案，我们希望能够帮助读者更好地理解和应对这个问题。记住，合理使用缓存是提高系统性能的关键，而不是简单地将所有数据都存储在缓存中。​

2025-01-07 00:00:10

系统性能缓存存储
为什么必须手动关闭IO流，不能坐等GC回收?
如果对未关闭流的文件进行读写操作，可能就会报错，告诉你这个文件被某个进程占用。如果不手动释放资源，随着资源占有量逐渐增多，垃圾会越来越多，最终可能导致系统无法存储其他的资源，甚至会出现系统崩溃。

2024-12-30 09:22:11

IO流GC回收
C++ 虚析构函数：如何避免内存泄漏
在C++程序开发中，内存泄漏（Memory Leak）是一种常见的内存管理错误。它指的是程序在申请内存后，未能正确释放已申请的内存空间。

2024-12-19 14:42:15

C++内存泄漏内存管理
Commvault：三大支柱重塑数据保护，赋能持续业务新时代 原创
Commvault将持续引领数据保护领域的发展潮流。通过持续业务理念的不断推广和实践，Commvault将帮助企业重塑数据保护体系，迎接数字化时代的挑战和机遇。

2024-12-13 10:28:48

Commvault
Hitachi Vantara扩展混合云平台：满足不断变化的数据存储需求 原创
Hitachi Virtual Storage Platform One将对象存储与块存储和文件存储相集成，利用QLC闪存扩展高密度容量，并增强软件定义的云集成，从而降低成本、改善非结构化数据管理，同时显著提高能效。

2024-12-11 09:15:51

HitachiVSPONE对象存储
共迎持续业务新时代，2024 Commvault SHIFT全球巡演 · 中国站成功召开
Commvault SHIFT全球巡演 · 中国站已经成为中国企业了解数据安全前沿趋势，学习数据保护最新技术的行业盛会。

2024-12-06 17:05:22

CommvaultSHIFT全球巡演
企业级的OSS对象存储服务，这样封装万能好用！
本文主要讲解企业级OSS对象存储服务Spring Boot Starter制作，开箱即用，为项目进行赋能。基于AmazonS3协议，适配市面上的大部分对象存储服务如：阿里云OSS、腾讯COS、七牛云OSS、MInio等等。

2024-12-02 15:50:42

OSS对象MInio
AI存储瓶颈破解之道，西部数据用前沿技术持续引领存储革命 原创
面对AI领域日益增长的存储需求与性能瓶颈，西部数据凭借前沿技术持续引领存储创新。通过研发高性能、高密度的存储解决方案，西部数据有效提升了AI数据处理的速度与效率，降低了存储成本。

2024-11-29 16:57:16

西部数据AI
Commvault荣膺Forrester数据弹性解决方案领导者
在此次报告的“当前产品”类别评估中，Commvault在13项核心标准中都获得了最高评分，包括超大规模云/IaaS、监管与合规功能、直接支持的SaaS平台、生成式AI模型与数据的保护，以及跨基础设施的恢复能力。

2024-11-29 11:41:19

Commvault
我们一起聊聊增强数据可用性一定要复制多份吗？
Amazon S3 在其 Glacier Deep Archive 存储类别中使用纠删码。此类别注重耐久性，同时希望最大程度降低存储成本。而 Standard 存储类别则更多依赖复制，优先考虑数据访问的速度而非成本。

2024-11-27 08:12:58

数据可用性Amazon
Commvault即将于12月5日举办2024 Commvault SHIFT全球巡演 · 中国站
Commvault SHIFT全球大会是Commvault一年一度重磅打造的聚焦网络弹性领域的行业盛会，旨在于持续变化的数字世界中驱动网络弹性变革。

2024-11-26 15:53:26

Commvault
Commvault扩充亚太地区领导团队，推动创新和区域业务增长
2024年11月21日，混合云网络弹性和数据保护解决方案领先提供商Commvault近期任命Jill Macmurchy为亚太区首席客户官，进一步扩充其亚太地区领导团队。

2024-11-21 13:14:24

Commvault
混合环境迷雾里，您是否能够成功点亮“持续业务”？
为了确保即使在受到攻击情况下，企业也能快速恢复运转，减少攻击影响，网络弹性成为企业的“必需品”。而如何在广为采用的复杂混合云模式下构建强大的网络弹性，并将其转化为持续业务的竞争优势成为当今企业亟待思考的问题。

2024-11-15 14:03:56

Commvault
数据管理常见的四个误解
在数据管理领域，我发现尽管技术进步了，人们对数据重要性的认识也越来越强，但仍然存在一些误解。这些误解往往会导致不理想的决策和策略，从而阻碍而不是支持有效实施数据管理的能力。

2024-11-04 15:49:02

数据管理数据隐私
存储成本：如何推算日志中心的实现成本？
尽管千兆网卡的理论速度为 100 MB/s，计算得出的 73 MB/s 吞吐流量似乎可以在其容量范围内，但这样做是不够的。这是因为我们在估算容量时必须留有弹性。使用千兆网卡时，实际负载接近满载，一旦出现流量波动，就可能导致网络拥堵，从而严重影响系统的稳定性。

2024-11-04 09:34:17

存储日志吞吐流量
业务脚本：为什么说可编程订阅式缓存服务更有用？
在那些读多写多的服务当中，实时交互类的服务数量相当多，并且这类服务对于数据的实时性有着很高的要求。若是采用集中型缓存的方式，往往很难满足此类服务所提出的各项需求。

2024-10-29 09:53:08

业务脚本缓存
快手二面，磁盘异常爆满如何排查？
有时你可能会发现，使用​find​或​du​查找到的文件占用空间与​df​命令显示的磁盘使用量相差甚远。比如上图我们使用du -hs​查看根目录下所有文件的总和就只有10G左右，但 df显示磁盘占用了37G，没有隐藏目录的情况下，剩余的空间去了哪里？

2024-10-28 11:07:33

磁盘目录文件
Commvault与Pure Storage携手帮助金融机构满足DORA要求
该联合解决方案提供网络弹性、运营就绪和快速恢复能力，满足日益严格的法规要求

2024-10-14 14:26:11

Commvault
Commvault帮助AWS上的云优先企业提升网络就绪水平
Commvault在AWS上提供Commvault Cloud网络弹性平台的全部功能，包括洁净室恢复、Commvault SaaS服务、Air Gap Protect和Cloud Rewind™

2024-10-11 11:07:33

Commvault
1 23456 ··· 11
点赞

51CTO技术栈公众号

业务
速览
在线客服