鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

存储架构

205内容

关注

面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。

共 205 条

缓存穿透、缓存击穿、缓存雪崩，这样回答要满分呀！

Redis 故障宕机也可能引起缓存雪奔。这就需要构造Redis高可用集群啦。比如redis主从、哨兵模式、集群模式（Redis cluster）。

2025-06-30 01:55:00

缓存穿透缓存雪崩缓存击穿

数智加速华为极简全闪数据中心Pro+暨新品发布会即将举行

华为在数据存储领域占据领先地位，主要源于其持续的技术创新与对客户需求的深刻洞察。面对AI时代带来的数据存储的挑战与机遇，华为将于6月30日在中央戏剧学院（昌平校区）举办“极简全闪数据中心Pro+暨新品发布会”，带来华为数据存储多项突破性创新

2025-06-28 11:41:47

某商品页缓存突然成为热点Key（QPS 50w+），如何快速识别并设计本地缓存方案？

凌晨三点，监控大屏骤然飘红，核心商品页接口响应时间飙升，数据库连接池全线告急——一个未被预料的热点 Key 正在疯狂冲击系统。

2025-06-26 04:10:00

本地缓存 QPS 接口

Facebook Memcached 系统解决超大规模缓存一致性问题

希望今天的讲解能帮助大家更深入地理解这个经典的分布式缓存系统。这其中的很多设计思想，比如租约、CDC、Gutter 模式等，都是非常值得我们在自己的项目中借鉴的。

2025-06-16 02:11:00

缓存一致性系统

Refix Caching 详解：实现 KV Cache 的跨请求高效复用

前缀缓存（Prefix Caching）是一种大语言模型推理优化技术，它的核心思想是缓存历史对话中的 KV Cache，以便后续请求能直接重用这些中间结果。这样可以显著降低首 token 延迟，提升整体推理效率。Prefix Caching 尤其适用于多轮对话、长文档问答等高前缀复用场景。

2025-06-12 09:10:21

KV Cache 前缀缓存

SCM已死，MRM长存：面向AI时代重新思考内存

AI工作负载的兴起及其对HBM的依赖凸显了HBM的局限性。AI推理工作负载需高读吞吐量、密度和能效，而HBM难以成本效益高地满足这些需求。

2025-06-12 04:00:00

Ceph 对象存储多站点复制：从归档区域恢复数据

应用程序团队对问题进行了根本原因分析（RCA），并迅速联系存储团队，指定需要恢复的对象及其版本（日期/时间）。为了加快处理速度，可能还会承诺一些素食布朗尼作为感谢。

2025-06-12 00:00:00

对象存储多站点

从100万次到100次：如何优化缺页中断的高频暴击？

操作系统内核接管中断后，首先通过虚拟地址查找对应的VMA（Virtual Memory Area）区域，确认访问是否合法。若访问合法，内核会分配物理页框（pageframe），从磁盘（Swap或文件）加载所需数据，更新页表项，最后恢复程序执行。

2025-06-05 02:45:00

优化缺页 VMA

单机百万并发：协程开始吊打线程了？

所谓线程的栈大小为MB级别仅仅是虚拟内存大小，假设Linux内核为每个线程默认设置 8MB 虚拟内存，那么在32位系统下虚拟地址空间仅 4GB，512 个线程就会耗尽（8MB × 512 = 4GB），而64位系统虽虚拟空间巨大，但线程数仍受 vm.max_map_count 等内核参数限制。

2025-06-05 01:22:00

线程虚拟内存系统

别再明文存密码了！Spring Boot 实现密码加密存储的五种硬核方式

在实际构建 Java Web 系统的过程中，用户密码的安全管理绝对不能马虎。如果密码被原样写入数据库，那无异于把金库大门敞开。本文将带你深入了解 Spring Boot 中五种加密处理密码的方案，每一种都能有效抵御密码泄露带来的风险。

2025-06-04 02:10:00

加密存储系统

Ceph 对象存储多站点复制：将配置其他多站点同步策略

我们目前将区域组同步策略设置为allowed ，并在zonegroup级别配置了双向流。通过区域组同步策略允许我们以每个存储桶的粒度配置复制，我们可以从单向复制配置开始。

2025-05-29 01:20:00

Ceph 对象存储

基于Mongodb的分布式文件存储实现

基于 MongoDB GridFS 的分布式文件存储方案，凭借其独特的文件分块存储原理和与 MongoDB 分布式架构的紧密结合，为我们提供了一种高效、可靠的文件存储方式。

2025-05-16 08:58:47

Mongodb 分布式存储

Mmap是如何巧妙绕过传统IO性能陷阱的？

32位系统的进程地址空间有限（通常为4GB），映射大文件可能导致地址空间碎片化或不足。尽管64位系统空间充裕，但映射超大型文件（如TB级）仍需谨慎管理。

2025-05-12 08:43:08

IO 性能映射

解锁CPU上下文切换：深入理解计算机的“幕后舞者”

在计算机中，CPU 上下文是指 CPU 在执行任务时所需要的运行环境，包括 CPU 寄存器和程序计数器等。CPU 寄存器是 CPU 内部的高速存储单元，用于暂存指令、数据和地址等信息。

2025-05-12 00:00:15

CPU 上下文切换寄存器

大模型时代的存储挑战：要快、要稳，更要低成本原创

随着大模型技术的不断演进，存储系统也将不断创新和发展。例如，新型存储介质的出现、存储架构的优化以及存储与计算的深度融合等，都将为大模型的存储提供更加高效、可靠的解决方案。

2025-05-09 11:08:50

大模型存储 SSD

在存储系统内保护数据的安全---克隆技术

存储行业其实并没有对克隆的实现做严格的限制，各个存储厂商的实现也有差异。其中如华为的HyperClone实现的克隆是对原始卷的全拷贝，而Dell PowerStore的ThinClone则并非全拷贝，而只是支持写数据的功能。

2025-05-09 07:45:23

存储系统数据安全

缓存淘汰策略指南：程序员必懂的四种方法

掌握这些策略的组合拳，才能真正让缓存成为系统性能的加速器。下次设计缓存模块时，不妨先画个业务场景象限图，找到最适合的淘汰策略组合。

2025-05-08 08:20:42

缓存淘汰策略 FIFO

但是，I/O多路复用中是如何判断文件“可读”/“可写”的？

在进行网络编程或处理其他类型的 I/O 操作时，一个常见的挑战是如何高效地管理多个并发的 I/O 通道。如果为每个连接或文件都创建一个单独的线程或进程来阻塞等待 I/O，当连接数非常多时，系统资源的开销（如内存、上下文切换成本）会变得非常巨大。

2025-05-08 08:01:05

I/O 多路复用

Ceph 对象存储多站点复制：多站点同步策略

存储桶同步策略主要应用于归档区域（archive zones）。从归档区域的数据移动是单向的，即所有对象可以从活跃区域（active zone）移动到归档区域，但不能从归档区域移动到活跃区域，因为归档区域是只读的。我们将在博客系列的第六部分详细讨论归档区域。

2025-05-07 08:01:29

Ceph 对象存储

为什么不推荐使用 MyBatis 二级缓存

订单表与会员表是存在一对多的关系，为了尽可能减少join查询，进行了分阶段查询。即先查询出订单表，再根据member_id字段查询出会员表，最后进行数据整合。而如果订单表中存在重复的member_id，就会出现很多重复查询。

2025-04-29 07:06:20

MyBatis 缓存订单表

告别SharedPreferences！用DataStore打造更靠谱的本地存储

升级到DataStore后，你会发现代码里少了无数个getSharedPreferences()，再也不用写commit()和apply()的纠结选择，数据操作就像用LiveData一样流畅自然。

2025-04-17 08:23:55

DataStore 本地存储

一起聊聊 Ceph 对象存储多站点复制的性能

在每个Ceph集群中，我们配置了两个RGW服务。默认情况下，这些RGW服务同时处理客户端S3请求和站点间的复制请求，共享资源和处理时间。

2025-04-16 08:01:05

Ceph 对象存储

轻松解决内存不足问题：ZRAM技术全面解析

在当今的软件环境下，许多应用程序对内存的需求越来越高。一款普通的办公软件在运行时可能就需要占用几百 MB 的内存，而如果再同时打开浏览器、音乐播放器等多个程序，内存很快就会被耗尽，导致电脑运行缓慢，甚至出现死机的情况。

2025-04-14 02:00:00

内存 ZRAM 技术

一文读懂电脑内存：从基础原理到性能

对于游戏玩家来说，内存性能对游戏体验的影响尤为关键。随着游戏画面质量的不断提高，游戏场景变得越来越复杂，模型和纹理更加精细，对内存资源的需求也越来越大。

2025-04-07 03:02:00

电脑内存数据

内存加速的秘密武器：TLB缓存原理和应用全解析

缓存就像是一个数据的 “高速中转站”，它位于 CPU 和内存之间，存储着 CPU 近期可能会频繁访问的数据。当 CPU 需要访问数据时，会首先在缓存中查找，如果能够在缓存中找到所需的数据，就可以直接从缓存中读取，从而大大减少了内存访问的时间。缓存技术的出现，在一定程度上缓解了内存访问延迟的问题，但它并没有从根本上解决这一难题。

2025-04-07 01:00:00

华为周跃峰：共筑数智解决方案，共享数据存储产业大发展原创

站在AI技术爆发的临界点，华为存储传递出了清晰的产业信号：存储正在从基础设施升级为智能引擎，从成本中心转变为价值中心。

2025-03-30 11:26:01

NVIDIA AI数据平台与硅光网络交换机：驱动下一代AI基础设施的技术革新原创

NVIDIA的AI数据平台与硅光网络交换机不仅解决了当前AI基础设施的痛点，更为未来的技术演进指明了方向。随着合作伙伴生态的扩展与技术的持续迭代，企业将能以更低成本、更高效率部署AI应用，加速从数据到洞察的价值转化。

2025-03-20 08:46:14

NVIDIA 硅光网络交换机 AI数据平台

NVIDIA 与行业领先的存储企业共同推出面向 AI 时代的新型企业基础设施

存储提供商构建搭载 AI 查询智能体的基础设施，利用 NVIDIA 计算、网络和软件，针对复杂查询进行推理并快速生成准确响应

2025-03-19 10:28:29

闪迪携创新闪存解决方案亮相CFMS，以多样化产品组合赋能企业构建数字世界的"记忆宫殿" 原创

作为拥有深厚专业积累的闪存创新者，闪迪也正在通过不断的技术创新，发布多样化的产品，满足不同行业的数智化转型需求。

2025-03-13 17:43:27

LSM-TREE从入门到入魔：从零开始实现一个高性能键值存储

我们使用Zig语言实现了一个LSM-Tree的核心功能，包括MemTable、SSTable、写流程、各类Iterator与数据压缩能力。通过这个项目，我收获了很多心得体会。

2025-03-04 00:20:45

LSM MemTable SSTable

深入探索列式数据库：是什么让它们脱颖而出

以列存储数据的想法并不新鲜。它最早由 GP Copeland 和 SN Khoshafian 在 1985 年全面提出。他们的论文“A Decomposition Storage Model (DSM),”提出以二元关系存储数据，将每个属性值与记录的标识符配对。

2025-02-10 09:10:32

列存储数据性能

开发者必看！JSON 必知必会的关键要点

什么是 JSON？JSON 是一种用于存储和交换数据的文本格式，易于理解，并且与 JavaScript 的对象语法十分相似。

2025-02-10 08:18:27

JSON 数据交换格式

Ceph IAM多租户功能介绍与实践

在本文中，我们将探讨如何通过引入 IAM 账户来提升 Ceph 的多租户功能。Ceph 是一个开源的分布式存储系统，广泛用于大规模数据存储，提供高性能和高可靠性。随着多租户需求的增加，在 Ceph Squid 版本中，Ceph 通过 IAM 账户的引入，进一步增强了其在多租户环境中的管理。

2025-01-15 08:01:45

Ceph 分布式存储

IO模型 Select、Poll、Epoll，你知道哪个？

应用只需要向内核发送一个读取请求,告诉内核它要读取数据后即刻返回；内核收到请求后会建立一个信号联系，当数据准备就绪，内核会主动把数据从内核复制到用户空间，等所有操作都完成之后，内核会发起一个通知告诉应用，我们称这种模式为异步IO模型。

2025-01-07 00:07:17

IO 模型内核

SSD与HDD各有优势！从应用场景出发选择合适的数据存储产品原创

虽然AI对存储性能要求更高，但SSD并不会快速取代HDD。因此，我们在选择SSD与HDD时，需要根据具体的应用需求进行权衡。

2024-12-03 09:39:13

数据湖存储如何加速？你知道吗？

不管是像数据表这样的结构化数据，还是视频这类非结构化数据，又或是 json 这样的半结构化数据，都会被存到对象存储中，不同厂商的对象存储叫法不同，比如在腾讯云它叫 COS。它成本低，扩展性高，不少大厂用它来存储海量数据，构成所谓的数据湖。

2024-12-03 00:38:37

数据湖存储 COS

方便又高效！还在手动从服务器获取日志？设置日志收集系统更方便！

日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展，日志系统不仅仅局限于简单的记录和存储，而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。

2024-11-04 09:47:59

日志系统存储

四大缓存预热解决方案(图文全面总结)

缓存预热可以在系统运行时将热门数据加载到缓存中，减少缓存未命中，提高系统整体性能。缓存预热减少了对底层数据源（如数据库）的频繁访问，降低了数据源的负载。缓存预热有助于系统更好地应对突发的用户访问量，避免系统崩溃或性能下降。总体而言，缓存预热是系统优化的关键步骤之一，对于提高系统的稳定性、性能和用户体验至关重要。

2024-10-31 11:52:05

缓存预热系统

为什么固态硬盘（SSD）速度快？

固态硬盘控制器并行操作多个闪存颗粒，大大提高了底层带宽。当我们需要写入多个页面时，固态硬盘控制器可以并行写入[3]，而硬盘只有一个磁头，每次只能从一个磁头读取。

2024-10-30 09:42:43

固态硬盘 SSD 闪存

如何应对生成式AI和大模型应用带来的存储挑战原创

技术的发展正在推动着存储技术的变革，随着QLC、CXL和HBM等先进技术的不断突破和发展，生成式AI和大模型应用面临的存储墙问题将迎刃而解！

2024-09-02 09:30:49

西部数据携全新存储产品亮相IOTE 2024：以创新技术和丰富产品组合加速AI发展原创

AI技术正在以前所未有的速度走进千行百业。面向未来不同行业的创新需求，西部数据积极探索存储技术创新，及时推出了面向不同行业不同应用场景的丰富存储产品组合和解决方案，为企业积极拥抱AI，充分利用AI创新提供了坚实的存储底座。

2024-08-29 12:32:01

西部数据存储 iNAND

缓存技术在软件开发中的应用与优化策略

缓存技术是软件开发中不可或缺的一部分，它显著提高了系统的性能和响应速度。然而，合理设计缓存策略并处理常见的缓存问题是至关重要的。

2024-07-23 08:06:19

缓存技术策略

MemoryFS 存储系统的一些构想

我们对存储介质的速度和容量的需求在不断增长，总是追求更快、更经济、更大容量的存储解决方案。这种需求的增长将推动市场平衡点的移动，催生新的需求，同时也促进了存储技术的创新与发展。

2024-07-05 11:05:47

MemoryFS 存储系统

交易日均千万订单的存储架构设计与实践

为了有效地存储、检索和管理这些订单数据，设计一个高效的存储架构至关重要。本文将探讨如何设计一个能够应对高并发写入和查询的存储架构，并提供C#示例代码来展示如何实现部分功能。

2024-06-18 08:07:50

存储架构设计

美团面试：说说Netty的零拷贝技术？

操作系统有用户态和内核态之分，这是因为计算机体系结构中的操作系统设计了两个不同的执行环境，以提供不同的功能和特权级别。

2024-06-07 08:10:14

Netty 操作系统零拷贝

计算机是怎么存储整数的，原码、反码、补码又是个啥？

不管是多少位的有符号整数，它的最小值的绝对值一定比最大值多 1，因此八位整数的最小值是 -128，最大值是 127。事实上 10000000 表示 -128 有些人为规定的意思，但它确保了数字范围的对称性，并允许有效地利用二进制位来表达整数。

2024-04-18 08:51:10

原码反码补码

开放式现代数据湖仓加速AI进程

Dell Data Lakehouse利用无处不在的数据进行全方位AI部署为业务提供助力。

2024-04-16 13:43:14

腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎

云厂商继续为大模型加速落地铺路架桥。

2024-04-08 13:47:21

腾讯云存储云存储 AIGC

边缘数据中心如何为更绿色的未来重新定义计算？

在一个以技术进步为主导的时代，数字景观以前所未有的速度发展，我们相互联系的世界面临着一个紧迫的问题——环境的可持续性。

2024-04-03 11:29:03

数据中心边缘计算

Rust 实现分布式存储系统 TiKV，不仅仅是一个键值数据库！

TiKV 是一个开源分布式键值数据库，它是通过 Rust 语言编写，基于 Raft 分布式协议实现的。它不仅提供了零距离的上手体验，还通过提供事务、显式/隐式快照、负载均衡等高级功能，成为了众多知名项目不可或缺的组件。

2024-03-26 10:43:47

Rust 存储数据库

1 2 3 4 5 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营