51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

存储架构

193内容  
面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。
文章
共 193 条
基于Mongodb的分布式文件存储实现
基于 MongoDB GridFS 的分布式文件存储方案，凭借其独特的文件分块存储原理和与 MongoDB 分布式架构的紧密结合，为我们提供了一种高效、可靠的文件存储方式。

2025-05-16 08:58:47

Mongodb分布式存储
Mmap是如何巧妙绕过传统IO性能陷阱的？
32位系统的进程地址空间有限（通常为4GB），映射大文件可能导致地址空间碎片化或不足。尽管64位系统空间充裕，但映射超大型文件（如TB级）仍需谨慎管理。

2025-05-12 08:43:08

IO性能映射
解锁CPU上下文切换：深入理解计算机的“幕后舞者”
在计算机中，CPU 上下文是指 CPU 在执行任务时所需要的运行环境，包括 CPU 寄存器和程序计数器等。CPU 寄存器是 CPU 内部的高速存储单元，用于暂存指令、数据和地址等信息 。

2025-05-12 00:00:15

CPU上下文切换寄存器
大模型时代的存储挑战：要快、要稳，更要低成本 原创
随着大模型技术的不断演进，存储系统也将不断创新和发展。例如，新型存储介质的出现、存储架构的优化以及存储与计算的深度融合等，都将为大模型的存储提供更加高效、可靠的解决方案。

2025-05-09 11:08:50

大模型存储SSD
在存储系统内保护数据的安全---克隆技术
存储行业其实并没有对克隆的实现做严格的限制，各个存储厂商的实现也有差异。其中如华为的HyperClone实现的克隆是对原始卷的全拷贝，而Dell PowerStore的ThinClone则并非全拷贝，而只是支持写数据的功能。

2025-05-09 07:45:23

存储系统数据安全
缓存淘汰策略指南：程序员必懂的四种方法
掌握这些策略的组合拳，才能真正让缓存成为系统性能的加速器。下次设计缓存模块时，不妨先画个业务场景象限图，找到最适合的淘汰策略组合。

2025-05-08 08:20:42

缓存淘汰策略FIFO
但是，I/O多路复用中是如何判断文件“可读”/“可写”的？
在进行网络编程或处理其他类型的 I/O 操作时，一个常见的挑战是如何高效地管理多个并发的 I/O 通道。如果为每个连接或文件都创建一个单独的线程或进程来阻塞等待 I/O，当连接数非常多时，系统资源的开销（如内存、上下文切换成本）会变得非常巨大。

2025-05-08 08:01:05

I/O多路复用
Ceph 对象存储多站点复制：多站点同步策略
存储桶同步策略主要应用于归档区域（archive zones）。从归档区域的数据移动是单向的，即所有对象可以从活跃区域（active zone）移动到归档区域，但不能从归档区域移动到活跃区域，因为归档区域是只读的。我们将在博客系列的第六部分详细讨论归档区域。

2025-05-07 08:01:29

Ceph对象存储
为什么不推荐使用 MyBatis 二级缓存
订单表与会员表是存在一对多的关系，为了尽可能减少join查询，进行了分阶段查询。即先查询出订单表，再根据​​member_id​​字段查询出会员表，最后进行数据整合。而如果订单表中存在重复的​​member_id​​，就会出现很多重复查询。

2025-04-29 07:06:20

MyBatis缓存订单表
告别SharedPreferences！用DataStore打造更靠谱的本地存储
升级到DataStore​后，你会发现代码里少了无数个getSharedPreferences()​，再也不用写commit()和apply()​的纠结选择，数据操作就像用LiveData一样流畅自然。

2025-04-17 08:23:55

DataStore本地存储
一起聊聊 Ceph 对象存储多站点复制的性能
在每个Ceph集群中，我们配置了两个RGW服务。默认情况下，这些RGW服务同时处理客户端S3请求和站点间的复制请求，共享资源和处理时间。

2025-04-16 08:01:05

Ceph对象存储
轻松解决内存不足问题：ZRAM技术全面解析
在当今的软件环境下，许多应用程序对内存的需求越来越高。一款普通的办公软件在运行时可能就需要占用几百 MB 的内存，而如果再同时打开浏览器、音乐播放器等多个程序，内存很快就会被耗尽，导致电脑运行缓慢，甚至出现死机的情况。

2025-04-14 02:00:00

内存ZRAM技术
一文读懂电脑内存：从基础原理到性能
对于游戏玩家来说，内存性能对游戏体验的影响尤为关键 。随着游戏画面质量的不断提高，游戏场景变得越来越复杂，模型和纹理更加精细，对内存资源的需求也越来越大 。

2025-04-07 03:02:00

电脑内存数据
内存加速的秘密武器：TLB缓存原理和应用全解析
缓存就像是一个数据的 “高速中转站”，它位于 CPU 和内存之间，存储着 CPU 近期可能会频繁访问的数据。当 CPU 需要访问数据时，会首先在缓存中查找，如果能够在缓存中找到所需的数据，就可以直接从缓存中读取，从而大大减少了内存访问的时间。缓存技术的出现，在一定程度上缓解了内存访问延迟的问题，但它并没有从根本上解决这一难题。

2025-04-07 01:00:00

CPUTLB缓存
华为周跃峰：共筑数智解决方案，共享数据存储产业大发展 原创
站在AI技术爆发的临界点，华为存储传递出了清晰的产业信号：存储正在从基础设施升级为智能引擎，从成本中心转变为价值中心。

2025-03-30 11:26:01

华为存储
NVIDIA AI数据平台与硅光网络交换机：驱动下一代AI基础设施的技术革新 原创
NVIDIA的AI数据平台与硅光网络交换机不仅解决了当前AI基础设施的痛点，更为未来的技术演进指明了方向。随着合作伙伴生态的扩展与技术的持续迭代，企业将能以更低成本、更高效率部署AI应用，加速从数据到洞察的价值转化。

2025-03-20 08:46:14

NVIDIA硅光网络交换机AI数据平台
NVIDIA 与行业领先的存储企业共同推出面向 AI 时代的新型企业基础设施
存储提供商构建搭载 AI 查询智能体的基础设施，利用 NVIDIA 计算、网络和软件，针对复杂查询进行推理并快速生成准确响应

2025-03-19 10:28:29

NVIDIA
闪迪携创新闪存解决方案亮相CFMS，以多样化产品组合赋能企业构建数字世界的"记忆宫殿" 原创
作为拥有深厚专业积累的闪存创新者，闪迪也正在通过不断的技术创新，发布多样化的产品，满足不同行业的数智化转型需求。

2025-03-13 17:43:27

闪迪
LSM-TREE从入门到入魔：从零开始实现一个高性能键值存储
我们使用Zig语言实现了一个LSM-Tree的核心功能，包括MemTable、SSTable、写流程、各类Iterator与数据压缩能力。通过这个项目，我收获了很多心得体会。

2025-03-04 00:20:45

LSMMemTableSSTable
深入探索列式数据库：是什么让它们脱颖而出
以列存储数据的想法并不新鲜。它最早由 GP Copeland 和 SN Khoshafian 在 1985 年全面提出。他们的论文“A Decomposition Storage Model (DSM),”提出以二元关系存储数据，将每个属性值与记录的标识符配对。

2025-02-10 09:10:32

列存储数据性能
开发者必看！JSON 必知必会的关键要点
什么是 JSON？JSON 是一种用于存储和交换数据的文本格式，易于理解，并且与 JavaScript 的对象语法十分相似。

2025-02-10 08:18:27

JSON数据交换格式
Ceph IAM多租户功能介绍与实践
在本文中，我们将探讨如何通过引入 IAM 账户来提升 Ceph 的多租户功能。Ceph 是一个开源的分布式存储系统，广泛用于大规模数据存储，提供高性能和高可靠性。随着多租户需求的增加，在 Ceph Squid 版本中，Ceph 通过 IAM 账户的引入，进一步增强了其在多租户环境中的管理。

2025-01-15 08:01:45

Ceph分布式存储
IO模型 Select、Poll、Epoll，你知道哪个？
应用只需要向内核发送一个读取请求,告诉内核它要读取数据后即刻返回；内核收到请求后会建立一个信号联系，当数据准备就绪，内核会主动把数据从内核复制到用户空间，等所有操作都完成之后，内核会发起一个通知告诉应用，我们称这种模式为异步IO模型。

2025-01-07 00:07:17

IO模型内核
SSD与HDD各有优势！从应用场景出发选择合适的数据存储产品 原创
虽然AI对存储性能要求更高，但SSD并不会快速取代HDD。因此，我们在选择SSD与HDD时，需要根据具体的应用需求进行权衡。

2024-12-03 09:39:13

SSDHDDQLC
数据湖存储如何加速？你知道吗？
不管是像数据表这样的结构化数据，还是视频这类非结构化数据，又或是 json 这样的半结构化数据，都会被存到对象存储中，不同厂商的对象存储叫法不同，比如在腾讯云它叫 COS。它成本低，扩展性高，不少大厂用它来存储海量数据，构成所谓的数据湖。

2024-12-03 00:38:37

数据湖存储COS
方便又高效！还在手动从服务器获取日志？设置日志收集系统更方便！
日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展，日志系统不仅仅局限于简单的记录和存储，而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。

2024-11-04 09:47:59

日志系统存储
四大缓存预热解决方案(图文全面总结)
缓存预热可以在系统运行时将热门数据加载到缓存中，减少缓存未命中，提高系统整体性能。缓存预热减少了对底层数据源（如数据库）的频繁访问，降低了数据源的负载。缓存预热有助于系统更好地应对突发的用户访问量，避免系统崩溃或性能下降。总体而言，缓存预热是系统优化的关键步骤之一，对于提高系统的稳定性、性能和用户体验至关重要。

2024-10-31 11:52:05

缓存预热系统
为什么固态硬盘（SSD）速度快？
固态硬盘控制器并行操作多个闪存颗粒，大大提高了底层带宽。当我们需要写入多个页面时，固态硬盘控制器可以并行写入[3]，而硬盘只有一个磁头，每次只能从一个磁头读取。

2024-10-30 09:42:43

固态硬盘SSD闪存
如何应对生成式AI和大模型应用带来的存储挑战 原创
技术的发展正在推动着存储技术的变革，随着QLC、CXL和HBM等先进技术的不断突破和发展，生成式AI和大模型应用面临的存储墙问题将迎刃而解！

2024-09-02 09:30:49

QLCCXLHBM
西部数据携全新存储产品亮相IOTE 2024：以创新技术和丰富产品组合加速AI发展 原创
AI技术正在以前所未有的速度走进千行百业。面向未来不同行业的创新需求，西部数据积极探索存储技术创新，及时推出了面向不同行业不同应用场景的丰富存储产品组合和解决方案，为企业积极拥抱AI，充分利用AI创新提供了坚实的存储底座。​

2024-08-29 12:32:01

西部数据存储iNAND
缓存技术在软件开发中的应用与优化策略
缓存技术是软件开发中不可或缺的一部分，它显著提高了系统的性能和响应速度。然而，合理设计缓存策略并处理常见的缓存问题是至关重要的。

2024-07-23 08:06:19

缓存技术策略
MemoryFS 存储系统的一些构想
我们对存储介质的速度和容量的需求在不断增长，总是追求更快、更经济、更大容量的存储解决方案。这种需求的增长将推动市场平衡点的移动，催生新的需求，同时也促进了存储技术的创新与发展。

2024-07-05 11:05:47

MemoryFS存储系统
交易日均千万订单的存储架构设计与实践
为了有效地存储、检索和管理这些订单数据，设计一个高效的存储架构至关重要。本文将探讨如何设计一个能够应对高并发写入和查询的存储架构，并提供C#示例代码来展示如何实现部分功能。

2024-06-18 08:07:50

存储架构设计
美团面试：说说Netty的零拷贝技术？
操作系统有用户态和内核态之分，这是因为计算机体系结构中的操作系统设计了两个不同的执行环境，以提供不同的功能和特权级别。

2024-06-07 08:10:14

Netty操作系统零拷贝
计算机是怎么存储整数的，原码、反码、补码又是个啥？
不管是多少位的有符号整数，它的最小值的绝对值一定比最大值多 1，因此八位整数的最小值是 -128，最大值是 127。事实上 10000000 表示 -128 有些人为规定的意思，但它确保了数字范围的对称性，并允许有效地利用二进制位来表达整数。

2024-04-18 08:51:10

原码反码补码
开放式现代数据湖仓加速AI进程
Dell Data Lakehouse利用无处不在的数据进行全方位AI部署为业务提供助力。

2024-04-16 13:43:14

Dell
腾讯云存储面向AIGC全面升级，搭载全面自研存储引擎
云厂商继续为大模型加速落地铺路架桥。

2024-04-08 13:47:21

腾讯云存储云存储AIGC
边缘数据中心如何为更绿色的未来重新定义计算？
在一个以技术进步为主导的时代，数字景观以前所未有的速度发展，我们相互联系的世界面临着一个紧迫的问题——环境的可持续性。

2024-04-03 11:29:03

数据中心边缘计算
Rust 实现分布式存储系统 TiKV，不仅仅是一个键值数据库！
TiKV 是一个开源分布式键值数据库，它是通过 Rust 语言编写，基于 Raft 分布式协议实现的。它不仅提供了零距离的上手体验，还通过提供事务、显式/隐式快照、负载均衡等高级功能，成为了众多知名项目不可或缺的组件。

2024-03-26 10:43:47

Rust存储数据库
华为周跃峰：数据觉醒时代，共创数据存储产业新未来
华为将秉持“因聚而生 数智有为”的核心理念，不断强化“伙伴+华为”体系，深化千万伙伴的合作深度与广度，共同助力客户打造领先的数据基础设施，共赢数据存储产业新未来！

2024-03-16 18:21:42

存储
缓存把我坑惨了...
文中关于缓存的介绍老猫其实并没有说完，很多其实还是需要小伙伴们自己去抽时间研究研究。不得不说缓存是一门以空间换时间的艺术。

2024-03-14 10:30:05

缓存场景DEMO
戴尔科技以软件驱动型存储组合，赋能企业利用数据持续创新 原创
戴尔科技不仅提供产品和平台，还提供一整套的方法论和服务，帮助用户，尤其是那些缺乏经验的用户，更好地搭建和利用AI平台。​

2024-03-13 20:21:12

戴尔科技OneFS软件PowerScale
迎接数据驱动的未来，CIO需要考虑的五个关键存储问题
企业必须保证为成功打下最牢固的硬件基础。只有能够应对数据挑战、使数据存储满足创新要求，并做好应对数据隐私和安全挑战的准备，CIO才能保证企业更加顺利地过渡到这个激动人心的新时代。

2024-03-01 18:19:17

数据存储
​用最简单的方式解决海量数据存储问题：解读数据压缩的三大误区 原创
我们建议企业要根据不同的数据存储需求，来选择最适合自己的数据压缩解决方案，以此来平衡计算、存储和网络基础设施资源之间的权衡，最大化降低企业的TCO。

2024-02-21 11:51:11

数据存储数据压缩数据管理
生成式AI加速存储市场复苏！2024年存储发展趋势展望 原创
由于生成式AI、LLM的发展，致使搭载GPU、AI加速芯片的服务器需求量增长，必然会带动存储市场的需求增长。 不过，边缘计算、云计算、AIoT等热点将延续到2024年，也势必推动存储市场的高速增长。

2024-01-18 10:32:25

存储2024年预测
一文搞懂什么是阻塞IO、信号驱动IO、Reactor模型、零拷贝
零拷贝技术的文件传输方式相比传统文件传输的方式，减少了 2 次上下文切换和数据拷贝次数，只需要 2 次上下文切换和数据拷贝次数，就可以完成文件的传输，而且 2 次的数据拷贝过程，都不需要通过 CPU，2 次都是由 DMA 来搬运。

2024-01-09 18:09:43

模型方式DMA
HBM技术有何优势？详解高带宽存储器 原创
高带宽存储器，简称HBM，即High Bandwidth Memory，是一种具备高性能、高容量的存储芯片，被广泛应用于高性能计算、数据中心等领域。

2023-12-19 18:24:51

高带宽存储器HBM
分布式存储系统在大数据处理中扮演着怎样的角色？
如果存储节点本身可以定制，则通常会让其支持部分计算能力，以利用数据的亲和性，将部分计算下推到相关的存储节点上。如果存储是云上的 S3 等对象存储，无法定制，则通常会将数据在计算节点缓存，并且尽量的复用。 参考资料

2023-12-19 08:03:25

存储大数据节点
互联网大厂是如何设计和使用缓存的？方案已开源！
以秒杀系统为例，采用本地缓存+分布式缓存的混合型缓存方案时，如果整个秒杀系统前置的流量管控、流量清洗和限流等是秒杀系统流量洪峰的第一道防线，则本地缓存就是抗流量洪峰的第二道防线，而分布式缓存就是第三道防线，经过层层流量过滤，最终进入数据库的流量就比较可控了。

2023-12-11 14:20:00

系统缓存本地缓存
一篇聊聊Jetpack Room实现数据存储持久性
Room 是 Android Jetpack 组件库中的一部分，它是用于在 Android 应用中进行本地数据库访问和管理的库。Room 提供了一个抽象层，使开发者能够更轻松地访问 SQLite 数据库，并且可以在不直接使用 SQL 语句的情况下进行数据库操作。

2023-12-08 08:26:05

数据存储持久性
1 23 4
点赞

51CTO技术栈公众号

业务
速览
在线客服