51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

存储架构

140内容  
面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。
文章
共 140 条
数字孪生、AR和VR如何改进数据中心设计
近年来，随着数字化理念的日益普及，数据中心基础设施管理（DCIM）在数字时代扮演着愈发重要的角色。虽然DCIM已经在许多数据中心得到广泛应用，但其在整个行业中尚未实现全面普及，这主要受到数字化概念的传播速度以及信息技术（IT）与运营技术（OT）系统集成度提升的制约。

2023-11-28 16:11:02

数据中心
金额到底应该用什么类型存储
在处理金额时，选择合适的数据类型至关重要。虽然在某些情况下，使用整数类型也是可行的，但为了确保最大的精度和安全性，BigDecimal是处理金额的首选类型。

2023-11-24 08:17:38

金额类型存储
解密存储引擎 bitcask 的设计原理
根据官方测试，在处理几十 GB 的数据时表现很好，但即便数据量增大，表现也不会有明显变化，只要 keydir 能够完全适应 RAM。当然这个限制也是微不足道的，因为即使有数百万个 key，也用不了 1G 的内存。

2023-11-22 08:35:34

存储引擎bitcask
一文读懂常见的缓存策略
缓存是一种用于临时存储数据的技术，旨在提高数据访问速度和性能。通过将常用的数据存储在缓存中，可以减少对原始数据存储位置的访问次数，从而加快数据的读取速度。缓存通常用于加速计算机系统、网络和Web应用程序的性能。

2023-11-21 09:41:00

缓存策略存储
首个落地实践！曙光存储案例入选液冷数据中心白皮书
数据中心作为国家新基建，对数字经济腾飞起到重要的底层支撑作用。国家“双碳战略”和东数西算不断要求数据中心向绿色低碳迈进。与此同时，以人工智能、5G为代表技术热潮的兴起，也给数据中心带来资源使用和性能提升等挑战。​

2023-11-15 19:53:07

数据中心
十个 GitHub 存储库，助你成为前端巨匠
这些 GitHub 存储库提供了丰富的资源，涵盖了 JavaScript 开发的各个方面，从基础知识到高级主题，从编码规范到面试准备，对于提高前端开发技能和知识非常有帮助。无论您是初学者还是有经验的开发人员，都可以从中受益。

2023-10-31 19:28:48

GitHub存储前端
Ceph的文件系统架构及使用实战
CDentry是一个粘合层，它建立了inode与文件名或者目录名之间的关系。一个CDentry可以链接到最多一个CInode。但是一个CInode可以被多个CDentry链接。这是因为链接的存在，同一个文件的多个链接必然名称是不同的，因此需要多个CDentry数据结构。

2023-10-28 08:47:58

Ceph文件系统
云磁带库存储架构的设计与实践
LTFS 的全称是 Line Tape File System，是一个开源的存储格式标准，它以文件系统的形式定义了数据在磁带介质上的存储格式和访问接口，应用程序可以通过该接口和软件库来直接存取磁带上的数据。LTFS 提供了开源的LE 版本库，这个版本提供了比较基础的访问能力。部分厂商还在此基础上研发了具备更多高级能力的商业版本，比如 IBM 的 LTFS-EE。

2023-10-27 11:35:18

存储架构版本库
千亿级数据防丢指南：存储系统的可靠性保障实践
现在各大提供分布式存储的厂商之所以没公开相关可靠性计算模型，是因为统计样本数据不足。如果全行业能够分享各自的部分统计数据，样本量足够大，就有希望建设最真实的评估模型。

2023-10-27 07:36:16

存储系统数据防丢
Ceph 中的写入放大
了解数据和工作负载是确定 Ceph 集群构建的关键部分。了解整个数据的平均文件大小将使您能够避免这种极高的写入放大。 当然，这并不总是这样的。通常，在单个集群中往往会存在各种大小的文件。

2023-10-12 08:01:00

Ceph数据集群
解密京东面试：如何应对Redis缓存穿透？
在面试中，被问到Redis缓存穿透问题，不要感到害怕或无措。通过深入了解问题的根本原因以及各种解决方案，你可以展现出自己的技术深度和解决问题的能力。同时，面试官也更愿意看到你能够思考问题，提出创新的解决方案。

2023-10-04 19:43:38

京东Redis缓存
为什么都说NFS读写性能差，如何进行优化？
尽量使用大文件，而非小文件。似乎这个并不好实现，因为文件的大小是业务决定的，我们似乎很难控制文件的大小。但是，如果是自己开发的应用程序， 在保存数据的时候尽量以大文件的形式，而非小文件的形式，这对性能是有益的。​

2023-10-04 18:29:24

NFS小文件业务
手撕 Golang 高性能内存缓存库 bigcache!
bigcache 的开发者是 allegro，是波兰的一个电商网站，参考资料中给出了他们的技术博客的原文，文中详细描述了他们问题的背景以及思考，值得研究。

2023-09-18 09:10:11

Golang高性能缓存库
大规模块存储 EC 系统构建
纠删码则是将用户的原始数据进行切分，形成 K 个大小相等的分片，然后对这些分片进行编码，形成 M 个校验分片。校验分片的大小和数据分片相同。K+M 个分片会被分布在不同的机器上。

2023-09-08 10:13:35

存储EC系统
两节点vSAN配置实战
配置存储策略不是必须的，如果是标准vSAN，可以配置多个存储策略，比如网络RAID1，RAID5等，创建虚拟机的时候，可以根据虚拟机的重要程度选择不同的策略。

2023-08-30 08:00:49

vSAN存储策略
一文读懂浏览器本地存储：Web Storage
在我们的一些内部系统中，用户信息是每个页面都要用到的，尤其是 userId 字段，会与每个获取数据接口挂钩，但这个数据是不会变的，一直请求是没有意义的，为减少接口的访问次数，可以将主要数据缓存在 localStorage 内，方便其他接口获取。

2023-08-01 19:11:05

浏览器本地存储
使用 WAL 构建你自己的 KV 存储
用户写入数据，实际就是先写入到 wal 中，写到 wal 之后，你会得到一个位置信息 ChunkPosition，然后把 Key+ChunkPosition 存储到内存数据结构中即可。

2023-07-30 17:34:53

KV存储ChunkPosit
MySQL中的存储过程（详细篇）
如果在实现用户的某些需求时，需要编写一组复杂的SQL语句才能实现的时候，那么我们就可以将这组复杂的SQL语句集提前编写在数据库中，由JDBC调用来执行这组SQL语句。把编写在数据库中的SQL语句集称为存储过程。

2023-07-27 07:03:24

MySQL存储SQL
尝鲜初体验：使用 Loggie 和 VictoriaLogs 快速构建新一代的日志系统
最近VictoriaMetrics发布了预览版的VictoriaLogs，类似Loki专门用于存储日志。鉴于VictoriaMetrics的良好名声，还是让大家对这条搅局的「鲶鱼」充满了一定的期待。VictoriaMetrics为什么要入局搞VictoriaLogs呢？

2023-07-10 08:42:36

Loggie监控项目
系统架构设计实战：缓存失效策略选型
缓存失效策略应谨慎选择，以平衡性能和数据准确性之间的权衡。通过理解不同的缓存失效策略，软件工程师可以选择适当的策略来优化缓存性能，降低延迟，同时确保存储在缓存中的数据准确且最新。

2023-07-09 15:20:00

缓存平衡性能
一篇带你彻底读懂 IO 流技术！
本文阐述的内容较多，整合了很多有用的信息，从 Java 基本的 I/O 类库结构开始说起，主要介绍了 IO 的传输格式和传输方式，包括字节流和字符流接口相关的分类介绍，以及磁盘 I/O 和网络 I/O 的基本工作方式。

2023-06-26 00:26:40

I/OJava字节流
《中国对外医疗基础设施建设成果报告》发布，华为助力国际医疗基础设施建设高质量发展
医疗行业正处于数字化转型的爆发期，数字基础设施是关键。面对数字化转型带来的医疗数据爆发式增长、海量设备需要互联互通、数据存储与网络安全高要求等挑战

2023-06-19 10:25:54

数据存储
Jenkins流水线将制品发布到Nexus存储库
本指南的目的是创建一个工作流，我们可以在该工作流中通过Maven和CI服务器来构建，存储，管理和监视已编译的制品。

2023-05-26 08:31:09

MavenJenkins
构筑坚实先进数据底座，加速制造业集群数字化升级 2023华为智能制造数据基础设施高峰论坛在武汉召开
制造行业数字化转型的大潮已来，随着数字经济与实体经济的深度融合，以数据存储为代表的创新数据基础设施必将成为制造业数字化转化型的新引擎

2023-04-27 09:43:37

数据存储
Crimson：高性能，高扩展的新一代 Ceph OSD
Ceph 的性能要跟上硬件发展的速度一直很有挑战的，因为 Ceph 的架构是十年前的——它对单核 CPU 性能的依赖使它无法充分利用不断增长的 IO。

2023-03-21 08:01:44

Crimson硬件CPU
宏杉科技应邀出席2023年地理信息产业合作发展论坛，共话产业创新发展​
宏杉科技产品部总工张夏男从地理信息行业对存储的需求进行分析，分享了宏杉科技面向地理信息系统的一站式数据存储解决方案。

2023-03-20 15:50:55

宏杉
Ceph故障分享长文：关于Ceph的一次无硝烟的战争
记录所有内容并确保所有相关信息可用（包括实际更改时间、使用的内核/软件包/固件/…版本）。完整的文档是我们在本案例中最重要的资产，因为我们有紧急处理期间以及RCA（故障回溯）期间所需的所有数据和信息。

2023-02-28 08:00:24

Ceph故障服务器
送分来了，华为一面，介绍下五种 IO 模型
异步 IO 的两个阶段，用户进程都是非阻塞的，用户进程将整个 IO 操作都交由内核完成，内核完成后会发送通知。在此期间，用户进程不需要去检查 IO 操作的状态，也不需要主动的去拷贝数据。

2023-02-26 22:12:41

IO模型进程
聊聊Glide缓存机制
内存缓存/运行时缓存分为两部分：活动缓存（ActiveResource）和Lru内存缓存（LruResourceCache）。

2023-02-24 16:46:25

Glide缓存机制
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
为了高可靠，ES如果使用本地盘的话一般会使用两副本，也就是说存储1PB数据需要2PB的物理空间。

2023-01-12 15:25:51

Curve数据存储
说透IO多路复用模型
在实际开发过程中，实际上LT更易用一些，毕竟系统帮助我们做了大部分校验通知工作，之前提到的SELECT和POLL，默认采用的也都是这个。但是需要注意的是，当有成千上万个客户端连接上来开始进行数据发送，由于LT的特性，内核会频繁的处理通知操作，导致其相对于ET来说，比较的耗费系统资源，所以，随着客户端的增多，其性能也就越差。

2023-01-09 10:04:47

IO多路复用模型
2022年第十七届中国企业年终评选榜单揭晓：Dell PowerScale荣获2022年度中国IT行业存储优秀产品奖 原创
Dell PowerScale凭借出色的技术创新和简单易用、易于扩展等众多优势，荣获2022年度中国IT行业存储优秀产品奖。

2023-01-03 14:59:40

DellPowerScale
分布式存储系统 Ceph 介绍与环境部署
Ceph是当前非常流行的开源分布式存储系统，具有高扩展性、高性能、高可靠性等优点，同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs)，Ceph在存储的时候充分利用存储节点的计算能力，在存储每一个数据时都会通过计算得出该数据的位置，尽量的分布均衡。目前也是OpenStack的主流后端存储。

2023-01-03 07:57:27

存储系统Ceph
终于弄明白了 RocketMQ 的存储模型
充分考虑业务的查询场景，支持消息 key ，消息 offsetMsgId 查询消息数据。也支持消费者通过 tag 来订阅主题下的不同消息，提升了消费者的灵活性。

2022-12-31 08:17:02

场景数据消息
实测 | 海纳百川，华为OceanStor Pacific分布式存储为多元算力应用带来更优选择
随着HPDA的整体发展，从业务负载上而言需要考虑HPC/AI、大数据以及AI的混合叠加，需要支持应用驱动的科学计算工作流，进而推动负载以数据为中心，从计算科学发现转向数据科学发现转变。

2022-12-23 16:13:00

HPDA
购物车系统的存储设计
既然用户的购物车数据存放在MySQL或Redis各有优劣。那能否把购物车数据存在MySQL，并用Redis缓存？不就兼顾二者优势？若可行，如何保证Redis中的数据和MySQL数据一致性？

2022-12-16 08:52:14

购物车系统存储
数据中心电池的可持续性考虑
数据中心部门传统上使用铅酸电池与静态UPS系统，但这种情况正在逐渐改变。预计到2025年，锂离子电池将占数据中心储能的38.5%。据报道，它越来越受欢迎是因为它的耐用性和更小的占地面积，与传统铅酸电池相比，锂离子电池的回收次数是传统铅酸电池...

2022-11-22 10:52:49

数据中心
缓存击穿、穿透、雪崩专项测试
R2M缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面。而缓存最常见的问题是缓存穿透、击穿和雪崩，在高并发下这三种情况都会有大量请求落到数据库，导致数据库资源占满，引起数据库故障。

2022-11-18 14:34:28

缓存击穿穿透雪崩
微软新技术，致态TiPro7000好搭档
作为PCIe 4.0 SSD中的佼佼者，致态TiPro7000用选用长江存储晶栈® Xtacking®3.0架构闪存，拥有高达74000MB/s和6700MB/s的连续读写速度。不仅自身读取速度优异能够满足DirectStorage技术的要求

2022-11-14 09:55:34

长江存储
QEMU/KVM + Ceph Librbd 性能测试以及深度优化
对于 16K 的 IO，qemu+librbd 经过仔细调优后，可以从单个 VM 实现 64-67K 的随机写入 IOPS 和 123K 的随机读取 IOPS。即使在使用 libssl 的 AES-NI 支持时，在 Ceph 中启用 128 位在线 AES 加密也会对性能产生显着影响（30% 以上）。

2022-11-02 08:05:09

性能测试优化Ceph
华为存储以5000系列明星产品深度布局商业市场，赋能企业释放数据价值 原创
华为 OceanStor 5310/5510/5610/5810系列针对闪存架构的全新设计和新五大融合，在性能、功能和品质上都达到业界领先水平，满足数据库OLTP/OLAP、虚拟化、文件等高品质服务的同时，为容器、分布式数据库等业务蓄力，引领新型数据中心存储服务。

2022-10-27 11:35:10

华为闪存架构存储
新华三超融合UIS 8.0正式发布：三大创新架构五大能力升级，赋能企业智简上云 原创
新华三UIS 8.0是完全从客户需求出发打造的全新超融合产品，旨在为客户提供性能最优、体验最佳、适用性更强的解决方案。

2022-10-14 11:53:29

新华三UIS 8.0
从闪存卡到SSD硬盘，存储芯片是如何发展起来的？
近年来，如大家所见，随着FLASH芯片价格的不断下降，个人家庭及企业用户开始大规模采用闪存，以及SSD硬盘。SSD硬盘的出货量，逐渐超过HDD机械硬盘。存储介质的更新换代，又进入新的高峰。

2022-10-13 07:31:43

闪存卡SSD硬盘
聊聊如何Ceph修改mon ip地址
要更改监mon的 IP 地址，必须添加一个具有要使用的 IP 地址的新mon节点（如添加监视器（手动）中所述），确保新mon成功加入仲裁；然后移除旧 IP 地址的mon。最后更新ceph.conf文件以确保客户端和其他守护程序知道新mon的 IP 地址。

2022-10-10 08:05:23

IP地址节点
一碰就头大的高并发缓存与数据库双写一致性问题，立马解决
一般来说，如果允许缓存可以稍微的跟数据库偶尔有不一致的情况，也就是说如果你的系统不是严格要求缓存 + 数据库必须保持一致性的话，最好不要做这个方案。即：读请求和写请求串行化，串到一个内存队列里去。

2022-10-08 00:00:09

数据库缓存系统
十年一剑：创新驱动，以智行远，UIS 8.0激发超融合未来更多可能
在UIS 8.0当中，新华三集团对这些趋势做了很好的落地和回应，因此，即便在超融合技术已不再是新鲜事物的当下，UIS 8.0仍具备领先性和竞争优势。

2022-09-29 13:13:12

UIS 8.0
我们一起在 Ceph 指定OSD 创建 pool
如何利用crush来对不同数据指定不同设备的osd存储，这边我是用虚拟机演示，所以都是hdd，这边假设osd0,2,4为ssd设备，osd 1,3,5为sata设备。

2022-09-28 08:31:13

crush虚拟机设备
关于半导体存储的入门科普，你学会了吗？
大家如果拆开自己的U盘或SSD硬盘，就会发现里面都是PCB电路板，以及各自各样的芯片及元器件。其中有一类芯片，就是专门存储数据的，有时候也称“存储芯片”。

2022-09-27 23:10:31

SSD硬盘元器件
使用 NVMe 加速云原生应用程序 译文
云原生应用程序与传统应用程序或托管在云中的传统软件具有不同的存储需求。

2022-09-26 14:07:38

云原生NVMe存储
10 张图 | 一文带你用 Mac M1 跑 RocketMQ
最近在倒腾RocketMQ消息队列，首先就得把 RocketMQ 跑起来对吧，我们一般都是 Windows 或者 Linux 机器上，按照官方教程一下子就跑起来了，另外用 Intel 芯片的 Mac 也能轻松跑起来。

2022-09-22 08:32:30

RocketMQLinuxWindows
1 2 3
点赞

51CTO技术栈公众号

业务
速览
在线客服