51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
CTO训练营技术经理研习营LeaTech峰会
文章资源问答课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

存储架构

141内容  
面向企业存储架构的升级变革，覆盖传统存储架构与分布式存储架构两大版块，为用户提供业界动态、产品资讯、规划建设、前沿技术、应用案例等内容，帮助用户根据业务需求规划存储架构，确保企业存储架构高效可用。
文章
共 141 条
使用 NVMe 加速云原生应用程序 译文
云原生应用程序与传统应用程序或托管在云中的传统软件具有不同的存储需求。

2022-09-26 14:07:38

云原生NVMe存储
10 张图 | 一文带你用 Mac M1 跑 RocketMQ
最近在倒腾RocketMQ消息队列，首先就得把 RocketMQ 跑起来对吧，我们一般都是 Windows 或者 Linux 机器上，按照官方教程一下子就跑起来了，另外用 Intel 芯片的 Mac 也能轻松跑起来。

2022-09-22 08:32:30

RocketMQLinuxWindows
一次 堆外内存泄露 爆肝到半夜......
为了防止误判，笔者使用了pmap查看内存分布，发现大量的64M的地址；而这些地址空间不在jcmd命令所给出的地址空间里面，基本上就断定就是这些64M的内存所导致。

2022-09-21 08:39:52

堆外内存泄露内存分布
多存储库与单存储库的微服务发布管理比较 译文 精选
本文从跟踪变更，获悉其不同的版本，以及发布管理的角度，比较了微服务应用多存储库与单存储库方式的差异性。

2022-09-21 08:00:00

存储微服务架构
容器 I/O 性能诊断：到底哪个应用是带宽杀手？
在企业生产环境下 Pod 数量多、规模大，环境复杂场景下，通过阿里云容器服务 ACK 的存储卷的 I/O 可观测性可以帮助客户快速、准确地定位是哪个 Pod、哪个应用占用了过多带宽，元数据请求和数据请求资源，帮助客户通过优化策略、修改应用等方式解决 I/O 性能问题，提升业务运行效率。

2022-09-16 08:44:44

存储卷I/O带宽
聊聊存储技术的前世今生
进入21世纪后，信息技术以爆炸式的速度发展。互联网的普及，手机的崛起，使得整个社会的数字化进展大幅加快。由此带来的数据增长，也是惊人的。传统HDD硬盘尽管在不断提升自己的容量和性能，但仍然无法满足时代的需要。于是，一种新型的存储技术迅速崛起，开始了对HDD的取代。这个技术，就是半导体存储。究竟什么是半导体存储？

2022-09-14 21:15:44

互联网存储技术
记一次 .NET 某打印服务 非托管内存泄漏
总的来说，这次内存泄漏的原因在于朋友开了 STA 模式的线程，导致终结器线程卡死，进而导致 Bitmap 分配之后无法释放，最终引发非托管泄漏。这个dump告诉我们，不要放弃，一定可以在绝望中找到希望。

2022-09-13 17:46:19

STA模式内存
健康的Ceph 集群需要避免的16种操作
在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

2022-09-06 08:00:57

Ceph分布式存储系统
文件类数据存储系统架构优化实践经验
GPFS是一种高性能的并行文件系统，其底座很多也是使用FC组网的SAN存储。GPFS大多适用于高性能计算场景，或者是和企业其他IT技术生态捆绑使用。另一方面，GPFS在构建同城或异地容灾时，也有一定的局限性，很多也是基于底层SAN存储来做的数据级容灾。

2022-08-30 07:39:37

GPFSSAN存储
分布式存储 Ceph 架构原理解析
从Ceph的架构原理上来看，我们不难看出其定义当中的“扩展性、稳定性”。但是关于“优秀性能”这个描述的特性来讲，其实是需要斟酌其语境的。我们不能从其架构的分布式模式上简单判断多个节点服务的性能一定是最优秀的。

2022-08-28 09:05:34

分布式存储Ceph
一文理清：不同体系分布式存储技术的技术特性
数据量的爆发式增长催生了数据应用领域的各种新需求，数据应用领域的各种新需求驱动了数据管理层面以及数据载体层面的分布式变革。

2022-08-03 07:47:45

存储分布式体系
华为存储当选首届中国算力大会“创新先锋”
华为与国家超级计算济南中心通过此次深度合作，让数据高能效跨域存得下、存得好、流得动，把数据孤岛连成数据网络

2022-07-31 14:28:43

华为
容器进程调度时是该优先考虑CPU资源还是内存资源？
有的同学看到这个问题后的第一个想法是应该先评估一下新任务是计算密集型的业务还是 io 密集型的。然后再决定往哪个机器上调度。这么思考倒是也不能算错，只不过是没有抓到问题的关键点上。

2022-07-27 19:27:47

CPU资源内存
Kubernetes 节点磁盘故障排查，你学会了吗？
在Kubernetes 环境中，随着时间的推移，这可能会成为灾难性的，因为一旦超载，Kubernetes将开始“拯救”自己。这是通过杀死pod来实现的，从而减少节点上的负载。如果应用程序不知道如何正确处理突然的异常，这可能会导致问题，或者可能导致没有足够的资源来处理给定的负载。

2022-07-26 08:03:27

Kubernetes节点磁盘
《运营商数据存力指标》白皮书首发 构筑未来数据基础设施
如何让数据的价值最大化，如何衡量数据在数据基础设施中“存得好”，“管得好”，“用得好”，是目前运营商普遍关注的问题。

2022-07-19 11:01:16

数据存储
首批！杉岩数据通过中国信通院分布式存储评测
数字经济以数据资源为关键要素，分布式存储凭借支持混合负载、数据融合、数据分级、安全可靠等特性，成为海量新兴数据应用的最佳数据底座。

2022-07-18 11:20:58

存储
缓存穿透、缓存雪崩、缓存击穿？再也不怕了，你随便问吧！
本文介绍了在使用缓存时经常会遇到的三种异常情况：缓存穿透、缓存雪崩和缓存击穿。三种异常情况从根本上来说都是因为本应该访问缓存的，但是缓存不存在或服务异常，导致流量直接进入了数据库层面。

2022-07-11 07:36:36

缓存缓存雪崩缓存击穿
架构与算法创新，让分布式存储焕然一新！
分布式存储在数据存储产业中的占比越来越高，得益于分布式Scale-out的高扩展性，以及高速网络技术的发展，分布式存储逐渐成为主流

2022-07-08 10:42:01

分布式存储
从三个案例看数字化转型需求下存储架构的选择和应用
在大数据时代的背景下，结构化和非结构化数据激增，各个企业数字化转型步伐的加速，存储技术架构的不断更迭，会有更新的存储解决方案或者架构应运而生。新技术并不是为了代替老的技术，而是能够在现有存储架构的优势上，发掘新的突破点。在数据存储方面，混合架构的配合使用是未来存储发展的新趋势。

2022-07-08 07:48:59

存储架构数据
一个开发者自述：我是如何设计针对冷热读写场景的 RocketMQ 存储系统
Apache RocketMQ 作为一款分布式的消息中间件，历年双十一承载了万亿级的消息流转，其中，实时读取写入数据和读取历史数据都是业务常见的存储访问场景，针对这个混合读写场景进行优化，可以极大的提升存储系统的稳定性。

2022-07-07 09:28:29

RocketMQ存储系统
分布式存储在云平台基础架构层中的应用和部署
分布式存储系统，是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。随着各行业数字化转型的加速，越来越多的数据被生产出来，分布式存储成为我们应对海量数据挑战的重要助力。

2022-07-06 07:48:38

分布式存储架构
集中式存储在基于云的“敏态”架构下还有市场吗？
在“敏态”架构中，分布式存储凭借其良好的扩展性成为主流存储选择。那么集中式存储在以云技术为基础的“敏态”架构下是否依然有市场呢？本文作者对集中式存储对接云平台的可行性、在云环境的下部署以及在云环境下特定场景的优势进行了分析。对此您怎么看？也欢迎大家进行探讨。

2022-07-04 07:53:27

分布式存储云技术
kafka高性能原理分析，你看懂了吗？
机械结构的磁盘，如果把消息以随机的方式写入到磁盘，那么磁盘首先要做的就是 寻址，也就是定位到数据所在的物理地址，在磁盘上就要 找到对应的柱面、磁头以及对应的扇区；这个过程相对内 存来说会消耗大量时间，为了规避随机读写带来的时间消 耗，kafka采用顺序写的方式存储数据来避免这个过程。

2022-06-28 08:42:03

磁盘kafka高性能
架构师之路，从「存储选型」起步
在业务开发过程中，除了常用的MySQL，一定要多关注市面上更合适的存储方案，这是架构师的基本功。通过了解更多存储组件的基本特性和使用场景，因地制宜选择合适存储，提高业务开发效率，降低使用成本。

2022-06-15 10:04:51

存储选型MySQL
一篇学会缓存穿透、缓存击穿、缓存雪崩
当查询数据库和缓存都无数据时，因为数据库查询无数据，出于容错考虑，不会将结果保存到缓存中，因此每次请求都会去查询数据库，这种情况就叫做缓存穿透。

2022-05-27 07:57:20

缓存穿透缓存雪崩缓存击穿
数据湖存储方案Lakehouse带来数据仓库架构的提升 译文 精选
本文将从概念上向您重点介绍如何改进当前的数据湖平台，并最终将其变成Lakehouse，以增强架构模式，进而改造传统的数据仓库。

2022-05-11 08:00:00

Lakehouse存储数据湖
关于业务存储结构扩容的方案设计和思考
我们假设这个id字段为uid，如果是用户业务，则很多业务逻辑都是和这个uid强相关的，那么就会存在大量的业务梳理和研发代码的接入，如果底层数据存储的压力和风险过大，则这个事情的改进周期和影响范围就会更难以评估和控制。

2022-05-10 00:03:48

业务存储结构方案
稳居第一！解码新华三领跑中国超融合市场背后的硬实力
新华三集团在深耕超融合市场的同时，不断以颠覆性的创新成果，带领行业迈入新高度。未来，在“云智原生”战略指引下，新华三将助力更多企业快速上云、轻松上云，聚焦百行百业的数字化转型需求，持续引领中国超融合市场前进方向。

2022-04-29 17:19:50

新华三
什么是 SAN，它与 NAS 有何不同之处？ 译文
SAN 和网络附加存储 (NAS) 都是基于网络的存储解决方案。SAN 通常使用光纤通道连接，而 NAS 通常通过标准以太网连接连接到网络。

2022-04-26 09:29:04

SANNAS
潮数科技助力重庆北碚卫健委实现“平安卫健”
北碚卫健委信息平台中的数据事关地方百姓的生命健康安全，非常重要，保护好这些数据对于打造“平安卫健”具有重要意义。

2022-04-22 10:33:46

潮数数据
你了解 LotusDB 设计与实现的概念吗？
在传统的 LSM Tree 架构中，增删数据均是追加有序写入到 SST 文件中，相同的 key 对应的数据可能存在多份，需要通过复杂的 compaction 策略来进行空间回收，这同时带来了空间放大和写放大问题。

2022-04-06 08:49:44

SSTKV存储引擎
用于管理任何规模集群的十个必要的Ceph命令
使用这些基本的命令，您可以很好的处理日常Ceph集群管理。借助HyperDrive存储管理器，你可以更轻松一些。

2022-03-31 08:01:53

Ceph命令集群
难道没有完美的存储引擎？
目前数据库中使用最为广泛的存储引擎不外乎两个系列三种引擎，分布式数据库喜欢采用的LSM-TREE存储，以及普通通用型数据库常用的BTREE/HEAP存储。

2022-03-29 08:55:18

存储引擎核心
一个全新的 kv 存储引擎-LotusDB
有了 rosedb 在 bitcask 模型上的实践之后，以及自己在存储这方面的一些经验积累，去年底的时候，在上班路上突然想到的一个 idea，让我有了做一个新的 kv 存储引擎的想法。

2022-03-21 08:49:01

存储引擎LotusDB
Stack vs Heap：栈区分配内存快还是堆区分配内存快 ？
栈区是自动管理的，堆区是手动管理的，显然在栈区上分配内存要比在堆区上更快，当在栈区上申请的内存使用场景有限，程序员申请内存时还要更多的依靠堆区，但是在栈区申请的内存满足要求的情况我个人更倾向于使用栈区内存。

2022-03-16 08:39:19

StackHeap内存
聊聊 DBA 眼中的存储监控
数据库出现IO问题的时候，DBA总是希望能把问题推诿给存储，说是存储的IO能力不行。而存储专业后面已经没有背锅侠了，所以没办法再往后推，只能选择反击，自证自己没问题，问题一定出在数据库本身或者前面的应用。

2022-03-11 08:35:06

数据库存储监控
图文并茂 | 5W1H分析法帮你系统掌握缓存
在计算中，缓存是一个高速数据存储层，其中存储了数据的子集，且通常是短暂性存储，这样日后再次请求该数据时，直接读缓存会比重新计算结果或读数据存储更快。

2022-03-08 11:08:06

缓存系统数据
RocketMQ在存储架构上的极致追求
MQ作为一款中间件，就需要承载全公司所有业务系统使用需求，并高效稳定运行。因此，MQ对本身运行效率有着非常苛刻的诉求。本文就RocketMQ为了实现高效的读写速率在存储架构上所做的努力，进行下阐述。

2022-02-18 08:22:23

RocketMQ存储架构
去“O”？存储过程还值得我们用么
今天南方阴雨绵绵，我在回京的高铁上。回想到年前工作分享时，提到了项目中对存储过程的使用，同事们对是否使用存储过程还是有很多看法。总结下来主要有对接难、可维护性差、数据库迁移时需重构等方面问题，总之就是不要用，拆解回应用（代码）层。

2022-02-10 07:37:09

分库分表存储
存储架构｜Bitcask 引擎的设计，秒！
Bitcask 是一种很有趣的存储模型的设计，这是一种底层格式为日志模样的 kv 存储。Bitcask 起源于 Riak 分布式数据库，Bitcask 论文 详细介绍了它的由来。

2022-01-04 09:15:28

存储Bitcask引擎
图解存储架构：NAS vs. SAN vs. DAS
NAS、SAN、DAS是常见三种存储方式，乍一看就像是英文字母的排列组合，但实际上大有不同。这就好比一个女孩子让你修电脑，但是她们的初衷不同，实现的方法也不同，最后的结果自然也会大相径庭。

2021-12-23 15:36:21

NASSANDAS
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-架构篇
本文简要介绍了基于 MySQL 结合 Tablestore 的大规模订单系统方案。这种方案支持大数据存储、高性能数据检索、SQL搜索、实时与全量数据分析，且部署简单、运维成本低。

2021-09-06 14:52:17

MySQL存储架构
云上应用系统的数据存储架构演进
回顾过去二十年的技术发展，整个应用形态和技术架构发生了很大的升级换代，而任何技术的发展都与几个重要的变量相关。

2021-09-02 16:10:57

系统数据存储
开源大数据Meetup回顾 | 第四范式：现代存储架构下的系统优化实践
从第四范式的产品角度看，主要包含了离线训练和在线推理。在离线训练中，对内存消耗量会特别高，所以会做低成本扩容工作

2021-08-30 11:48:26

数字化
西部数据创新存储架构，应对全新数据时代挑战
在刘钢看来，数据中心面临的挑战主要包括：数据增长迅速、存储性能需求倍增、追求极致TCO、构建绿色能耗体系等四大方面。也就是说，用户既需要大容量、也需要快速访问、又需要低成本、还需要低功耗。

2021-08-11 16:02:19

西部数据存储
带Kubernetes的容器化存储在大企业成为主流 译文
Kubernetes是2014年发布的一种开源系统，用于自动部署和管理容器化应用程序，它在过去七年取得了长足的进步。它最初由谷歌创建，后来交给一家独立于厂商的机构：云原生计算基金会（CNCF），将其作为一个开源项目加以管理。但我们现在才开始看到成熟的Kubernetes部署在主流企业。

2021-08-02 08:00:00

Kubernetes容器工具
西部数据着力构建创新存储架构，赋能分布式存储，加速Web 3.0落地 原创
西部数据不断为分布式存储领域提供先进的数据存储架构和解决方案。在未来，我们将持续助力客户降低部署和运维成本，并满足高效率、大容量及节能减排等多样化需求，加速Web 3.0落地，助力‘东数西算’算力网络建设。

2021-07-15 18:33:33

西部数据
西部数据助力IPFS解决方案，全系列产品赋能存储架构革新 原创
企业需要用更新、更多的技术来加速存储架构的革新，让用户以更低成本，更可靠、更快速地存储和访问数据。借助IPFS去中心化的分布式存储技术，即能够很好地降低存储成本，提高数据利用率。

2021-04-08 23:14:09

西部数据
如何构建人工智能存储架构
如今，人们越来越关注数据的处理和存储：产生了多少数据、在哪里创建数据、利用数据所需的工具、管理数据所需的技能人才短缺等等。这改变了组织在数据中心和云平台中的运营方式，并决定了技术供应商正在开发的许多产品路线图。

2021-01-04 11:10:08

人工智能存储云计算
打造数据存储的千里长堤，西部数据力推创新存储架构
一个厨师不研究菜谱改研究兵法了，这是因为上当受骗造成的，没有普遍意义。但是一个存储品牌的专业厂商开始研究存储架构又意味着什么呢?在这里，西部数据为我们给出了答案。

2020-11-25 14:01:16

存储架构西部数据
上一页 1 2 3
点赞

51CTO技术栈公众号

业务
速览
在线客服