直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

存储软件

2177内容

关注

内容覆盖存储系统、存储组件、存储虚拟化、对象存储等相关软件产品，为用户提供存储软件行业的业界动态、产品资讯、前沿技术、应用案例等内容，帮助用户构建高性能、高可用、高安全的存储系统，提高存储性能和利用率，简化存储管理。

共 2177 条

公司 Redis 宕机，老板怒了！

最近跟一位读者聊天，小哥非常郁闷，公司的 Redis 宕机了，线上业务受到了影响，老板非常愤怒，小哥担心会不会被辞退！

2021-11-30 06:32:19

Redis 宕机集群

程序内存一直在泄漏，原来是异步死循环了 !

根据朋友描述，程序运行一段时间后，内存就炸了，应该没造成人员伤亡，不然也不会跟我wx聊天了，这里可以用 .time 看看当前的 process 跑了多久。

2021-11-29 18:34:14

内存异步死循环

实现分布式 Kv-1 Standalone KV

在 TinyKV 中，存储层是一个抽象接口，分别实现了 raft storage、mem storage、standalone storage，这里我们只需要实现 standalone storage 就行了。

2021-11-29 10:41:09

分布式抽象接口

重磅官宣：Redis OM 发布，Redis 对象映射框架来了！

Redis OM 支持的第一个抽象就是：对象映射，支持基于对象的 Redis 数据持久化、流式查询操作。

2021-11-29 09:48:35

Redis 对象映射

嵌入式算法之大数据变长存储算法

对于高精度采样结果，其数值最大可能需要3字节，最少1字节，采用标准C的基础数据类型，U16太小无法满足需求，U32则浪费内存。当样本量很大时，其占用的空间问题便突显出来。能否采用变长数据类型存储呢?

2021-11-29 07:43:08

大数据存储算法

Redis 分布式锁的正确实现原理演化历程与 Redisson 实战总结

Redis 分布式锁使用 SET 指令就可以实现了么?在分布式领域 CAP 理论一直存在。分布式锁的门道可没那么简单，我们在网上看到的分布式锁方案可能是有问题的。

2021-11-29 00:18:30

Redis 分布式锁

EasyC++，自动存储持续性

这个概念乍一看有些拗口，其实它很简单，指的是在函数定义中声明的变量的存储持续性是自动的：它们在程序开始执行其所属的函数或代码块时被创建，在执行完函数或代码块时，它们使用的内存被释放。

2021-11-26 10:56:28

C++存储持续性

Redis篇：事务和Lua 脚本的使用

现在多数秒杀，抽奖，抢红包等大并发高流量的功能一般都是基于 redis 实现，然而在选择 redis 的时候，我们也要了解 redis 如何保证服务正确运行的原理.

2021-11-26 00:04:01

Redis Lua 脚本

还在用ES？事实证明ClickHouse更强悍

在日常工作中，我们通常需要存储一些日志，譬如用户请求的出入参、系统运行时打印的一些 info、error 之类的日志，从而对系统在运行时出现的问题有排查的依据。

2021-11-24 07:25:47

ES ClickHouse 存储

大流行以来物联网数据存储的五个变化

随着物联网 (IoT) 的发展，由于全球大流行，一些应用程序已迅速成为人们关注的焦点。

2021-11-17 22:44:27

物联网数据存储 5G

性能优化 | Go Ballast 让内存控制更加丝滑

关于 Go GC 优化的手段你知道的有哪些?比较常见的是通过调整 GC 的步调，以调整 GC 的触发频率。

2021-11-17 08:16:03

内存控制 Go

如何保存和恢复Activity状态缓存

非正常行为而破坏了Activity，那么尽管实际 Activity已经消失，但是系统还是会记住它已经存在。

2021-11-16 19:37:03

执行数据存储测试以避免问题

数据存储测试具有各种关键活动和自动化工具来完成数据验证，数据验证是指在备份和存储过程中识别异常的过程。这些问题可能包括黑客攻击、数据删除、损坏和恶意软件。

2021-11-14 15:13:18

存储数据存储技术

RabbitMQ处理过慢，原来是一个SQL缓存框架导致的GC频繁触发

处理过慢原因有很多，可能是干活的人少了，也可能这些人摸鱼去了，总之工作不饱和，接下来看看这帮人有没有摸鱼，从线程池看起。

2021-11-12 08:07:31

SQL 缓存 RabbitMQ

关于数据存储管理需要知道的14件事

在存储数据方面并没有“一刀切”的解决方案，因此在决定存储数据的位置或方式之前，首先要了解拥有的数据量和类型以及需要存储数据的原因。

2021-11-11 13:39:53

存储数据存储技术

3 万字聊聊什么是 Redis

结束了漫长了MySQL，开始步入了Redis的殿堂。最近在做Redis技术输出时，明显发现进一步熟悉MySQL之后，对Redis的理解容易了许多。或许这就是进步吧!

2021-11-11 09:27:02

技术 Redis MySQL

Redis 分布式锁没这么简单，网上大多数都有 bug

分布式锁就是用来控制同一时刻，只有一个 JVM 进程中的一个线程「精子」可以访问被保护的资源「卵子」。

2021-11-11 07:47:03

Redis 分布式锁

重新认识 Java 中的内存映射（Mmap）

mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间，实现文件磁盘地址和一段进程虚拟地址的映射。

2021-11-11 05:00:02

Java Mmap 内存

如何分析Redis的架构设计？

Redis本身内容繁杂，要是上来就研究一细节点，如连接池、数据结构，虽可直接学到某个点的详尽源码内容，甚至尽快解决一些事故，但容易溺死在细节汪洋，无法整体把控Redis。

2021-11-08 06:57:35

Redis 架构设计

数据大爆炸时代，云存储成为企业存储必然发展方向

自从步入到信息大爆炸时代，数据量的指数型增长也助推了全球云存储市场规模的急剧增加，而在当下，数据正在成为企业的核心资产。面对这一市场需求，不少厂商纷纷推出了云存储相关产品线。

2021-11-05 21:54:58

云存储数据安全

阿里面试官：谈谈对Redis哈希表的理解

哈希表是一种存储数据的结构，他有很多名字(键值对、字典、符号表、映射、关联数组)。在哈希表中，键和值是一一对应的关系，一个键key对应一个值value。哈希表这个数据结构可以通过键key，在O(1)时间复杂度的情况下获得对应的值。

2021-11-05 10:07:13

Redis 哈希表存储

如何调试内存泄漏？方法论来了

既然是调试，那就得用上工具，调试内存泄漏的工具有很多，最经典的就是valgrind和Asan，valgrind非常好用，但是在移动端不太好用，特别是Android，移植起来非常困难，而且还要sudo权限。

2021-11-05 08:28:27

内存泄漏调试

Linux内存占用分析的几个方法，你知道几个？

系统内存是硬件系统中必不可少的部分，定时查看系统内存资源运行情况，可以帮助我们及时发现内存资源是否存在异常占用，确保业务的稳定运行。

2021-11-04 11:54:30

Linux 内存系统

SpringBoot 如何快速使用 Caffeine 缓存？

引入 Caffeine 和 Spring Cache 依赖，使用 SpringCache 注解方法实现缓存。SpringCache帮我们封装了Caffeine pom文件引入。

2021-11-04 08:04:49

缓存 Caffeine SpringBoot

记一次 .NET 某风控管理系统内存泄漏分析

从源码逻辑看，我猜测朋友将 GetConfig 方法标记成 static 后就以为是单例化了，再次调用不会重复 new AppConfig(settingfile)，所以问题就出在这里。

2021-11-02 07:54:41

内存 .NET 系统

如何保留 Go 程序崩溃现场

那线上 Go 程序突然莫名崩溃后，当日志记录没有覆盖到错误场景时，还有别的方法排查吗？

2021-11-01 12:31:25

Go 程序日志

基于 Redis 如何实现一个分布式锁？

与分布式锁相对应的是「单机锁」，我们在写多线程程序时，避免同时操作一个共享变量产生数据问题，通常会使用一把锁来「互斥」，以保证共享变量的正确性，其使用范围是在「同一个进程」中。

2021-11-01 12:25:56

Redis 分布式锁

一篇明白内存中的接口类型

抽象来讲，接口，是一种约定，是一种约束，是一种协议。在Go语言中，接口是一种语法类型，用来定义一种编程规范。

2021-10-31 14:14:33

内存接口协议

磁盘又双叒叕满了，怎么办？

为什么1个字节的文件需要占用8个 block 呢，可以这样理解， block 为磁盘存储的基本的单位，方便磁盘寻址等(这里说的基本单位应该是磁盘物理结构单位例如一个扇区/柱面等，对应一个物理单位)。

2021-10-30 19:01:17

磁盘字节文件

什么是云存储？它的优势在哪里

科技的进步，让信息的表现形式变得多种多样：文字、图片、音频、视频......我们需要存储的信息类型变多了，所需要的存储空间也响应地变大了。特别是对于信息内容更复杂的企业来说，存储、保护企业的数据，是一件刻不容缓的事情。

2021-10-28 22:31:11

存储云存储数据

Redis应用篇（众星追月）：分布式锁

由于分布式系统「多线程」、「多进程」并且「分布在不同机器」上，这将使原单机并发控制锁策略失效，为了解决这个问题就需要一种「跨JVM的互斥机制」来控制共享资源的访问，这就得靠分布式锁啦。

2021-10-26 19:37:15

Redis Redis应用篇

Windows上直接使用Ceph以及性能测试！

Ceph 可能是最常用的软件定义存储解决方案。根据调查(https://www.openstack.org/analytics)，超过 70% 的 OpenStack 部署由 Ceph 提供支持。考虑到它可以在商用硬件上运行，而且能够扩展到数百个存储节点并提供不错的性能，这也就不足为奇了。

2021-10-26 11:21:50

Windows Ceph 性能

影像平台的对象存储改造优化之路

对象存储和传统的存储有着本质的区别。DAS和SAN是基于物理块的存储方式，操作对象是磁盘。存储协议是SCSI、iSCSI、FC。以SCSI为例，主要接口命令有Read/Write/ReadCapacity/Inquiry等，而NAS是基于文件的存储方式，操作对象是文件和文件夹。

2021-10-26 10:43:37

对象存储影像

如何清除分布式存储的危楼?

与基于传统RAID技术的磁盘阵列相比，分布式存储不仅在稳定性与性能方面有差距，甚至可能成为数据安全的隐患，如同IT基础架构中的“危楼”。

2021-10-22 05:42:38

分布式存储三副本系统

L1 L2 L3 Cache到底放在哪里好呢？

Cache(高速缓存)的发展是计算历史上最重要的技术之一。几乎所有的现代CPU内核都设计有高速缓存。但是一开始CPU是没有Cache的，因为早期的CPU主频很低，甚至都没有内存的频率高，所以无需Cache，CPU直接读写内存。

2021-10-20 19:14:30

缓存 Cache CPU

Longhorn 云原生容器分布式存储 - 故障排除指南

当 Longhorn 卷的文件系统损坏时，Longhorn 无法重新挂载该卷。因此，workload 无法重新启动。

2021-10-18 23:49:50

云原生分布式存储

不同内存管理方式的聪明程度大 PK

代码要在计算机上跑起来，需要一系列计算机资源：内存、网络端口、打开的文件等等，这些资源一起被叫做进程。

2021-10-17 23:53:17

内存管理方式

记一次数据库查询超时优化问题

在 myBatis中，statement timeout 的默认值是通过 defaultStatementTimeout 属性进行设置。同时还可以在 xml 中 select，insert，update标签设置timeout属性，从而对不同 sql 语句配置超时时间。

2021-10-14 10:53:20

数据库查询超时

Zookeeper 集群部署的那些事儿

ZooKeeper本质上是一个分布式的小文件存储系统。提供类似于文件系统目录树方式的数据存储，并且可以对书中的节点进行有效管理。从而用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，实现基于数据的集群管理。

2021-10-13 08:53:53

Zookeeper 存储系统

为什么网络 I/O 会被阻塞？

最近打算输出 Netty 相关的文章，但要深入学习 Netty 这个底层通信框架，网络相关知识点不可或缺。所以我打算先写一些前置知识点，对齐一下认识，便于之后对 Netty 的理解。

2021-10-13 06:49:15

如何配置Ceph Rgw对象存储与公有云同步

容灾 (Disaster Recovery)，即容灾备份或灾备，是业务连续性系统的一个子集，用于保障 IT 系统在遭受自然灾害、人为操作失误或蓄意破坏后的数据还原和业务恢复。

2021-10-12 10:36:06

存储公有云同步

几个秒杀 Go 官方库的第三方开源库

Go 语言官方库给我们一贯的印象是：强大、好用。但是，金无足赤，人无完人，在一些性能要求苛刻的场景例如 json 解析，某些官方库的表现不尽如人意。

2021-10-11 06:38:52

Go 开源库语言

使用堆内内存HeapByteBuffer的注意事项

本文介绍了在文件 IO 中使用 HeapByteBuffer 的注意事项，需要考虑到 FileChannel 内部的复制问题，意识到这一过程会有堆外内存的复制开销。

2021-10-08 11:45:33

内存 HeapByteBuf 堆内

Redis 集群实现的几种方式

在业务场景中，要想做到有备无患，最好是用集群，没有集群，至少也要做到主从，有了主从，当 master 挂掉的时候，让从库过来接管，服务就可以继续，否则 master 需要经过数据恢复和重启的过程，这就可能会拖很长的时间，影响线上业务的持续服务。

2021-10-07 20:36:45

Redis 集群场景

社交网络场景下大规模图存储实践之Facebook TAO

Facebook TAO[1] ，即 The Associations and Objects 的缩写，点（对象，Object）和边（联结，Associations）是”图“中最基本的抽象，用来做 Facebook 图存储名字倒是恰如其分。

2021-10-07 16:45:44

存储网络场景

Redis 原理及混合持久化

redis 是单线程程序的，除了 Redis 之外，Node.js 也是单线程，Nginx 也是单线程，但是它们都是服务器高性能的典范。

2021-10-04 21:11:18

Redis 混合持久化

Redis锁被别人释放怎么办

当多个进程不在同一个系统中，用分布式锁控制多个进程对资源的访问。有这样一个情境，线程A和线程B都共享某个变量X。如果是分布式情况下，线程A和线程B很可能不是在同一对象中，每个客户端在释放锁时，都是删除操作，并没有检查这把锁是否还是自己的，所以就会发生释放别人锁的风险。

2021-10-01 00:12:12

Redis 分布式锁

Ceph 基础篇 -对象存储使用

Ceph 对象存储主要是由 Ceph 对象网关守护程序（radosgw）实现的，它是一个用于与 Ceph 存储集群交互的 HTTP 服务器。

2021-09-30 19:00:17

对象存储 Ceph

面试官：说说你对堆的理解？如何实现？应用场景？

在计算机科学中，图是一种抽象的数据类型，在图中的数据元素通常称为结点，V是所有顶点的集合，E是所有边的集合。

2021-09-29 07:24:20

场景堆数据

Redis源码之Hash结构的实现

hash和string类型到底有啥本质的区别?其实我们从源码可以看出来，对于string类型来说，string类型是基于RedisDb的，如果string的数量不断的变多，就会导致dictht部分不断的rehash。

2021-09-28 09:36:13

redis Hash 结构

上一页 1 2 3 4 5 6 ··· 44 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营