鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

存储软件

2177内容

关注

内容覆盖存储系统、存储组件、存储虚拟化、对象存储等相关软件产品，为用户提供存储软件行业的业界动态、产品资讯、前沿技术、应用案例等内容，帮助用户构建高性能、高可用、高安全的存储系统，提高存储性能和利用率，简化存储管理。

共 2177 条

一篇文章讲清什么是NVMe

到底什么是NVMe呢?首先它是一种接口规范，其次它是用于存储设备的接口规范。准确的说是目前最新的存储设备通信协议。这个协议就好比SAS和SATA一样，用于定义硬件接口和传输协议。

2019-07-01 15:01:44

NVMe 接口存储

磁盘的IO重排序与调度策略

本文期望通过一个故事让大家了解磁盘驱动如何对IO进行重排序和调度。

2019-06-29 14:34:27

磁盘 IO 排序

筛选云存储产品的七个基本问题

使用云存储通常是大多数公司采用云计算技术的首选方式。很多公司利用云存储来存档数据，作为备份目标、共享文件，保留长期数据。这些方法为企业在云端运营业务提供了一种低风险的措施。

2019-06-28 15:12:27

云存储云计算数据

监控存储方式有哪些？IP-SAN、CVR、与NVR哪种好？

IP-SAN，即基于IP以太网络的SAN存储架构，它使用iSCSI协议传输数据，直接在IP网络上进行存储，iSCSI协议就是把SCSI命令包在TCP/IP 包中传输，即为SCSI over TCP/IP。

2019-06-28 09:16:49

IP-SAN CVR 存储

大数据计算框架Spark之内存模型

Executor 端的内存模型,包括堆内内存(On-heap Memory)和堆外内存(Off-heap Memory)。

2019-06-27 11:18:00

Spark 内存大数据

SSD主控芯片江湖知多少？

固态硬盘(SSD)主要包括主控芯片、闪存颗粒和缓存单元三大组件，在这三大件中，采购成本最高的是闪存颗粒，大约占据了70%的份额;由于不同厂商对不同产品的定位问题和有些产品存在内外置缓存的区分，缓存单元一般无法统一论述;但最有技术含量和核心技术的则是主控芯片了。

2019-06-25 10:17:56

SSD 主控芯片

直接上手！Redis在海量数据和高并发下的优化实践

Redis 对于从事互联网技术工程师来说并不陌生，几乎所有的大中型企业都在使用 Redis 作为缓存数据库。

2019-06-25 09:32:16

Redis 海量数据高并发

大家所推崇的Redis分布式锁真的就万无一失吗？

在单实例JVM中，常见的处理并发问题的方法有很多，比如synchronized关键字进行访问控制、volatile关键字、ReentrantLock等常用方法。但是在分布式环境中，上述方法却不能在跨JVM场景中用于处理并发问题，当业务场景需要对分布式环境中的并发问题进行处理时，需要使用分布式锁来实现。

2019-06-25 08:46:04

Redis 分布式锁 JVM

一条数据的漫游奇遇记

阿里巴巴 X-Engine 团队撰写的论文 "X-Engine: An Optimized Storage Engine for Large-scale E-Commerce Transaction Processing"，详细讲述了团队在数据库存储引擎上所做的原创性工作，今年早些时候已经被 SIGMOD'19 Industrial Track 接收(SIGMOD 是数据库领域最重要也是最有影响力的会议之一)。

2019-06-24 11:07:34

数据数据库存储

MySQL数据库之存储过程揭秘

迄今为止，使用的大多数 SQL语句都是针对一个或多个表的单条语句。并非所有操作都这么简单，经常会有一个完整的操作需要多条语句才能完成。例如，考虑以下的情形。

2019-06-20 15:25:14

MySQL L数据库存储

容器云在使用分布式存储时，HDFS、CEPH、GFS、GPFS、Swift 等哪种更好？

HDFS/CEPH/GFS/GPFS/Swift这类分布式存储，按照存储的类型来区分，HDFS/GPFS/GFS属于文件存储，CEPH属于统一存储--即块/对象/文件统一体，Swift属于对象存储-目前属于OpenStack下面的一个子项目。

2019-06-20 08:59:51

Redis进化史：看Redis如何变成缓存

写在前面：笔者翻阅了很多资料，只能找到Redis2.2及以后的主要版本的发布日志。所以，让我们从2.2开始一步一步深入了解Redis。

2019-06-19 15:54:12

Redis 缓存内存

你清楚HTTP缓存机制和原理吗？

Http 缓存机制作为 web 性能优化的重要手段，对于从事 Web 开发的同学们来说，应该是知识体系库中的一个基础环节，同时对于有志成为前端架构师的同学来说是必备的知识技能。

2019-06-18 15:57:25

HTTP 缓存机制

MySQL主流存储引擎及适用场景

Mysql数据库支持多种存储引擎，不同的存储引擎有其适用的场景，选择合适的存储引擎是Mysql优化的策略之一。

2019-06-17 16:17:03

存储 MySQL 主流

数据存储之七种RAID浅析

前面我们介绍了磁盘的基本原理，我们知道一块磁盘的容量和速度是有限的，对于一些应用来说，可能需要几个TB的大小的来存放数据，我们必须要制造更大单盘容量的磁盘吗?实际上，可以使用多块磁盘并行起来解决这个问题，这就是RAID技术。

2019-06-14 14:49:15

RAID 数据存储

用Redis构建一把高性能的锁

学过JAVA多线程的朋友都知道，为了防止多个线程同时执行同一段代码，可以用synchronized关键字或JAVA API中ReentrantLock类来控制。

2019-06-12 15:20:25

Redis 高性能线程

快看！MySQL存储引擎MyISAM、InnoDB

MySQL有多种存储引擎，每种存储引擎有各自的优缺点，可以择优选择使用：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、FEDERATED、ARCHIVE、CSV、BLACKHOLE。

2019-06-11 16:11:16

MySQL MyISAM InnoDB

马蜂窝推荐系统容灾缓存服务的设计与实现

数据库突然断开连接、第三方接口迟迟不返回结果、高峰期网络发生抖动...... 当程序突发异常时，我们的应用可以告诉调用方或者用户「对不起，服务器出了点问题」;或者找到更好的方式，达到提升用户体验的目的。

2019-06-11 11:18:40

容灾缓存设计

分布式存储－MySQL 数据库事务与复制

结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。

2019-06-10 14:31:24

MySQL 存储数据库

一篇文章了解 Spark Shuffle 内存使用

在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢?

2019-06-06 15:22:07

Spark Shuffle 内存

一般哪些数据需要Redis缓存

字符串类型是Redis中最为基础的数据存储类型，是一个由字节组成的序列，他在Redis中是二进制安全的，这便意味着该类型可以接受任何格式的数据，如JPEG图像数据货Json对象描述信息等，是标准的key-value，一般来存字符串，整数和浮点数。

2019-06-05 15:23:09

Redis 缓存存储

英特尔的NUC计算元件与Raspberry Pi计算模块：孰优孰劣？译文

模块化计算解决方案变得越来越受欢迎，英特尔在Computex 2019展会上推出了15W U系列。

2019-06-05 10:11:10

英特尔 NUC CPU

快速读懂InnoDB存储引擎

存储引擎位于文件系统(各种数据，二进制形式)之上，各种管理工具(连接池、语义分析器、优化器、缓存区、SQL接口)之下。

2019-06-04 15:27:49

InnoDB 存储引擎

对SSD3大误解，看你有没有！？

固态硬盘(Solid State Drives)，简称固盘，固态硬盘(Solid State Disk)用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。

2019-06-03 15:44:25

SSD 固态硬盘内存

灾难恢复站点的作用和应用

灾难恢复(DR)站点是建设在企业总部之外的数据中心设施。它的目的是使企业系统在电力中断、网络攻击、网络故障、自然灾害、意外停机、破坏或其他导致主要位置瘫痪的事件中保持运行。

2019-05-30 11:14:34

灾难恢复应用站点

Spark 静态内存管理详解

spark从1.6开始引入了动态内存管理模式，即执行内存和存储内存之间可以互相抢占。sspark提供两种内存分配模式：静态内存管理和动态内存管理。

2019-05-30 11:04:52

内存 Spark 管理

需要关注的5种预测性存储分析功能

预测性存储分析工具正在成为企业采用的标准设备。人们需要了解它们的功能、工作方式以及提供的好处。

2019-05-29 11:08:06

存储工具数据

搭建高可用的Redis服务，需要注意这些方面！

基于内存的Redis应该是目前各种web开发业务中最为常用的key-value数据库了，我们经常在业务中用其存储用户登陆态(Session存储)，加速一些热数据的查询(相比较mysql而言，速度有数量级的提升)，做简单的消息队列(LPUSH和BRPOP)、订阅发布(PUB/SUB)系统等等。

2019-05-27 15:13:31

Redis 服务高可用

用Python实现磁盘IO操作全攻略，让数据流动起来！

IO在计算机中指的是Input/Output，也就是输入输出。凡是用到数据交换的地方，都会涉及IO编程，例如磁盘、网络的数据传输。

2019-05-22 15:04:34

Python 磁盘 IO

磁盘 IO 的性能指标有哪些？如何获取及分析？

业务服务器的操作系统作为存储的用户只能看到disk(存储层面的LUN)，而存储管理员才知道存储内部的具体RAID方式、条带化方式等等，在关注系统性能的活动(性能测试、性能调优)中，一般很少直接关注磁盘IO的指标，而是遇到性能问题(比如业务的响应时间非常慢)，并且逐步排查到磁盘时，才重点关注磁盘IO的性能指标。

2019-05-21 15:42:08

磁盘 IO 指标

Python操作MySQL存储，这些你都会了吗？

在Python 2中，连接MySQL的库大多是使用MySQLdb，但是此库的官方并不支持Python 3，所以这里推荐使用的库是PyMySQL。

2019-05-20 16:30:36

Python MySQL 存储

详解Redis的持久化机制--RDB和AOF

redis跟memcached类似，都是内存数据库，不过redis支持数据持久化，也就是说redis可以将内存中的数据同步到磁盘来持久化，以确保redis 的数据安全。不过持久化这块可能比较容易产生误解，下面聊聊这块。

2019-05-17 08:55:49

Redis高可用原理，这下能看懂了吧！

Redis 是被广泛使用的基础软件之一，对于架构师和运维人员来说，了解 Redis 的高可用方案和背后的原理，是必备的基础知识。

2019-05-16 09:38:04

Redis 高可用数据

有效避免数据丢失！Redis持久化方案选择详解

通常情况下redis的数据全部存储在内存中,数据库一旦故障发生重启数据会全部丢失，即使是在redis cluster或者redis sentinel模式下主从同步数据的恢复仍然需要一段时间。

2019-05-15 09:44:33

数据 Redis 持久化

细述Kubernetes和Docker容器的存储方式

目前，容器存储是容器离不开的一个话题，对于无状态的Docker容器，容器重启时容器数据会自动清除，一些静态的数据我们可以通过配置文件或者在容器build时直接写死。

2019-05-14 14:27:36

Kubernetes Docker 存储

支撑现代分布式存储系统的算法

随着应用程序处理的数据量不断增长，扩展存储变得愈发具有挑战性。每个数据库系统都有自己的方案。为了从这些方案中做出正确的选择，了解它们是至关重要的。

2019-05-13 15:20:42

存储系统算法

全盘加密又咋地！只要启动闪存，即可将其破解并提取其中的密码

全盘加密（Full-disk encryption）对取证取证专家来说是个非常大的挑战。Android 的安全性问题一直备受关注，Google在Android系统的安全方面也是一直没有停止过更新，努力做到更加安全的手机移动操作系统。

2019-05-13 09:03:02

加密闪存密码

组织如何采用软件定义存储

“软件定义”这一概念在技术行业中有很多争论，“软件定义”是指传统上基于硬件设备的技术堆栈元素可以从中抽象出来，并作为安装在任何硬件上的软件定义设备。很多企业希望将其关键资产安装在具有性能优化、弹性和方便支持模型的定制硬件上。

2019-05-10 15:03:33

软件定义存储

基于Hadoop生态系统的一高性能数据存储格式CarbonData（性能篇）

CarbonData在数据查询的性能表现比Parquet好很多，在写一次读多次的场景下非常适合使用;社区比较活跃，响应也很及时。目前官网发布版本1.3.0与最新的spark稳定版Spark2.2.1集成，增加了支持标准的Hive分区，支持流数据准实时入库等新特性，相信会有越来越多的项目会使用到。加米谷大数据转给大家参考学习。

2019-05-08 14:18:40

Hadoop 存储 CarbonData

关于MySQL所有的存储引擎介绍

MyISAM基于ISAM存储引擎，并对其进行扩展。它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一。

2019-05-07 16:19:03

MySQL 存储引擎

为什么单线程的Redis却能支撑高并发？

最近在看 UNIX 网络编程并研究了一下 Redis 的实现，感觉 Redis 的源代码十分适合阅读和分析，其中 I/O 多路复用(mutiplexing)部分的实现非常干净和优雅，在这里想对这部分的内容进行简单的整理。

2019-05-07 09:44:45

Redis 高并发模型

为什么Redis 是单线程却能支撑高并发？

最近在看 UNIX 网络编程并研究了一下 Redis 的实现，感觉 Redis 的源代码十分适合阅读和分析，其中 I/O 多路复用(mutiplexing)部分的实现非常干净和优雅，在这里想对这部分的内容进行简单的整理。

2019-05-06 11:12:18

Redis 高并发单线程

Ceph分布式存储-常见OSD故障处理

进行 OSD 排障前，先检查一下 monitors 和网络。如果 ceph health 或 ceph -s 返回的是健康状态，这意味着 monitors 形成了法定人数。如果 monitor 还没达到法定人数、或者 monitor 状态错误，要先解决 monitor 的问题。核实下你的网络，确保它在正常运行，因为网络对 OSD 的运行和性能有显著影响。

2019-04-30 09:17:31

Ceph 存储 OSD

通过MySQL存储原理来分析排序和锁

对于 MySQL 数据库而言,数据是存储在文件里的，而为了能够快速定位到某张表里的某条记录进行查询和修改,我们需要将这些数据以一定的数据结构进行存储，这个数据结构就是我们说的索引。回忆一下我们大学里学过的算法与数据结构，能够支持快速查找的数据结构有：顺序数组、哈希、搜索树。

2019-04-29 11:14:25

MySQL 存储排序

百 PB 级 Hadoop 集群存储空间治理

现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。

2019-04-26 15:38:34

Hadoop 集群存储

Facebook F4架构解读：千亿级图片存储Haystack的演进

Facebook在OSDI 2014上发表论文f4: Facebook’s Warm BLOB Storage System，这个系统主要目的就是降低存储成本，在容忍磁盘，主机，机架等故障的同时，保证一定的可用性。

2019-04-25 12:45:13

Facebook F4 存储 Haystack

Ehcache、Memcache、Redis三大缓存比较

在Java项目广泛的使用。它是一个开源的、设计于提高在数据从RDBMS中取出来的高花费、高延迟采取的一种缓存方案。正因为Ehcache具有健壮性(基于java开发)、被认证(具有apache 2.0 license)、充满特色(稍后会详细介绍)，所以被用于大型复杂分布式web application的各个节点中。

2019-04-23 08:42:42

Ehcache Memcache Redis

Redis 敢在线上做Keys正则匹配操作!你可以离职了!

redis2.8版本以后有了一个新命令scan，可以用来分批次扫描redis记录，这样肯定会导致整个查询消耗的总时间变大，但不会影响redis服务卡顿，影响服务使用。

2019-04-18 09:10:09

Redis Keys 正则匹配操作

从源码解密Spark内存管理

我们都知道spark之所以比mapreduce计算的快，是因为他是基于内存的，不用每次计算完都写磁盘，再读取出来进行下一次计算，spark直接把内存作为数据的临时储存介质。所以mapreduce就没有强调内存管理，而spark需要管理内存。

2019-04-17 14:44:42

Spark 内存源码

数据库系统实现-存储管理(CheckSum&RAID)

磁盘并不是万无一失的，也可能发生故障和损坏。磁盘发生故障是灾难性的，存储介质的损坏如果在没备份的情况下，基本是100%丢失数据，比rm -rf 还严重，那么磁盘的故障有那么些?

2019-04-16 15:43:21

CheckSum RAID 存储

上一页 1 ··· 13 14 15 16 17 ··· 44 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营