直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

分布式

1344内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1344 条

腾讯重磅开源DCache，分布式NoSQL存储系统

听说最近腾讯开源了一个分布式 NoSQL 存储系统 DCache，它的典型应用场景就在分布式缓存。根据官方介绍，DCache 基于 TARS 微服务治理方案，它支持 k-v、k-k-row、list、set 与 zset 多种数据结构，数据基于内存存储，同时支持后接 DB 实现数据持久化。

2019-04-24 15:42:52

DCache 开源数据库

分布式限流，你想知道的都在这里

在一个高并发系统中对流量的把控是非常重要的，当巨大的流量直接请求到我们的服务器上没多久就可能造成接口不可用，不处理的话甚至会造成整个应用不可用。

2019-04-24 08:31:43

分布式限流 kafka

深入浅出百亿请求高可用Redis(codis)分布式集群揭秘

redis是一个基于内存同时具备数据持久化能力的高性能，低时延的KV数据库，value的数据结构可以是string,hash表，list(列表)，set(集合)，sortedset(有序集合)。

2019-04-19 09:39:58

Redis 分布式集群

分布式系统Kafka和ES中，JVM内存越大越好吗？

这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM 堆内存大小是越大越好吗?

2019-04-11 09:27:10

测试报告RadonDB分布式数据库：从公有云验证到企业数据中心应用

近两年来,国内外诸如AWS、Azure等公有云巨头都先后推出了自研的数据库服务,青云QingCloud不仅推出了分布式数据库RadonDB,同时还将这一经过公有云验证的数据库产品应用到企业数据中心,通过将分布式技术与数据库相结合,再加上SSD的性能加成,性能好得让人不敢相信。

2019-03-31 08:20:27

RadonDB 数据库数据中心

同有科技正式发布自主可控分布式存储产品，为安全可靠产业赋能

ACS 10000A采用飞腾FT-1500A处理器和国产操作系统银河麒麟LINUX，存储系统软件采用同有科技自主研发的分布式存储软件，从硬件到软件层面真正实现了完全的自主可控，可提供EB级的存储容量，具有百万级的IOPS性能

2019-03-28 11:21:14

对话巨杉核心研发团队：分布式数据库自研之路

IBM是最早提出“关系型数据库”这一概念和理论体系的公司，从技术上看，传统三大关系型数据库在发展过程中，其实已经具有很深远的技术储备了。DB2是三大传统关系型数据库中唯一的分布式产品，因此我们团队在分布式技术方面的积累是一脉相承的。

2019-03-28 11:19:36

分布式--Nginx 负载均衡服务器

ginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，其特点是占有内存少，并发能力强。

2019-03-27 08:43:17

Nginx 负载均衡服务器

自己动手撸一个分布式IM(即时通讯) 系统

之前分享过一篇《设计一个百万级的消息推送系统》，虽然在文中贴了一些伪代码，但是有朋友希望能直接分享一些可以运行的源码，这么久了是时候把坑填上了。

2019-03-21 09:45:20

IM 即时通讯 CIM

分布式系统的“流言蜚语”

你也许用过Redis，Cassandra，Amazon S3, BitTorrent 等著名的软件，但是也许你不知道，它们在底层通信时都采用了一个叫做Gossip(流言蜚语)的协议。

2019-03-18 16:29:01

分布式系统 Redis

华为发布新一代数据中心级融合分布式存储FusionStorage 8.0

华为FusionStorage 8.0是业界首个支持企业关键业务的分布式存储系统。单集群横向扩展最大可达4096个节点，支持千万级IOPS，并且凭借华为企业级存储成熟的芯片和FlashLink加速技术，使得节点与SSD盘之间协同更高效，时延响应低至0.5毫秒，具备分布式存储领域最优性能，满足运营商核心数据库、金融联机生产等场景快速IO响应诉求，保障企业关键业务高速稳定运行。

2019-03-01 10:19:35

对比各类分布式锁缺陷，抓住Redis分布式锁实现命门

两年来微服务变得越来越热门，越来越多的应用部署在分布式环境中，在分布式环境中，数据一致性是一直以来需要关注并且去解决的问题，分布式锁也就成为了一种广泛使用的技术，常用的分布式实现方式为Redis，Zookeeper，其中基于Redis的分布式锁的使用更加广泛。

2019-02-26 09:51:52

分布式锁 Redis Zookeeper

分布式缓存Redis扫盲教程

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2019-02-18 11:16:12

Redis 分布式缓存

查看并处理分布式网络中的内部威胁

从安全角度来看，防范内部人员攻击与防御外部网络攻击完全不同。许多安全系统根本不关注已知用户正在做什么，特别是在围绕隐式信任建立的环境中，或者大多数安全资源专注于外围控制的环境中。

2019-02-17 09:56:43

内部威胁网络攻击恶意软件

分布式之MemCache详细解读

MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。

2019-02-13 13:41:07

MemCache 分布式 HashMap

分布式容错架构很难？一篇给你讲清楚

这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。

2019-01-31 09:20:36

架构容错架构分布式容错

一个分布式 MySQL Binlog 存储系统的架构设计

kingbus是一个基于raft强一致协议实现的分布式MySQL binlog 存储系统。它能够充当一个MySQL Slave从真正的Master上同步binglog，并存储在分布式集群中。

2019-01-28 11:46:53

架构运维技术

Nginx && FastDFS实现分布式文件服务器

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。

2019-01-28 11:03:03

Nginx FastDFS 服务器

爆款开年！深信服企业级分布式存储aStor-EDS重磅发布

1月20日，深信服第11届核心合作伙伴论坛在海南三亚召开。在大会主论坛上，深信服副总裁陈彦彬隆重发布了深信服2019年春季重量级新品：企业级分布式存储aStor-EDS，标志着深信服在云计算领域又添一款强势产品。

2019-01-24 14:49:15

快看，我们的分布式缓存就是这样把注册中心搞崩塌的

每当有机会写故障类主题的时候，我都会在开始前静静地望着显示器很久，经过多次煎熬和挣扎之后才敢提起笔来，为什么呢?因为这样的话题很容易招来吐槽，比如 “说了半天，不就是配置没配好吗?”

2019-01-22 14:19:04

分布式缓存注册中心

Redis 分布式锁进化史解读+缺陷分析

近两年来微服务变得越来越热门，越来越多的应用部署在分布式环境中，在分布式环境中，数据一致性是一直以来需要关注并且去解决的问题，分布式锁也就成为了一种广泛使用的技术，常用的分布式实现方式为Redis，Zookeeper，其中基于Redis的分布式锁的使用更加广泛。

2019-01-21 11:01:52

Redis 分布式锁缺陷

关于开源分布式事务中间件Fescar，我们总结了开发者关心的13个问题

开源分布式事务中间件 Fescar 自1月10日上线v0.1版本以来，受到了开发者们的极大关注(watch249，star3005，fork649，社区讨论的issue58，数据统计于1月17日14:00)，可见，天下苦分布式事务久矣。

2019-01-18 08:42:54

开源 Fescar 分布式

FESCAR：阿里重磅开源分布式事务解决方案

让我们想象一个传统的应用，由3个模块构成，并且这三个模块使用同一个数据源。很明显，数据一致性由数据库提供的本地事务就能搞定。

2019-01-11 18:22:07

阿里巴巴技术开源

区块链 | 流行的分布式存储平台Swarm和IPFS分析

谈到区块链和分布式计算，最重要的是共识算法(整个网络如何达成一致的决策)和智能合约(实现我们在中心化世界中日常使用的应用)。但是，谈及日常应用程序，这些属性还不足以支持当今世界的需求。

2019-01-08 10:59:52

Swarm IPFS 分布式存储

为什么你需要开源分布式流存储Pravega？

工业物联网，车联网和实时欺诈风控的需求正在飞速的发展。越来越多的企业新应用，需要的是快速响应客户需求，并同时学习和适应不断变化的行为模式。

2019-01-04 11:08:38

开源分布式流存储 Pravega

第七批大数据批处理平台与分布式分析型数据库测试观察

2018-12-27 00:10:25

没想到，我们的分布式缓存竟这样把注册中心搞垮！

上个月，我们的系统因注册中心崩塌而引发的一场事故，本是一件稀松平常的事件，可我们猜中了开始却没料到原因，始作俑者竟是已在产线运行多年的某分布式缓存系统。

2018-12-26 09:44:02

分布式缓存本地缓存

大型互联网必备架构技术：高性能+分布式+开源框架+微服务

在这里分享6个专题来提高大家的编程能力：开源框架解析-架构师筑基-高性能架构-微服务架构-团队协作开发-B2C商城实战。

2018-12-26 08:54:06

架构开源框架微服务

你分得清分布式、高并发与多线程吗？

多线程是指从软件或者硬件上实现多个线程并发执行的技术，它更多的是解决CPU调度多个进程的问题，从而让这些进程看上去是同时执行(实际是交替运行的)。

2018-12-20 09:30:59

分布式高并发多线程

大型分布式网站架构：缓存在分布式系统中的应用

缓存是分布式系统中的重要组件，主要解决高并发，大数据场景下，热点数据访问的性能问题。提供高性能的数据快速访问。

2018-12-14 10:06:22

缓存分布式系统

物探领域新突破，曙光斩获最大规模分布式存储集群项目

2018-12-13 17:49:41

为什么我们做分布式使用 Redis ？

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2018-12-12 15:20:27

分布式 Redis SQL

还不理解“分布式事务”？这篇给你讲清楚！原创

这篇文章将介绍什么是分布式事务，分布式事务解决什么问题，对分布式事务实现的难点，解决思路，不同场景下方案的选择，通过图解的方式进行梳理、总结和比较。

2018-12-11 09:09:10

分布式数据库事务

再有人问你分布式锁是什么，就把这篇文章发给他

现在面试，一般都会聊聊分布式系统这块的东西。通常面试官都会从服务框架（Spring Cloud、Dubbo）聊起，一路聊到分布式事务、分布式锁、ZooKeeper 等知识。

2018-12-07 09:31:52

分布式锁服务框架分布式系统

MySQL分布式架构扩缩容的初步设计

MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说，我们所说的这种架构方案是一种伪分布式架构，我们就做下统称。重点是扩缩容的思路上。

2018-12-05 10:40:54

MySQL 架构分布式

微软推出开源CNAB格式：轻松打包和管理分布式应用

联合Docker和多家合作伙伴，微软开发出了一种能够在不同环境下轻松打包和维护主流容器应用的方法。

2018-12-05 10:30:16

微软分布式开源

为什么我们做分布式使用Redis？

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2018-11-28 16:00:41

分布式 Redis 数据库

别吵吵，分布式锁也是锁

Tomcat是这个系统的核心组成部分，每当有用户请求过来，Tomcat就会从线程池里找个线程来处理，有的执行登录，有的查看购物车，有的下订单，看着属下们尽心尽职地工作，完成人类的请求，Tomcat就很有成就感。

2018-11-27 16:17:13

分布式锁 Tomcat

常见分布式文件存储介绍、选型比较、架构设计

在这个数据爆炸的时代，产生的数据量不断地在攀升，从GB,TB,PB,ZB.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘，首先要考虑的就是海量数据的存储问题，比如Tb量级的数据。

2018-11-26 15:12:45

存储选型架构

终于有人把“TCC分布式事务”实现原理讲明白了！

之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了还是不知道分布式事务到底怎么回事，在项目里到底如何使用。

2018-11-23 09:25:00

TCC 分布式事务

分布式存储系统的雪崩效应

副本是分布式存储系统中的常见概念：将一定大小的数据按照一定的冗余策略存储，以保障系统在局部故障情况下的可用性。

2018-11-20 09:19:58

存储系统雪崩效应

传统存储与分布式存储恩仇录

想要了解传统存储系统的前世今生，从存储设备开始是个不错的选择，关于存储硬件，常见的无非是硬盘，内存，固态硬盘，闪存等，硬盘和内存是相对出现比较早的存储介质。

2018-11-20 09:05:11

传统存储分布式存储

简单介绍Ceph分布式存储集群

在规划Ceph分布式存储集群环境的时候，对硬件的选择很重要，这关乎整个Ceph集群的性能，下面梳理到一些硬件的选择标准，可供参考。

2018-11-15 12:35:25

Ceph 分布式存储

大数据分布式存储的部署模式：分离式or超融合

数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行;二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-11-08 11:12:09

存储分离式超融合

分布式机器学习的参数服务器

许多机器学习问题依赖大量的数据进行训练，然后进行推理。大型互联网规模的公司用tb或pb的数据进行训练，并从中创建模型。这些模型由权重组成，这些权重将优化大多数情况下的推理误差。权重/参数的数量以数十亿至数万亿的顺序排列。

2018-11-07 09:23:21

服务器分布式机器学习

深度神经网络的分布式训练概述：常用方法和技巧全面总结

本文探索了分布式随机梯度下降的同步和异步变体、各种 All Reduce 梯度聚合策略以及用于在集群上实现更高吞吐量和更低延迟的最佳实践。

2018-11-07 05:38:07

深度学习神经网络算法

为什么我们做分布式要使用Redis？

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2018-11-02 14:00:20

Redis NoSQL 数据库

分布式存储的元数据设计

GridFS基于MongoDB，相当于一个文件存储系统，是一种分块存储形式，每块大小为255KB。数据存放在两个表里，一个表是chunks，加上元信息后单条记录在256KB以内；另一个表是files，存储文件元信息。

2018-10-29 12:51:35

分布式存储元数据

技术探讨——认识Ceph分布式存储系统

Ceph是什么?它是一个软件定义的开源分布式对象存储解决方案，面向PB级的海量数据存储平台。

2018-10-29 12:42:23

Ceph 分布式存储

分布式基础，啥是两阶段提交？

上一篇《分布式事务，原来可以这么玩?》引起了不少讨论，后续准备开一个新系列，讲一讲分布式的东西，今天就从相对容易理解的“两阶段提交”谈起。

2018-10-29 08:44:29

分布式两阶段提交事务

上一页 1 ··· 12 13 14 15 16 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营