鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1417内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1417 条

大家所推崇的Redis分布式锁真的就万无一失吗？

在单实例JVM中，常见的处理并发问题的方法有很多，比如synchronized关键字进行访问控制、volatile关键字、ReentrantLock等常用方法。但是在分布式环境中，上述方法却不能在跨JVM场景中用于处理并发问题，当业务场景需要对分布式环境中的并发问题进行处理时，需要使用分布式锁来实现。

2019-06-25 08:46:04

Redis 分布式锁 JVM

一分钟弄懂什么是分布式和微服务

简单的说，微服务是架构设计方式，分布式是系统部署方式，两者概念不同

2019-06-21 10:00:42

微服务分布式架构

容器云在使用分布式存储时，HDFS、CEPH、GFS、GPFS、Swift 等哪种更好？

HDFS/CEPH/GFS/GPFS/Swift这类分布式存储，按照存储的类型来区分，HDFS/GPFS/GFS属于文件存储，CEPH属于统一存储--即块/对象/文件统一体，Swift属于对象存储-目前属于OpenStack下面的一个子项目。

2019-06-20 08:59:51

分布式Redis的分布式锁Redlock

之前自己在用redis来实现分布式锁的时候都是基于单个Redis实例，也就是说Redis本身是有单点故障的，Redis的官方文档介绍了一种"自认为"合理的算法，Redlock来实现分布式Redis下的分布式锁。

2019-06-19 15:40:06

分布式锁 Redis Java

如何设计一个优秀的分布式系统？重要因素、工具、策略都在这里

今天的应用程序可以说是分布式系统开发中的一项奇迹。基于不同的系统架构，构成应用程序的每个功能或服务可能在不同的系统上执行，而系统位于不同的地理位置，使用不同的计算机语言编写。

2019-06-18 09:10:01

工具策略系统

360自研分布式海量小文件存储系统的设计与实现

本文介绍360基础架构团队自研的分布式海量小文件存储系统——NebulasFs。

2019-06-17 23:25:04

NebulasFs 架构分布式

一步一图，带你了解分布式架构的前世今生

分布式系统(distributed system)是建立在网络之上的软件系统，它有两个典型特点：内聚性：每个数据库分布节点高度自治，有本地的数据库管理系统；透明性：每个数据库分布节点对用户的应用来说都是透明的，看不出是本地还是远程。

2019-06-10 14:53:15

分布式架构应用服务

分布式存储－MySQL 数据库事务与复制

结合实际工作中碰到的问题，以寻找答案的方式来剖解技术，很多时候我们都不是在创造新技术，而是在应用技术。

2019-06-10 14:31:24

MySQL 存储数据库

看一眼就能懂的“分布式锁”原理

分布式锁和我们平常讲到的锁原理基本一样，目的就是确保在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。

2019-06-10 08:04:26

分布式锁 JVM 服务器

宜信开源 | 分布式任务调度平台SIA-TASK的架构设计与运行流程

随着微服务化架构的逐步演进，单体架构逐渐演变为分布式、微服务架构。在此背景下，很多原先的任务调度平台已经不能满足业务系统的需求，于是出现了一些基于分布式的任务调度平台。

2019-06-04 13:44:53

架构运维技术

区块链入局分布式资产

在数字2.0时代，“物联网+区块链”的组合开始被人们关注，除了常见的产品溯源功能外，如今这一技术组合也被应用至分布式资产的融资及流通中。

2019-05-31 09:25:56

区块链分布式物联网

分布式时序数据库QTSDB的设计与实现

现有的开源时序数据库influxdb只支持单机运行，在面临大量数据写入时，会出现查询慢，机器负载高，单机容量的限制。为了解决这一问题，360基础架构团队在单机influxdb的基础上，开发了集群版——QTSDB。

2019-05-30 08:31:39

数据库 QTSDB 分布式

Python分布式进程中你会遇到的坑

你是不是在用Python3或者在windows系统上编程?最重要的是你对进程和线程不是很清楚?

2019-05-28 08:56:40

Python CPU Thread

从架构特点到功能缺陷，重新认识分析型分布式数据库

本文是分布式数据库的总纲文章的第一部分，主要探讨分析性分布式数据库的发展和技术差异;第二部分则是交易性数据库的一些关键特性分析。

2019-05-27 08:58:01

分布式数据库架构

浅谈集群、分布式、微服务的异同

分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。分布式和微服务的架构很相似，只是部署的方式不一样而已。

2019-05-24 14:45:17

分布式微服务运维

腾讯云联合长亮科技推出分布式金融业务服务框架助推金融机构数字化转型

5月22日，在2019腾讯全球数字生态大会智慧金融专场上，腾讯云与长亮科技联合发布新一代分布式金融业务服务框架。

2019-05-22 22:07:38

腾讯云分布式框架

17 个方面，综合对比 Kafka、RabbitMQ、RocketMQ、ActiveMQ 四个分布式消息队列

本文将从，Kafka、RabbitMQ、ZeroMQ、RocketMQ、ActiveMQ 17 个方面综合对比作为消息队列使用时的差异。

2019-05-21 14:14:18

Kafka RabbitMQ RocketMQ

支撑现代分布式存储系统的算法

随着应用程序处理的数据量不断增长，扩展存储变得愈发具有挑战性。每个数据库系统都有自己的方案。为了从这些方案中做出正确的选择，了解它们是至关重要的。

2019-05-13 15:20:42

存储系统算法

京东云总监带你吃透分布式精髓(含视频)

1953年，埃布·格罗希提出Grosch定律，即计算机性能会随着成本的平方而增加。1965年，高登·摩尔提出摩尔定律：当价格不变时，集成电路上可容纳的元器件的数目，约每隔18-24个月便会增加一倍。

2019-05-13 09:20:02

京东云 Redis MongoDB

一篇读懂分布式架构下的负载均衡

百度词条里的解释是：负载均衡，英文叫Load Balance，意思就是将请求或者数据分摊到多个操作单元上进行执行，共同完成工作任务。

2019-05-07 11:57:26

分布式架构负载均衡

分布式入门，怎样用PyTorch实现多GPU分布式训练

本文首先介绍了分布式计算的基本概念，以及分布式计算如何用于深度学习。然后，列举了配置处理分布式应用的环境的标准需求。最后，本文从理论角度和实现的角度演示了一个用于训练深度学习模型的分布式算法。

2019-05-05 08:37:39

分布式 PyTorch GPU

Ceph分布式存储-常见OSD故障处理

进行 OSD 排障前，先检查一下 monitors 和网络。如果 ceph health 或 ceph -s 返回的是健康状态，这意味着 monitors 形成了法定人数。如果 monitor 还没达到法定人数、或者 monitor 状态错误，要先解决 monitor 的问题。核实下你的网络，确保它在正常运行，因为网络对 OSD 的运行和性能有显著影响。

2019-04-30 09:17:31

Ceph 存储 OSD

如何采用多云和分布式计算解决企业的数据难题

很多企业正在将云计算投入其IT战略。越来越多的IT预算正在转向云计算服务和运营支出，而不是资本支出。与此同时，IT团队被要求加强并改进企业的数字计划。

2019-04-29 12:00:30

云计算分布式企业

开发分布式SQL数据库的6种技术挑战

在这篇文章中，我们将概述在构建开源，云原生，高性能分布式SQL数据库的过程中我们必须解决的一些最难的架构问题。

2019-04-28 09:58:12

数据库 Java SQL

腾讯重磅开源DCache，分布式NoSQL存储系统

听说最近腾讯开源了一个分布式 NoSQL 存储系统 DCache，它的典型应用场景就在分布式缓存。根据官方介绍，DCache 基于 TARS 微服务治理方案，它支持 k-v、k-k-row、list、set 与 zset 多种数据结构，数据基于内存存储，同时支持后接 DB 实现数据持久化。

2019-04-24 15:42:52

DCache 开源数据库

分布式限流，你想知道的都在这里

在一个高并发系统中对流量的把控是非常重要的，当巨大的流量直接请求到我们的服务器上没多久就可能造成接口不可用，不处理的话甚至会造成整个应用不可用。

2019-04-24 08:31:43

分布式限流 kafka

深入浅出百亿请求高可用Redis(codis)分布式集群揭秘

redis是一个基于内存同时具备数据持久化能力的高性能，低时延的KV数据库，value的数据结构可以是string,hash表，list(列表)，set(集合)，sortedset(有序集合)。

2019-04-19 09:39:58

Redis 分布式集群

分布式系统Kafka和ES中，JVM内存越大越好吗？

这篇文章，给大家聊一个生产环境的实践经验：线上系统部署的时候，JVM 堆内存大小是越大越好吗?

2019-04-11 09:27:10

测试报告RadonDB分布式数据库：从公有云验证到企业数据中心应用

近两年来,国内外诸如AWS、Azure等公有云巨头都先后推出了自研的数据库服务,青云QingCloud不仅推出了分布式数据库RadonDB,同时还将这一经过公有云验证的数据库产品应用到企业数据中心,通过将分布式技术与数据库相结合,再加上SSD的性能加成,性能好得让人不敢相信。

2019-03-31 08:20:27

RadonDB 数据库数据中心

同有科技正式发布自主可控分布式存储产品，为安全可靠产业赋能

ACS 10000A采用飞腾FT-1500A处理器和国产操作系统银河麒麟LINUX，存储系统软件采用同有科技自主研发的分布式存储软件，从硬件到软件层面真正实现了完全的自主可控，可提供EB级的存储容量，具有百万级的IOPS性能

2019-03-28 11:21:14

对话巨杉核心研发团队：分布式数据库自研之路

IBM是最早提出“关系型数据库”这一概念和理论体系的公司，从技术上看，传统三大关系型数据库在发展过程中，其实已经具有很深远的技术储备了。DB2是三大传统关系型数据库中唯一的分布式产品，因此我们团队在分布式技术方面的积累是一脉相承的。

2019-03-28 11:19:36

分布式--Nginx 负载均衡服务器

ginx是一款轻量级的 Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，其特点是占有内存少，并发能力强。

2019-03-27 08:43:17

Nginx 负载均衡服务器

自己动手撸一个分布式IM(即时通讯) 系统

之前分享过一篇《设计一个百万级的消息推送系统》，虽然在文中贴了一些伪代码，但是有朋友希望能直接分享一些可以运行的源码，这么久了是时候把坑填上了。

2019-03-21 09:45:20

IM 即时通讯 CIM

分布式系统的“流言蜚语”

你也许用过Redis，Cassandra，Amazon S3, BitTorrent 等著名的软件，但是也许你不知道，它们在底层通信时都采用了一个叫做Gossip(流言蜚语)的协议。

2019-03-18 16:29:01

分布式系统 Redis

华为发布新一代数据中心级融合分布式存储FusionStorage 8.0

华为FusionStorage 8.0是业界首个支持企业关键业务的分布式存储系统。单集群横向扩展最大可达4096个节点，支持千万级IOPS，并且凭借华为企业级存储成熟的芯片和FlashLink加速技术，使得节点与SSD盘之间协同更高效，时延响应低至0.5毫秒，具备分布式存储领域最优性能，满足运营商核心数据库、金融联机生产等场景快速IO响应诉求，保障企业关键业务高速稳定运行。

2019-03-01 10:19:35

对比各类分布式锁缺陷，抓住Redis分布式锁实现命门

两年来微服务变得越来越热门，越来越多的应用部署在分布式环境中，在分布式环境中，数据一致性是一直以来需要关注并且去解决的问题，分布式锁也就成为了一种广泛使用的技术，常用的分布式实现方式为Redis，Zookeeper，其中基于Redis的分布式锁的使用更加广泛。

2019-02-26 09:51:52

分布式锁 Redis Zookeeper

分布式缓存Redis扫盲教程

绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2019-02-18 11:16:12

Redis 分布式缓存

查看并处理分布式网络中的内部威胁

从安全角度来看，防范内部人员攻击与防御外部网络攻击完全不同。许多安全系统根本不关注已知用户正在做什么，特别是在围绕隐式信任建立的环境中，或者大多数安全资源专注于外围控制的环境中。

2019-02-17 09:56:43

内部威胁网络攻击恶意软件

分布式之MemCache详细解读

MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。

2019-02-13 13:41:07

MemCache 分布式 HashMap

分布式容错架构很难？一篇给你讲清楚

这篇文章，我们将用非常浅显易懂的语言，跟大家聊聊大规模分布式系统的容错架构设计。

2019-01-31 09:20:36

架构容错架构分布式容错

一个分布式 MySQL Binlog 存储系统的架构设计

kingbus是一个基于raft强一致协议实现的分布式MySQL binlog 存储系统。它能够充当一个MySQL Slave从真正的Master上同步binglog，并存储在分布式集群中。

2019-01-28 11:46:53

架构运维技术

Nginx && FastDFS实现分布式文件服务器

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题。

2019-01-28 11:03:03

Nginx FastDFS 服务器

爆款开年！深信服企业级分布式存储aStor-EDS重磅发布

1月20日，深信服第11届核心合作伙伴论坛在海南三亚召开。在大会主论坛上，深信服副总裁陈彦彬隆重发布了深信服2019年春季重量级新品：企业级分布式存储aStor-EDS，标志着深信服在云计算领域又添一款强势产品。

2019-01-24 14:49:15

快看，我们的分布式缓存就是这样把注册中心搞崩塌的

每当有机会写故障类主题的时候，我都会在开始前静静地望着显示器很久，经过多次煎熬和挣扎之后才敢提起笔来，为什么呢?因为这样的话题很容易招来吐槽，比如 “说了半天，不就是配置没配好吗?”

2019-01-22 14:19:04

分布式缓存注册中心

Redis 分布式锁进化史解读+缺陷分析

近两年来微服务变得越来越热门，越来越多的应用部署在分布式环境中，在分布式环境中，数据一致性是一直以来需要关注并且去解决的问题，分布式锁也就成为了一种广泛使用的技术，常用的分布式实现方式为Redis，Zookeeper，其中基于Redis的分布式锁的使用更加广泛。

2019-01-21 11:01:52

Redis 分布式锁缺陷

关于开源分布式事务中间件Fescar，我们总结了开发者关心的13个问题

开源分布式事务中间件 Fescar 自1月10日上线v0.1版本以来，受到了开发者们的极大关注(watch249，star3005，fork649，社区讨论的issue58，数据统计于1月17日14:00)，可见，天下苦分布式事务久矣。

2019-01-18 08:42:54

开源 Fescar 分布式

FESCAR：阿里重磅开源分布式事务解决方案

让我们想象一个传统的应用，由3个模块构成，并且这三个模块使用同一个数据源。很明显，数据一致性由数据库提供的本地事务就能搞定。

2019-01-11 18:22:07

阿里巴巴技术开源

区块链 | 流行的分布式存储平台Swarm和IPFS分析

谈到区块链和分布式计算，最重要的是共识算法(整个网络如何达成一致的决策)和智能合约(实现我们在中心化世界中日常使用的应用)。但是，谈及日常应用程序，这些属性还不足以支持当今世界的需求。

2019-01-08 10:59:52

Swarm IPFS 分布式存储

为什么你需要开源分布式流存储Pravega？

工业物联网，车联网和实时欺诈风控的需求正在飞速的发展。越来越多的企业新应用，需要的是快速响应客户需求，并同时学习和适应不断变化的行为模式。

2019-01-04 11:08:38

开源分布式流存储 Pravega

第七批大数据批处理平台与分布式分析型数据库测试观察

2018-12-27 00:10:25

上一页 1 ··· 13 14 15 16 17 ··· 29 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营