鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1396内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1396 条

ElasticSearch的基本概念和集群分布式底层实现

本文试图通过总结ElasticSearch基本概念和底层原理，加深自身理解，同时希望对使用者有所帮助，避免不必要的踩坑。

2020-07-16 20:55:19

ElasticSear 集群分布式

Spring Boot Redis实现分布式锁，真香！！

本篇栈长以 Redis 为例（这也是用得最多的方案），教大家如何利用 Spring Boot 集成 Redis 实现缓存，如何简单、快速实现 Redis 分布式锁。

2020-07-15 16:50:57

Spring Boot Redis Java

基于MyCat构建MySQL分布式集群

MyCat是一个开源的分布式数据库中间件，是一个实现了MySQL协议的服务器，前端用户可以把它看作是一个数据库代理，用MySQL客户端工具和命令行访问。

2020-07-15 09:20:48

MyCat MySQL 分布式

PyTorch如何加速数据并行训练？分布式秘籍大揭秘

在芯片性能提升有限的今天，分布式训练成为了应对超大规模数据集和模型的主要方法。本文将向你介绍流行深度学习框架 PyTorch 最新版本（ v1.5）的分布式数据并行包的设计、实现和评估。

2020-07-13 09:40:11

PyTorch 框架机器学习

一口气说出 4 种分布式一致性 Session 实现方式，面试杠杠的~

起初这个系统的用的人也不多，为了节省资源，这个系统仅仅只是单机部署。后来随着用的人越来越多，单机已经有点扛不住了，于是阿粉决定再部署了一台机器。

2020-07-10 07:44:26

Session 方式 Web

两万字深度介绍分布式系统原理

在具体的工程项目中，一个节点往往是一个操作系统上的进程。在本文的模型中，认为节点是一个完整的、不可分的整体，如果某个程序进程实际上由若干相对独立部分构成，则在模型中可以将一个进程划分为多个节点。

2020-07-09 17:31:49

分布式系统操作系统

【大厂面试题】Redis中是如何实现分布式锁的？

你对Redis使用熟悉吗？Redis中是如何实现分布式锁的。下面让我们来看一下吧。

2020-07-09 13:30:03

Redis Java 分布式锁

分布式系统「高性能」大招之——缓存背后的“毁灭种子”

布隆过滤器就是由一个很长的二进制向量和一系列随机映射函数组成，将确定不存在的数据构建到过滤器中，用它来过滤请求。

2020-07-08 11:59:52

分布式系统缓存

我们的系统需要什么样的分布式锁？

针对共享资源的互斥访问历来是很多业务系统需要解决的问题。在分布式系统中，通常会采用分布式锁这一通用型解决方案。本文将就分布式锁的实现原理、技术选型以及阿里云存储的具体实践进行论述。

2020-07-06 14:53:24

分布式锁系统单机锁

硬核干货！Redis 分布式集群部署实战

Redis集群采用一致性哈希槽的方式将集群中每个主节点都分配一定的哈希槽，对写入的数据进行哈希后分配到某个主节点进行存储。

2020-07-03 13:29:08

Redis 集群哈希槽

两万字深度介绍分布式，一文入魂

当一个互联网业务获得大众欢迎的时候，最显著碰到的技术问题，就是服务器非常繁忙。当每天有1000万个用户访问你的网站时，无论你使用什么样的服务器硬件，都不可能只用一台机器就承载的了。

2020-06-29 08:25:23

单机和分布式场景下，有哪些流控方案？

不同的场景下所需的流控算法不尽相同，那应该如何选择适用的流控方案呢?本文分享单机及分布式流控场景下，简单窗口、滑动窗口、漏桶、令牌桶、滑动日志等几种流控算法的思路和代码实现，并总结了各自的复杂度和适用场景。较长，同学们可收藏后再看。

2020-06-24 11:35:42

单机分布式流控

赋能智能时代造梦师，华为终端分布式技术的破与立原创

跨终端的开发，为了适配不同终端不同系统，开发者要做大量的重复开发和多形态开发，同时为了抢占市场先机，其研发的创新周期也在不断缩短，不少开发者都叹息“太难了”!

2020-06-24 10:31:30

华为终端分布式开发者

不可错过的新一代分布式任务调度与计算框架

PowerJob（原OhMyScheduler）是全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。

2020-06-23 10:22:58

GitHub 代码开发者

史上最全分布式数据库概述

在集中式数据库系统不能完全符合实际需要的形势下，集中式DB的“集中计算”概念向“分布计算”概念发展。分布计算主要体现在客户机/服务器模式的分布式数据库体系结构两个方面。

2020-06-23 09:35:13

分布式数据库网络

逆势领先！新华三中国企业级外部存储市场销售额稳居第二，分布式存储营收增长三倍

近日，国际数据公司（IDC）发布《中国企业级外部存储市场2020年第一季度跟踪报告》（预备版）。

2020-06-18 17:06:10

老大吩咐的可重入分布式锁，终于实现了~

最近在做一个项目，将一个其他公司的实现系统(下文称作旧系统)，完整的整合到自己公司的系统(下文称作新系统)中，这其中需要将对方实现的功能完整在自己系统也实现一遍。

2020-06-15 08:15:47

分布式锁系统

金融交易系统：分布式数据湖

所谓“无科技不金融”，如今金融交易系统不仅提供交易服务，还面临数据的性能与安全的挑战。

2020-06-12 12:49:52

MongoDB统一分布式数据源，云数据库支持数据湖和搜索功能

分布式文件存储数据库MongoDB发布了新版本，包括大量产品组合更新。并且为云数据库MongoDB Atlas(数据库的特定于云的版本)添加了更多功能，为开发人员推出了全新的产品数据库同步平台。

2020-06-11 08:26:54

MongoDB 数据库分布式

一文看懂Java微服务架构，WEB2.0，垂直架构，分布式架构，微服务架构

在基于单体架构的设计中，无法满足WEB2.0对项目的需求，需要在单体架构上搭建集群（多个服务器），可以提升项目的稳定性，并且并发量增加，也可以承受住。

2020-06-10 10:20:24

微服务架构 WEB2.0

DeepMind发布Acme，高效分布式强化学习算法框架轻松编写RL智能体

DeepMind 本周发布了一个强化学习优化框架 Acme，可以让AI驱动的智能体在不同的执行规模上运行，从而简化强化学习算法的开发过程。

2020-06-05 14:49:51

强化学习算法框架

PostgreSQL的几种分布式架构对比

Postgresql由于强大的功能和良好的扩展性，基于postgresql来做的分布式架构也比较多，大部分用于分析类场景，本文比较几种常见的架构特点。

2020-06-02 14:45:48

PostgreSQL 架构分布式

浅谈分布式系统一致性之3PC协议

分布式系统一致性专题本期该写 3PC 协议了，上周太忙没有时间更新，就拿了之前的旧文章做了一些调整重发了一下，还望各位读者海涵。后面大约还有3期：Paxos 协议、Raft 协议等，先预热一下。

2020-05-29 14:46:23

3PC 协议分布式系统

如何选择分布式事务解决方案？

分布式事务中涉及的参与者分布在异步网络中，参与者通过网络通信来达到分布式一致性，网络通信不可避免出现失败、超时的情况，因此分布式事务的实现比本地事务面临更多的困难。本文归纳总结五种分布式事务解决方案，并剖析其特点。较长，同学们可收藏后再看。

2020-05-28 09:35:05

分布式事务方案

微服务分布式架构中，如何实现日志链路跟踪？

在现有的系统中，由于大量的其他用户/其他线程的日志也一起输出穿行其中导致很难筛选出指定请求的全部相关日志。那我们如何来处理呢?

2020-05-26 11:59:30

日志链路微服务架构

漫谈Serverless、微服务、分布式和单体四种主流软件架构

如果一个软件开发人员，不了解软件架构的演进，会制约技术的选型和开发人员的生存、晋升空间。这里我列举了目前主要的四种软件架构以及他们的优缺点，希望能够帮助软件开发人员拓展知识面。

2020-05-19 22:05:39

Serverless 微服务分布式

利用Springboot+Dubbo，构建分布式微服务，全程注解开发

随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟需一个治理系统确保架构有条不紊的演进。

2020-05-19 08:15:16

互联网分布式微服务

5分钟实现SpringBoot整合Dubbo构建分布式服务

Dubbo是Alibaba开源的分布式服务框架，它最大的特点是按照分层的方式来架构，使用这种方式可以使各个层之间解耦合。

2020-05-18 14:00:01

Dubbo 分布式架构

关于Redis、ZooKeeper等分布式锁原理的一些思考

首先分布式锁和我们平常讲到的锁原理基本一样，目的就是确保，在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。

2020-05-12 14:03:51

Redis ZooKeeper 分布式锁

一文看懂分布式存储架构，这篇分析值得收藏

在这个存储系统中包含很多组件，除了核心的机头(控制器)、磁盘阵列( JBOD )和交换机等设备外，还有管理设备等辅助设备。

2020-05-12 11:38:08

存储架构分布式

浅谈分布式一致性协议之2PC

在了解分布式一致性的理论和概念之后，后续将和大家一起讨论分布式一致性协议，其中包括：2PC、3PC、Paoxs协议、Raft协议。篇幅有限，本文重点展开2PC协议，后续文章继续深入。

2020-05-11 10:30:57

2PC 分布式协议

聊聊分布式系统一致性问题，你懂几分？

作为后端从业人员，我们在找工作写简历的时候除了高并发经验，一般还会写上自己熟悉|了解|掌握|精通分布式系统，所以高并发和分布式大多是成对出现的。

2020-05-07 11:58:07

分布式系统架构

面试被问分布式事务（2PC、3PC、TCC），这样解释没毛病！

还记得刚入行开始写Java时，接触的第一个项目是国家电网的一个业务系统，这个系统据说投资了5亿人民币进行研发，鼎盛时期研发人员一度达到过500人。

2020-05-06 10:19:14

2PC 3PC 分布式事务

这些分布式存储产品谁更胜一筹？FusionStorage、XSKY、Ceph、vSAN、SmartX 等……

想了解关于FusionStorage、Ceph、vSAN、SmartX等分布式存储产品优劣对比，以及未来的技术演进趋势如何?

2020-04-29 16:17:37

分布式存储产品

我司用了 6 年的 Redis 分布式限流器，可以说是非常厉害了

由于互联网公司的流量巨大，系统上线会做一个流量峰值的评估，尤其是像各种秒杀促销活动，为了保证系统不被巨大的流量压垮，会在系统流量到达一定阈值时，拒绝掉一部分流量。

2020-04-29 11:06:26

Redis 分布式限流器

分布式数据之缓存技术，揭开其神秘面纱

在这一讲，我将为你讲解分布式存储中“货架”的关键技术——缓存技术。在计算机领域的各个方面，缓存都非常重要，是提升访问性能的一个重要技术。为什么这么说呢?

2020-04-28 14:25:14

缓存分布式数据

分布式事务如何实现？深入解读 Seata 的 XA 模式

XA 模式的加入，补齐了 Seata 在全局一致性场景下的缺口，形成 AT、TCC、Saga、XA 四大事务模式的版图，基本可以满足所有场景的分布式事务处理诉求。

2020-04-28 12:18:08

Seata 模式分布式

聊聊主流分布式存储技术的对比分析与应用

Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。

2020-04-24 16:00:58

存储分析应用

Redis 分布式锁的 5个坑，真是又大又深

最近项目上线的频率颇高，连着几天加班熬夜，身体有点吃不消精神也有些萎靡，无奈业务方催的紧，工期就在眼前只能硬着头皮上了。脑子浑浑噩噩的时候，写的就不能叫代码，可以直接叫做Bug。我就熬夜写了一个bug被骂惨了。

2020-04-23 11:18:14

Redis 分布式锁

后端程序员必备：分布式事务基础篇

最近看了几篇有关于分布式事务的博文，做一下笔记，快来看看，对你有帮助吗？

2020-04-20 19:00:30

程序员分布式事务架构

一文看懂分布式数据库原理和 PostgreSQL 分布式架构

分布式系统数据库系统原理(第三版)中的描述：“我们把分布式数据库定义为一群分布在计算机网络上、逻辑上相互关联的数据库。

2020-04-14 11:14:02

PostgreSQL 分布式数据库

老板问我分布式锁，结果悲剧了......

公司交给了萌新小猿一个光荣而艰巨的项目，该项目需要使用分布式锁，这可难道了小猿。

2020-04-10 08:03:04

分布式锁 Redlock算法流行算法

还不知道 Redis 分布式锁的背后原理？还不赶快学习一下

以前在学校做小项目的时候，用到Redis，基本也只是用来当作缓存。可阿粉在工作中发现，Redis在生产中并不只是当作缓存这么简单。

2020-04-09 10:25:37

Redis 分布式算法

区块链技术的起源与沿革（下篇）：Hyperledger Fabric与分布式联盟数据库原创

本文旨在于尽可能悬置那些游离于技术层面之外的价值判断，将视角重新移回到区块链技术本身，完整回溯区块链1.0到3.0的技术原理和设计理念之沿革，为读者揭开笼罩在区块链之上那层神秘的面纱。

2020-04-09 09:00:00

区块链区块链技术

当前哪个分布式数据库产品更好？选型最需要关注哪些要素？

不同厂商产品之间的对比分析、优劣势?主要使用的应用场景及分析，有哪些是不适宜使用的?目前产品本身，技术上还存在哪些不足，使用上需要规避哪些?

2020-04-07 10:52:36

分布式数据库场景

三分钟读懂Hadoop、HBase、Hive、Spark分布式系统架构

我们来分别部署一套hadoop、hbase、hive、spark，在讲解部署方法过程中会特殊说明一些重要配置，以及一些架构图以帮我们理解，目的是为后面讲解系统架构和关系打基础。

2020-04-03 15:35:53

Hadoop HBase Spark

全球分布式算力共享鼻祖寻找外星人近 21 年，一切都是徒劳？

当前全世界范围内都没有确凿的证据证实外星人的存在。不久前，这个全球规模最大、影响范围最广的分布式计算项目官方宣布：从 2020 年 3 月 31 日起，将不再向参与者发放新的计算任务，项目正式进入休眠期。

2020-04-02 10:08:21

分布式外星人平台

分布式事务中常见的三种解决方案

当事务由资源管理器本地管理时被称作本地事务。本地事务的优点就是支持严格的ACID特性，高效，可靠，状态可以只在资源管理器中维护，而且应用编程模型简单。但是本地事务不具备分布式事务的处理能力，隔离的最小单位受限于资源管理器。

2020-03-31 16:13:26

分布式事务方案 TCC

分布式事务浅析及简单实现

在分布式系统中，为了保证数据的高可用，通常，我们会将数据保留多个副本(replica)，这些副本会放置在不同的物理的机器上。为了对用户提供正确的 CRUD 等语义，我们需要保证这些放置在不同物理机器上的副本是一致的。分布式事务在现在遍地都是分布式部署的系统中几乎是必要的。

2020-03-31 08:05:23

分布式开发技术

分布式架构下，传统数据库运维究竟要面对哪些变化？

分布式架构可能是近几年最火的话题。从集中式、SOA到分布式架构，本文回顾了这些年金融行业经历的架构演变;结合当下一些较典型的分布式数据库的实现原理，分析了分布式数据库的三个发展阶段。

2020-03-23 07:30:57

数据库运维架构

上一页 1 ··· 9 10 11 12 13 ··· 28 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营