直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

分布式

1344内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1344 条

分布式系统常用思想和技术综述

分布式系统是一个古老而宽泛的话题，而近几年因为“大数据”概念的兴起，又焕发出了新的活力。本文就给大家谈一下分布式系统常用思想和技术。

2020-10-30 07:47:42

HDFS分布式存储中NameNode 和DataNode 有什么区别？

目前市场中，HDFS分布式存储系统是很热门的讨论话题，各种企业也倾向于搭建分布式存储系统。

2020-10-29 18:53:38

HDFS NameNode DataNode

宝德联手英特尔打造支持 Analytics Zoo Cluster Serving 的自动分布式可扩展推理平台

为帮助企业用户降低深度学习部署与应用门槛，构建软硬一体的分布式全栈推理平台，宝德推出了基于 AI 推理服务器 PR2715P2，可支持 Analytics Zoo Cluster Serving 的自动分布式可扩展推理平台。

2020-10-29 14:58:58

一文了解分布式一致性算法EPaxos

分布式系统一个核心的问题就是数据的一致性。Paxos算法是分布式一致性中的经典算法，用来解决一个分布式系统如何就某个值(决议)达成一致的问题。

2020-10-28 11:15:24

EPaxos 分布式性算法

一分钟搞定Scrapy分布式爬虫、队列和布隆过滤器

使用Scrapy开发一个分布式爬虫？你知道最快的方法是什么吗？一分钟真的能开发好或者修改出一个分布式爬虫吗？先让我们看看怎么实践，再详细聊聊细节。

2020-10-28 11:00:53

Scrapy 爬虫 Python

微信研发体系下的分布式配置系统设计概要

本文旨在分析分布式配置系统的必要性、可行性，及其关键约束，并介绍一款基于该系列分析，在微信研发体系下的实践尝试。

2020-10-21 09:39:31

微信分布式配置

分布式存储 Ceph 的演进经验 · SOSP 2019

本文要介绍的是 2019 年 SOSP 期刊中的论文 —— File Systems Unfit as Distributed Storage Backends: Lesson Effis from 10 Years of Ceph Evolution[^1]，该论文介绍了分布式存储系统 Ceph 在过去 10 多年演进过程中遇到的一些问题，我们作为文件系统的使用者也能从中可以借鉴到很多经验与教训，在遇到相似问题时避免犯相同的错误。

2020-10-20 09:38:15

分布式存储 Ceph

Java 从零实现属于你的 Redis 分布式锁

我们想要解决分布式系统中的并发问题，就需要引入分布式锁的概念。

2020-10-19 07:30:57

Java Redis 开发

浅析分布式Cap定理和Base理论！

根据定理，分布式系统只能满足三项中的两项而不可能满足全部三项。理解CAP理论的最简单方式是想象两个节点分处分区两侧。允许至少一个节点更新状态会导致数据不一致，即丧失了C性质。

2020-10-16 06:36:57

Cap Base 定理

12张图带你彻底理解分布式事务产生的场景和解决方案

作者个人研发的在高并发场景下，提供的简单、稳定、可扩展的延迟消息队列框架，具有精准的定时任务和延迟队列处理功能。自开源半年多以来，已成功为十几家中小型企业提供了精准定时调度方案，经受住了生产环境的考验。

2020-10-16 06:30:45

分布式场景方案

Menger:大规模分布式强化学习架构

今天，我们要介绍的是Menger——一种具有本地化推理能力的大规模分布式RL架构，可通过多个处理集群(如Borg单元)扩展数千个Actors，从而减少了芯片放置任务的训练时间。

2020-10-15 19:22:09

Menger 机器学习强化学习

华为：“智能分布式接入网”打造真千兆高品质生活体验

智能真千兆时代呼唤全新一代网络架构，它需要具备在云端的业网协同、边端的算网协同和终端的端网协同，同时打造具有秒级感知力、边缘AI算力、弹性联接力的全新接入网。

2020-10-15 15:20:05

华为智能分布式接入网真千兆

华为发布“品质专线2.0&智能分布式接入”解决方案

“智能联接”需要各项网络基础设施和技术方案进行升级，才能逐步达到所预期的条件。此次华为发布的“智能分布式接入网”和“品质专线2.0”，就是满足“智能联接”要求，面向家庭和企业的解决方案。

2020-10-15 15:10:17

华为品质专线2.0 智能分布式接入

分布式锁的封装也很有讲究呀

分布式锁通常有很多选择，基于 Redis 的，基于 Zookeeper 的，基于数据库等等方案。Redis 用于缓存数据，在项目中都有使用，所以使用 Redis 来做分布式锁的会稍微多些。

2020-10-14 11:50:10

分布式锁数据库 Redis

为什么分布式云是下一代云计算？Gartner分析师这样解释

下一代云计算分布式云保留了云计算的优势，同时扩展了云计算的范围和用例。企业的CIO可以使用分布式云模型来定位将来需要的，与位置相关的云用例。

2020-10-13 18:12:30

分布式云云计算 Gartner

如何提高分布式混合IT环境的网络可见性

如今业务越来越多地依赖于网络，尤其是在数字化转型为虚拟和远程运营推动“新常态”的时候。这种新常态包括不断增加的全天候连接，具有极低延迟和抖动的带宽，以及自带设备（BYOD）、软件即服务（SaaS）应用、远程工作（特别是疫情爆发以来）和影子IT。

2020-10-13 09:56:36

数据中心混合云技术

怎么理解分布式、高并发、多线程

分布式更多的是一个概念，是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段.

2020-10-13 07:44:45

理解分布式

运维必看！这里有 CAP 分布式最易懂的解释

CAP 理论是分布式系统的一个基础理论，它描述了任何一个分布式系统最多只能满足以下三个特性中的两个。

2020-10-10 11:23:36

运维架构技术

程序员修神之路--它可能是分布式系统中最重要的枢纽

注册中心作为现在架构中的一个组件来说，确实很常见。微服务作为分布式系统最典型的一种表现形式，是最近几年最流行的概念之一。

2020-10-10 08:07:36

分布式系统程序员

VMware发布虚拟云网络创新技术，连接和保护分布式多云企业

VMware本周在VMworld 2020大会上发布多项虚拟云网络创新，将帮助客户构建现代化网络, 更好地支持当前和未来业务计划。

2020-09-30 10:42:23

HarmonyOS 之分布式任务调度

作为开发者，我对技术分论坛中 HarmonyOS 分布式调度能力比较感兴趣，下面分享一下我在论坛中获得的一些信息。

2020-09-29 19:20:05

面试官：如何实现文件的大规模分布式存储？

在生产环境中，往往需要对FastDFS实现高可用，进而实现文件的大规模分布式存储。那么，如何实现FastDFS的高可用呢?今天，我们就基于CentOS 8服务器来搭建FastDFS高可用集群环境。

2020-09-27 06:52:22

分布式存储服务器

腾讯云大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布

刚刚获悉，由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解，经过2年多的社区持续开发和内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。

2020-09-24 14:19:18

腾讯云大数据 Apache

一口气说出“分布式追踪系统”原理！

在微服务架构中，一次请求往往涉及到多个模块，多个中间件，多台机器的相互协作才能完成。

2020-09-24 09:08:04

分布式系统架构

分布式高并发下Actor模型如此优秀

一般来说有两种策略用来在并发线程中进行通信：共享数据和消息传递。使用共享数据方式的并发编程面临的最大的一个问题就是数据条件竞争。处理各种锁的问题是让人十分头痛的一件事。

2020-09-23 22:36:27

分布式架构系统

聊聊分布式下的WebSocket解决方案

最近自己搭建了个项目，项目本身很简单，但是里面有使用WebSocket进行消息提醒的功能，大体情况是这样的。发布消息者在系统中发送消息，实时的把消息推送给对应的一个部门下的所有人。

2020-09-23 09:52:01

分布式 WebSocket MQ

干货：如何系统学习分布式系统?

本文的缘起是回答知乎圆桌会议「分布式系统之美」的问题「如何系统性地学习分布式系统?」，后面稍微整理了一下，形成了这一篇文章

2020-09-21 09:15:12

中国邮政引入阿里云PolarDB分布式数据库支撑订单业务峰值超1亿件

9月18日，在2020云栖大会上，中国邮政高管在演讲中透露，通过引入阿里云云原生分布式数据库PolarDB-X，高效支撑了2019年“双十一”，在订单业务峰值超过1亿件的情况下，系统平滑稳定运行。

2020-09-18 13:52:40

阿里云分布式数据库

分布式系统的代码检视清单

这是一些代码检查指南，它们是我检查与分布式环境中的系统间通信有关的代码的基本清单。

2020-09-17 11:12:03

分布式系统代码检代码检视

微服务的战争：选型？分布式链路追踪

“微服务的战争” 是一个关于微服务设计思考的系列题材，主要是针对在微服务化后所出现的一些矛盾/冲突点，不涉及具体某一个知识点深入。如果你有任何问题或建议，欢迎随时交流。

2020-09-11 09:44:04

微服务分布式链路

HBase完全分布式集群部署

HBase是一个分布式的、面向列的开源数据库，它不同于一般的关系数据库,是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

2020-09-08 13:25:52

HBase 分布式数据库

TiKV 正式从 CNCF 毕业，成为云原生时代构建分布式系统的基石

今日，云原生计算基金会 ( CNCF ) 宣布 TiKV 正式从 CNCF 毕业。TiKV 是继 Harbor 之后在 CNCF 毕业的第二个中国原创开源项目。从孵化项目晋升为毕业项目，标志着 TiKV 在产品成熟度、项目采用率以及社区持续性等方面取得一系列进展，可应用到各类行业、各种规模的生产环境。

2020-09-03 15:14:27

TiKV 云原生键值数据库

每秒上千订单场景下的分布式锁高并发优化实践！

假如下单时，用分布式锁来防止库存超卖，但是是每秒上千订单的高并发场景，如何对分布式锁进行高并发优化来应对这个场景?

2020-09-03 06:33:35

高并发场景分布式锁

为云而生，QingStor分布式存储全线升级！原创

青云QingCloud存储产品迎来了重大升级，包括全新升级了管理平台Portal 3.0，QingStor NeonSAN 3.0，QingStor对象存储3.0，QingStor文件存储 2.0等。

2020-09-02 16:39:00

青云QingCloud 存储 QingStor

分布式锁，再深一点！！

在分布式环境下，怎么访问临界资源，是互联网的一大难题。分布式锁就是一种解决方法。

2020-09-01 07:36:29

分布式锁分布式进程

腾讯云中标广州农商银行分布式金融云平台建设项目

作为国内领先的金融云服务提供商，腾讯云打造的新基建与新连接能力，已经累计服务超万家金融领域的客户，帮助银行、保险、证券、消费金融等金融机构实现了数字化转型升级。

2020-08-28 16:24:12

腾讯云广州农商银行分布式

程序员过关斩将--解决分布式session问题

session 这个词，其实是一个抽象的概念，它不像 Cookie 那样有着明确的定义。当大多数程序员谈论 session 的时候，可能指的是服务端存储数据的 session 对象，例如，用户登录成功之后把用户信息存储在 session 中，类似于这样的程序。

2020-08-25 07:35:07

session 分布式抽象

分布式云CIO指南

新一代的打包式混合云产品可以帮助减少这些影响。分布式云作为下一代云，在扩展云计算范围和用例的同时，保留了云计算的优势。CIO可以用分布式云模型来定位需要依赖于位置的云上用例。

2020-08-24 07:08:37

分布式云云迁移云计算

女朋友问敖丙：什么是分布式事务？

不过暖男为了保证文章的完整性确保所有人都听得懂，我还是得先说说 ACID，然后再来介绍下什么是分布式事务和常见的分布式事务包括 2PC、3PC、TCC、本地消息表、消息事务、最大努力通知。

2020-08-14 09:04:34

分布式事务

云计算会给分布式存储带来什么新的的影响

分布式存储服务器可以更有效地利用冗余计算能力，保证敏感数据的安全。通过“自我管理”实现计算能力的非中介化，充分利用具有广阔发展潜力和前景的共享经济模式聚集全球计算能力，市场有望增长。

2020-08-06 17:50:56

云计算存储分布式

分布式SQL数据库新的演变方向译文

本文将和您具体讨论分布式SQL的相关概念和基本特征，以方便进行选择与试用。

2020-08-03 07:00:00

一口气说出9种分布式ID生成方式，面试官有点懵了

本文只是简单介绍一下每种分布式ID生成器，旨在给大家一个详细学习的方向，每种生成方式都有它自己的优缺点，具体如何使用还要看具体的业务需求。

2020-07-31 10:15:32

分布式ID 数据库 MySQL

如何在Linux下安装部署分布式全文搜索引擎

Elasticsearch是一个开源的分布式全文本搜索和分析引擎。它支持RESTful操作，并允许您实时存储，搜索和分析大量数据。

2020-07-31 09:55:27

Linux 分布式 Elasticsear

实现一个Redis分布式锁

在我们日常开发中，难免会遇到要加锁的情景。例如扣除产品库存，首先要从数据库中取出库存，进行库存判断，再减去库存。这一波操作明显不符合原子性，如果代码块不加锁，很容易因为并发导致超卖问题。

2020-07-30 09:35:09

Redis 分布式锁数据库

【高并发】如何实现亿级流量下的分布式限流？这些理论你必须掌握！！

在互联网应用中，高并发系统会面临一个重大的挑战，那就是大量流高并发访问，比如：天猫的双十一、京东618、秒杀、抢购促销等，这些都是典型的大流量高并发场景。

2020-07-29 07:28:14

分布式限流系统

一文总结：分布式一致性技术是如何演进的？

分布式一致性(Consensus)作为分布式系统的基石，一直都是计算机系统领域的热点。近年来随着分布式系统的规模越来越大，对可用性和一致性的要求越来越高，分布式一致性的应用也越来越广泛。

2020-07-24 13:54:54

分布式一致性技术

对不起，网上找的Redis分布式锁都有漏洞！

基于 Redis 的分布式锁对大家来说并不陌生，可是你的分布式锁有失败的时候吗?在失败的时候可曾怀疑过你在用的分布式锁真的靠谱吗?以下是结合自己的踩坑经验总结的一些经验之谈。

2020-07-23 09:10:09

Redis 分布式锁漏洞

认识“雪花ID”：如何在分布式环境中大规模生成唯一ID？

唯一的ID使开发人员能够正确识别、保存和检索数据对象，并使数据对象参与到复杂的关系模式中。

2020-07-21 11:35:21

开发技能代码

ElasticSearch的基本概念和集群分布式底层实现

本文试图通过总结ElasticSearch基本概念和底层原理，加深自身理解，同时希望对使用者有所帮助，避免不必要的踩坑。

2020-07-16 20:55:19

ElasticSear 集群分布式

Spring Boot Redis实现分布式锁，真香！！

本篇栈长以 Redis 为例（这也是用得最多的方案），教大家如何利用 Spring Boot 集成 Redis 实现缓存，如何简单、快速实现 Redis 分布式锁。

2020-07-15 16:50:57

Spring Boot Redis Java

上一页 1 ··· 7 8 9 10 11 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营