鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1419内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1419 条

灵魂发问：重复消费顺序消费分布式事务

这一篇我们要说的是重复消费、顺序消费这两个在消息队列中常见的问题，以及一种事务消息，这种事务消息可以在消息队列中完成分布式事务的特性。

2021-10-19 08:01:41

重复消费顺序消费分布式

Longhorn 云原生容器分布式存储 - 故障排除指南

当 Longhorn 卷的文件系统损坏时，Longhorn 无法重新挂载该卷。因此，workload 无法重新启动。

2021-10-18 23:49:50

云原生分布式存储

神奇：内存池化和分布式AI集群优化

分布式机器学习产生的原因很简单，一方面是可供训练的数据越来越多，另一方面是模型自身的规模越来越大，所以必须要多个机器来搞。

2021-10-17 21:04:34

AI 内存池集群

首席信息官的分布式云计算指南

了解为什么分布式云是下一代云计算，以及与公共云、混合云和边缘计算相比的优势。

2021-10-13 10:24:29

云计算首席信息官分布式云

常用的分布式事务都有哪些？我该用哪个？

分布式的CAP理论应该是人尽皆知了，它描述了一致性(C)、可用性(A)、分区容错性(P)的一系列权衡。很多时候，我们要在一致性和可用性之间权衡，而分布式事务，就是在这个大的前提下，尽可能的达成一致性的要求。

2021-10-11 19:30:02

分布式事务 CAP

用 Node 轻松完成一个分布式事务 TCC，保姆级教程

什么是TCC，TCC是Try、Confirm、Cancel三个词语的缩写，最早是由 Pat Helland 于 2007 年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出。

2021-10-11 09:24:14

分布式架构系统

学习笔记--分布式数字华容道（下）

最近比较忙，导致这一篇文章拖了好久还没写，只能趁着国庆放假抽空写一写了。继前两篇文章的铺垫，我们这一篇文章就来实现分布式数字华容道的双人模式。

2021-10-09 14:49:50

鸿蒙 HarmonyOS 应用

用MySQL实现分布式锁，你听过吗？

以前参加过一个库存系统，由于其业务复杂性，搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。

2021-10-09 11:34:59

MySQL 分布式锁库存

分布式存储会一统存储市场吗？

近年来，随着云、大数据、AI、区块链等技术的发展，分布式架构在IT市场持续火热，在存储领域，分布式存储蓬勃发展。

2021-10-08 10:45:41

分布式存储 Scale-up架构

Sentry 监控 - 面向全栈开发人员的分布式跟踪

在 Web 的早期，编写 Web 应用程序很简单。开发人员使用 PHP 等语言在服务器上生成 HTML，与 MySQL 等单一关系数据库进行通信，大多数交互性由静态 HTML 表单组件驱动。虽然调试工具很原始，但理解代码的执行流程很简单。

2021-10-06 05:04:47

私有分布式账本技术还是公共区块链？

一些人认为，需经许可的分布式账本技术（DLT）可以比开放的区块链表现得更好，因为它是针对后者的问题而调整的。

2021-10-04 11:13:59

区块链 DLT 技术

Sentry 监控 - Distributed Tracing 分布式跟踪

分布式跟踪(Distributed tracing)通过捕获软件系统之间的交互来提供相关错误和事务的连接视图。通过跟踪，Sentry 可以跟踪您的软件性能并显示跨多个系统的错误影响。

2021-09-30 23:12:52

监控分布式跟踪

赌你看不懂：分布式存储系统的数据强一致性挑战

自从 Google 发布 Spanner 论文后，国内外相继推出相关数据库产品或服务来解决数据库的可扩展问题。字节跳动在面对海量数据存储需求时，也采用了相关技术方案。本次分享将介绍我们在构建此类系统中碰到的问题，解决方案以及技术演进。

2021-09-30 09:20:30

分布式系统数据库数据存储

分布式事务知识小结

PC 和 3PC 是一种强一致性事务，不过还是有数据不一致，阻塞等风险，而且只能用在数据库层面。

2021-09-29 09:07:37

分布式架构系统

泛在千兆，引领5G室内新趋势—— 华为5G室内分布式Massive MIMO荣获最佳解决方案案例

针对高容量、高密度的场馆、交纽场景，传统解决方案主要是通过密集部署室内基站以及增加频率复用来提升容量

2021-09-28 16:57:31

华为云GaussDB：用分布式计算和存算分离的集合力量打造云原生数据库

近期，创原会在杭州千岛湖成功举办云原生技术精英沙龙，来自云原生计算基金会（CNCF）、中国信通院、华为以及各行业的云原生技术精英们共聚一堂，就云原生与企业业务融合的无限可能进行了深入研讨。

2021-09-28 10:42:41

华为云 GaussDB

微服务架构下的分布式事务解决方案

微服务架构是一个分布式的系统，按业务进行划分为独立的服务单元，解决单体系统的不足，同时也满足越来越复杂的业务需求。每个微服务仅关注于完成一件任务并很好地完成该任务。

2021-09-28 09:43:11

微服务架构技术

聊聊Redis分布式锁的八大坑

在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。今天我们就一起聊聊redis分布式锁的一些坑，给有需要的朋友一个参考。

2021-09-26 09:16:45

Redis Geo 类型数据类型

基于 MaxCompute 分布式 Python 能力的大规模数据科学分析

Python的趋势是呈现上涨趋势，特别是在数据分析和数据科学领域，几乎是top one的编程语言。这是Python生态的发展趋势。当然，在数据分析数据科学机器学习这个领域，不只是有编程语言这一个因素。

2021-09-24 11:34:44

MaxCompute Python 数据分析

扬帆大数据时代，英特尔携手星环打造全闪存分布式数据库

近年来，星环科技与英特尔进行了广泛而深入的合作，不但持续在英特尔架构上优化大数据、云计算和人工智能产品，还合作加快第三代英特尔至强可扩展处理器的应用落地。

2021-09-23 16:10:06

数据库工具技术

超全面 Redis 分布式高可用方案：哨兵机制

开发工作中对于分布式缓存高可用方案（搭建 Redis 缓存高可用方案），Redis 主从架构下是如何保证高可用的呢？

2021-09-23 12:14:50

Redis 分布式优化

难言之隐，分布式存储软硬件解耦究竟难在哪里？

在较长一段时间内，分布式存储软硬件一体和软硬件解耦会长期共存。随着数据价值的增高，场景对数据可靠性的要求随之会越来越严苛，市场的天平就会更多偏向软硬件一体；与此相反，场景对数据可靠性的敏感度越低、短期成本敏感度越高，市场的天平就会更多的偏向软硬件解耦。

2021-09-18 10:51:09

分布式存储

聊聊分布式锁——Redis和Redisson的方式

synchronized 是用在方法或代码块中的，我们把它叫『线程锁』，线程锁的实现其实是靠线程之间共享内存实现的，说白了就是内存中的一个整型数，有空闲、上锁这类状态，比如 synchronized 是在对象头中的 Mark Word 有个锁状态标志，Lock 的实现类大部分都有个叫 volatile int state 的共享变量来做状态标志。

2021-09-17 07:51:24

Redisson Redis 分布式

用Go轻松完成一个XA分布式事务，保姆级教程

如果一个事务涉及的所有操作能够放在一个服务内部，那么使用各门语言里事务相关的库，可以轻松的实现多个操作作为整体的事务操作。

2021-09-14 13:55:15

Go 开发分布式

Redis分布式锁解决多进程/多线程下单个进程/单个线程运行

最近，有两台容器，当程序运行时，会发送多份通知，那么需要保证同一时刻只有一个进程(一台容器)来运行，此时用分布式锁解决该问题。

2021-09-10 21:25:43

Redis 分布式锁

机器学习分布式框架Ray

Ray是UC Berkeley RISELab新推出的高性能分布式执行框架，具有比Spark更优异的计算性能，而且部署和改造更简单，同时支持机器学习和深度学习的分布式训练，支持主流的深度学习框架。

2021-09-09 15:45:17

机器学习人工智能 Ray

EverDB之分布式执行计划

我们通过“EXPLAIN + SQL”指令可以详细地查看其执行计划，找到性能瓶颈，为我们优化SQL提供方向和依据。本文将从EverDB分布式数据库角度阐述执行计划。

2021-09-07 10:43:25

EverDB 分布式执行

用 Python 轻松完成一个 Saga 分布式事务

在这篇文章里，我们介绍了 SAGA 的理论知识，也通过一个例子，完整给出了编写一个 SAGA 事务的过程，涵盖了正常成功完成，异常情况，以及成功回滚的情况。

2021-09-07 09:26:13

Python 开发编程语言

哪种分布式事务处理方案效率最高？必然是...

在微服务系统中，服务之间的互相调用，我们可以使用 HTTP 的方式，例如 OpenFeign，也可以使用 RPC 的方式，例如 Dubbo，除了这些方案之外，我们也可以使用消息驱动，这是一种典型的响应式系统设计方案。

2021-09-03 10:37:35

分布式事务处理

Longhorn 云原生容器分布式存储 - Python Client

如果您在本地机器上运行自动化/脚本(automation/scripting)工具，请使用 kubectl port-forward 将 longhorn-frontend service 转发到 localhost。

2021-09-03 05:00:28

分布式存储云原生

照抄不翻车：抗住千万流量的大型分布式系统架构设计

本文是学习大型分布式网站架构的技术总结。对架构一个高性能、高可用、可伸缩及可扩展的分布式网站进行了概要性描述，并给出一个架构参考。文中一部分为读书笔记，一部分是个人经验总结，对大型分布式网站架构有较好的参考价值。

2021-09-02 10:37:53

分布式大型网站架构

分布式云选择移动工作负载可以提供什么优势？

云用户受益于将运行硬件和软件基础设施的责任转移给提供商。他们可以利用云弹性的经济性，并从云供应商的快速创新中获益。

2021-09-01 09:19:53

分布式云云计算云存储

分布式身份服务，权威隐私保护

互联网+的时代不断发展，可以说现在全球都是互联网的覆盖范围。大到各个国家的政策，小到每个个体的身份，都从线下转移到了线上。

2021-08-31 22:52:40

区块链互联网技术

华为云拉美发布十余款新品，覆盖分布式云、云原生、大数据、AI等领域

近期，华为云举办拉美两周年庆系列活动，并携手客户及伙伴分享数字化转型及智能升级实践经验。8月30日-9月3日，华为云逐步面向拉美首次发布智能边缘云IEC、智能边缘平台IEF、企业级云网络解决方案KYON、函数计算服务FunctionGraph2.0、多云容器平台MCP、应用服务网格ASM、容器安全服务CGS、GaussDB数据库、企业级AI开发平台ModelArts Pro、云视频服务等明星服务，覆盖分布式云、云原生、大数据、人工智能、音视频等领域。

2021-08-31 11:53:00

华为云云原生分布式云

简单的方式创建分布式应用程序

Ray 是基于 Python 的分布式计算框架，采用动态图计算模型，提供简单、通用的 API 来创建分布式应用。使用起来很方便，你可以通过装饰器的方式，仅需修改极少的的代码，让原本运行在单机的 Python 代码轻松实现分布式计算，目前多用于机器学习。

2021-08-30 20:19:55

HarmonyOSJS分布式能力—学习笔记

JS也是具有分布式能力的，本文就以两个小项目来分享JS的分布式拉起和分布式迁移♪(∇*),分布式拉起允许拉起一个本地或远程的FA，拉起时可以传递参数。

2021-08-30 18:36:33

鸿蒙 HarmonyOS 应用

阿里二面：Redis分布式锁过期了但业务还没有执行完，怎么办

我们使用了redis的分布式锁。具体做法是后端接收到请求后加入一个分布式锁，如果加锁成功，就执行业务，如果加锁失败就等待锁或者拒绝请求。业务执行完成后释放锁。

2021-08-30 18:20:58

Redis 分布式锁面试

主流关系型分布式数据库选型与设计实战

笔者最早是作为MySQL DBA入行，从事了5年分布式数据库运维、自动化开发的工作，在大规模数据库集群的管理方面积累了经验

2021-08-30 11:21:03

数据库工具技术

分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践

以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。

2021-08-30 10:28:09

Flink Spark on k8 分布式

Longhorn云原生容器分布式存储-Air Gap安装

Longhorn 可以通过使用 manifest file、Helm chart 或 Rancher UI 安装在 air gapped 环境中。

2021-08-29 23:53:32

存储 Air Gap 安装

Longhorn，企业级云原生容器分布式存储 - 定制部署默认设置

您可以在部署 Longhorn 时自定义它的默认设置。例如，您可以在启动 Longhorn 之前指定 Create Default Disk With Node Labeled(创建带有节点标签的默认磁盘) 和 Default Data Path(默认数据路径)。

2021-08-28 05:04:19

存储云原生分布式

HarmonyOS基础技术赋能之分布式数据服务功能

分布式数据服务(Distributed Data Service，DDS) 为应用程序提供不同设备间数据库数据分布式的能力。通过调用分布式数据接口，应用程序将数据保存到分布式数据库中。

2021-08-27 09:57:18

鸿蒙 HarmonyOS 应用

Longhorn，企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载

Longhorn 通过 NFSv4 服务器(share-manager)公开常规 Longhorn 卷，原生支持 RWX 工作负载。

2021-08-26 23:54:46

分布式存储负载

大数据之分布式协调神器：Zookeeper选举

分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。

2021-08-26 08:03:30

大数据 Zookeeper 选举

万字长文说透分布式锁

“分布式锁”这个问题快被说烂了，奈何笔者实在没有找到一个满意的答案，故记录自己寻找答案、总结的过程。分布式锁的设计涉及了许多分布式系统相关的问题，许多地方值得推敲，非常有意思。

2021-08-26 05:02:50

分布式锁设计

Longhorn，企业级云原生容器分布式存储 - 高可用

数据局部性设置(data locality setting)旨在在以下情况下启用：只要有可能，至少应在与使用该卷的 pod 相同的节点上调度 Longhorn 卷的一个副本。我们将拥有本地副本的特性称为具有 data locality。

2021-08-26 00:23:14

分布式存储高可用

Longhorn，企业级云原生容器分布式存储之备份与恢复

Longhorn 提供了 allow-recurring-job-while-volume-detached 设置，即使卷已分离，您也可以进行周期性备份(recurring backup)。您可以在 Longhorn UI 中找到该设置。

2021-08-25 05:05:26

存储备份恢复

HarmonyOS Sample 之 DistributedMusicPlayer分布式音乐播放器

本示例主要演示了如何通过迁移数据进行音乐的分布式播放。实现了音乐播放的跨设备迁移，包括：播放哪首歌曲、播放进度、以及播放状态的保持。

2021-08-24 15:13:06

鸿蒙 HarmonyOS 应用

Longhorn，企业级云原生容器分布式存储之监控

Longhorn 在 REST 端点 http://LONGHORN_MANAGER_IP:PORT/metrics 上以 Prometheus 文本格式原生公开指标。有关所有可用指标的说明，请参阅 Longhorn's metrics。

2021-08-24 05:02:34

云原生容器分布式

Web3.0时代区块链分布式存储的作用和影响

如何确保数据拥有足够存储空间，如何保障数据安全，提升传输速度无疑是重中之重。今天我们从全新视角讲述“Web3.0时代区块链分布式存储的价值和意义”。

2021-08-20 20:16:08

区块链 Web3.0 分布式存储

上一页 1 ··· 3 4 5 6 7 ··· 29 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营