鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

分布式

1357内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1357 条

分布式缓存的高可用方案，我们都是这么做的

我们讲到了当我们的系统面临持续增加的并发给我们的数据库磁盘IO带了了性能瓶颈，特此为我们的系统引入了缓存，并且学习了我们在开发中该怎么去正确的使用缓存的读写策略，同时结合案例给出一些建议防止数据不一致的情况，那我们的系统现在就是这样的架构了。

2019-12-04 14:59:01

分布式缓存高可用

浅谈分布式存储系统的数据分布算法，来了解一下吧！

无论上层接口是 KV 存储、对象存储、块存储、亦或是列存储，在这个问题上大体是一致的。本文将介绍如何分布式存储系统中做数据分布目标及可选的方案，并试着总结和权衡他们之间的关系及。

2019-11-27 11:27:52

分布式存储系统

十分钟看懂分布式架构的前世今生

对于每一个程序员来说，大家一听分布式架构，一般第一反应都是，高端霸气上档次。例如阿里巴巴的各个系统都部署在不同的机器上，并且还分布在杭州、上海、深圳等不同的服务器上。华为的服务器也会分布在世界不同的区域，从而保证满足全球用户的使用。

2019-11-25 09:32:26

软件程序员数据结构

华为GaussDB数据库推出双分布式架构，打造金融核心智能生产交易解决方案

在2019全球数据基础设施论坛金融峰会上，华为发布GaussDB OLTP数据库双分布式新架构。基于该创新架构与原创内核，华为面向金融行业核心生产交易系统，提供数据库产品与金融解决方案，保证金融核心数据实时可靠处理。

2019-11-21 16:51:59

数据库 GaussDB 华为

深入浅出百亿请求高可用Redis(codis)分布式集群揭秘

本文主要讲解codis是如何做到对业务无感知，平滑迁移，迁移性能高，迁移异常处理，高可用以及常见的redis的避坑指南。

2019-11-21 10:25:28

分布式架构系统

区块链的颠覆力量之四：分布式智能身份认证系统

之前的文章中，我们已经阐述了政府信息管理中如果引入区块链的方式，但在日常生活中，我们最难处理的可能并不是这种复杂的事件，而是最基础的个人身份确认问题。

2019-11-20 15:34:16

区块链金融去中心化

全面讲解分布式数据库架构设计特点原创

数据库作为基础软件中的重要一环有着很深的技术含量，在这样的大背景下国产数据库厂商开始发力，这其中分布式数据库如雨后春笋般出现，良性的竞争环境使它们都得到了长足的发展，其中不乏优秀的产品，本文主要挑选目前几个相对成熟数据库进行架构特点介绍。

2019-11-19 09:00:00

数据库架构设计

关于Zookeeper的分布式事务，你懂吗？

事务提供一种机制将一个活动涉及的所有操作纳入到一个不可分割的执行单元，组成事务的所有操作只有在所有操作均能正常执行的情况下方能提交，只要其中任一操作执行失败，都将导致整个事务的回滚。

2019-11-19 08:47:45

Zookeeper 分布式事务

深度剖析阿里数据库内核：基于HLC的分布式事务实现

分布式事务是分布式数据库最难攻克的技术之一，分布式事务为分布式数据库提供一致性数据访问的支持，保证全局读写原子性和隔离性，提供一体化分布式数据库的用户体验。

2019-11-19 08:32:26

数据库 HLC 事务

看大数据大佬手把手带你实现基于Zookeeper、Redis的分布式锁

在分布式系统中，分布式锁是为了解决多实例之间的同步问题。例如master选举，能够获取分布式锁的就是master，获取失败的就是slave。又或者能够获取锁的实例能够完成特定的操作。

2019-11-18 14:16:10

Zookeeper Redis 大数据

深入解析：分布式系统的事务处理经典问题及模型

数据服务的高可用是所有企业都想拥有的，但是要想让数据有高可用性，就需要冗余数据写多份。写多份的问题会带来一致性的问题，而一致性的问题又会带来性能问题，这就会陷入一个无解的死循环!这里所谓数据一致性，就是当多个用户试图同时访问一个数据库时，如果它们的事务同时使用相同的数据，可能会发生以下四种情况：丢失更新、未确定的相关性、不一致的分析和幻像读。

2019-11-18 10:19:02

分布式系统事务模型

实现最简单的分布式任务调度框架

前段时间，公司要改造现有的单节点调度为分布式任务调度，然后就研究了目前市面上主流的开源分布式任务调度框架，用起来就一个感觉：麻烦!特别是之前在一个类里写了好多个调度任务，改造起来更加麻烦。

2019-11-15 10:16:27

分布式任务框架

如何设计一个优秀的分布式系统？重要因素、工具、策略都在这里

快速应用程序开发和分布式系统部署的指南，是从“慢慢来”开始的。最明智的做法就是先计划好你要去哪里，你要做什么，否则你很可能最终没能达成目标、开发预算耗尽并且毫无成果。

2019-11-14 08:44:11

分布式系统策略

聊聊分布式定时任务elastic-job作业分片策略

在实际开发种常会遇到需要定时跑批，定时每天执行一次对账操作等场景。分布式定时任务不仅解决了以上难题，还提供了分片处理提高处理效率、分布式调度协调、弹性扩容缩容、失效转移等优点。

2019-11-12 09:32:39

分布式 elastic-job 分片

分布式架构是数据中心的未来吗？

本文分析了传统集中式数据中心和分布式架构数据中心的主要区别，探索了未来数据中心架构发展的趋势。

2019-11-06 09:05:43

云计算数据中心网络安全

区块链与课堂：通过分布式分类账技术改善教育质量

金融、物流乃至法律领域，都将在区块链技术具体应用的驱动下有所改进。但在人们的关注视野之外，教育行业实际上也有望得到区块链的有力支持。

2019-11-05 15:32:02

区块链教育

Elasticsearch分布式架构原理，我们真的需要知道，很重要

Elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器(横向扩展(horizontal scale or scaling out))。

2019-11-04 08:54:53

Elasticsear 分布式架构

详解三种主流分布式事务方案的优劣

在电商领域等互联网场景下，传统的事务在数据库性能和处理能力上都暴露出了瓶颈。柔性事务有两个特性：基本可用和柔性状态。

2019-11-04 08:38:45

分布式事务主流 TCC

阿里云通过分布式块存储国家标准认证

近日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。

2019-10-29 14:22:44

阿里云云计算认证测试

玩了分布式这么久,你不会连Kafka都不清楚吧

Kafka 现在在企业和互联网项目中的应用越来越多了，本篇文章就从 Kafka 的基础开始带你一展 Kafka 的宏图。

2019-10-29 09:41:54

Kafka 分布式分布式

分布式技术“上位”进行时

分布式技术，作为一种专门针对海量数据场景的解决方案，就成为了一剂“特效药”。在基础“疗效”之外，更关键的是，技术本身还埋藏着交给未来的“彩蛋”。

2019-10-28 10:10:01

技术研发分布式

详解Oracle数据库分布式事务ORA-01591错误解决方法

最近在update某张表时突然提示了个比较少见的错误，ORA-01591,这个问题跟平时的锁还有点不一样，下面一起来看看吧。

2019-10-27 23:10:33

Oracle 数据库分布式事务

超详细的微服务分布式架构统一配置中心选型对比

由于目前新项目基本是微服务架构，大概有几十个项目，都是基于LCP平台研发的，而每次平台上修改配置，各个项目也都需要去修改配置，然后还要重启，况且是三套环境，维护起来特别麻烦，所以准备做一个统一的配置中心。

2019-10-24 11:17:57

架构运维技术

Gartner 2020年十大战略性技术趋势：超级自动化、分布式云、AI安全等

超级自动化、区块链、AI安全、分布式云和自主设备在加快颠覆，并为今年的战略性技术趋势创造了机会。

2019-10-23 16:30:53

Gartner 科技技术

从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程

大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

2019-10-21 12:09:26

腾讯大数据数据库

终于有人把“分布式事务”说清楚了！

一个复杂的系统往往都是从一个小而简的系统发展衍化而来，为了满足日益增长的业务需求，不断的增加系统的复杂度，从单体架构逐步发展为分布式架构，而分布式系统架构的设计主要关注：高性能，高可用，高拓展。

2019-10-21 08:51:41

分布式事务 CAP AP

Java 多线程爬虫及分布式爬虫架构探索

这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。

2019-10-16 17:07:36

Java 服务器架构

分布式及高可用元数据采集原理

元数据采集是元数据产品的核心部分，如何提升采集效率是需要仔细斟酌的事情，既要保持稳定性也要保持跟上主流技术的发展趋势。元数据产品从最初集中式WEB应用系统到现在流行的分布式、微服务这种系统架构，原有元数据采集效率已不能满足应用的需求了。

2019-10-16 10:34:33

数据库大数据脚本语言

支撑现代分布式存储系统的算法

随着应用程序处理的数据量不断增长，扩展存储变得愈发具有挑战性。每个数据库系统都有自己的方案。为了从这些方案中做出正确的选择，了解它们是至关重要的。

2019-10-15 10:59:43

分布式存储系统

区块链与分布式账本技术是一回事吗？

随着以比特币为代表的加密货币的兴起，“区块链”的概念也成了人们热衷讨论的话题。但与区块链类似的另一个概念“分布式账本技术”却没有得到同等程度的关注。

2019-10-12 10:40:32

区块链数字货币比特币

图解分布式一致性算法

今天的文章，咱们会通过图的方式，来深入学习和理解分布式一致性的实现原理。

2019-10-11 23:27:19

分布式一致性算法开发

Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务

分布式数据库是数据库拆分后的最后方法，只有在单表规模非常庞大的时候才使用，更常用的数据库拆分手段是业务分库，将不同业务的数据库部署在不同的机器上。

2019-10-10 09:16:34

Zookeeper 架构分布式

一次跨行取款失败，而引发对分布式事务的思考

不知道大家有没有遇到这样的情况，就是去自动取款机取钱的时候，比如说你去取1000块钱，这个时候系统会先帮你把1000块钱扣除，然后自动取款机再把钱吐出来。但是如果取款机出现问题，会发现钱被扣了，但是钱没有取出来。在这个事情中，引发了一个对于数据一致性的思考

2019-10-09 11:42:10

分布式取钱异步流程

详解分布式事务XA实现数据一致性的协议与原理--2PC与3PC

大型业务系统有着用户多、并发高的特点，而在这方面，集中式数据库(单机数据库)的性能很难支持，因此主流的互联网公司往往采用分布式(架构)数据库，物理上利用更多的低端设备，逻辑上对大表水平拆分支撑业务的需要。

2019-10-09 08:41:49

一个简单的算法，分布式系统的性能瞬间被提升10倍以上

这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化?先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗?

2019-10-08 14:22:43

分布式 HDFS 算法

Gartner发布2019分布式文件和对象存储魔力象限

在十一黄金假期期间，Gartner发布了2019年底的分布式文件和对象存储魔力象限。反正美国也不放假，我也不能放假，给大家做一个解读。

2019-10-08 11:57:04

Gartner 科技技术

从SOA到微服务，企业分布式应用架构在云原生时代如何重塑？

从十余年前的各种分布式系统研发到现在的容器云，从支撑原有业务到孵化各个新业务，企业的发展离不开统一的、与时俱进的技术架构。

2019-10-08 11:04:44

SOA 微服务架构

Hadoop之完全分布式集群

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墙

Vera：一种基于区块链和分布式账本技术的开放式P2P协议

最近区块链和分布式账本技术的创新为连接商业生态系统提供了去中心化的手段，从而实现了高效、无摩擦的数字经济。

2019-09-26 14:45:41

Vera 区块链分布式

服务端高并发分布式架构演进之路

本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。

2019-09-25 09:01:53

高并发架构分布式

数据中心分布式调度超人：DCOS—带你走进拔地而起的数据之城

根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。

2019-09-23 17:36:27

分布式计算鼻祖BOINC：你的电脑也能和外星文明接触

可曾想有一天，在你屋脚处沉默的那台个人电脑，可以解码艾滋病、破译癌症，甚至找到地外文明存在的证据？

2019-09-19 10:00:06

互联网数据技术

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

分布式系统如何设计？看Elasticsearch是怎么做的

分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。

2019-09-10 09:25:27

分布式系统 Elasticsear

什么是分布式事务，以及有哪些解决方案？

当数据库单表数据达到千万级别，就要考虑分库分表，那么就会从原来的一个数据库变成多个数据库。例如如果一个操作即操作了01库，又操作了02库，而且又要保证数据的一致性，那么就要用到分布式事务。

2019-09-09 10:09:51

分布式事务数据库

分布式ID生成之雪花算法

分布式唯一ID的方案有很多，本文主要讨论了雪花算法，组成结构大致分为了无效位、时间位、机器位和序列号位。

2019-09-05 13:06:08

雪花算法分布式 ID

分布式消息系统的设计要点

分布式缓存方面，redis勇夺花魁。但对于消息队列mq来说，还处于百花齐放的年代。缓存系统，基本上解决一个存取问题，就万事大吉了，调用是同步的。

2019-09-05 09:02:45

消息系统缓存高可用

微服务分布式一致性模式

分布式强一致的数据库不能解决业务逻辑拆分带来的分布式一致性问题，我们还得继续纠结如何解决业务分布式一致性的问题。

2019-09-05 08:43:34

微服务分布式一致性数据共享

基于分布式系统的7种唯一ID实现方案，值得收藏

系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。

2019-09-03 09:22:08

数据库 Redis 算法

资深架构师技术分享：一文详解分布式系统的分区

数据的复制是冗余的过程,冗余会增加可用性,并且可以有效均衡读取负载。而数据的分区是一个整体转换为局部的过程,这种拆解就像你拥有大量图书,但你的书架放不下,所以需要再加几个书架存储是一个道理。

2019-08-27 11:00:38

技术数据库设计

上一页 1 ··· 10 11 12 13 14 ··· 28 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营