直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

分布式

1344内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1344 条

如何设计一个优秀的分布式系统？重要因素、工具、策略都在这里

快速应用程序开发和分布式系统部署的指南，是从“慢慢来”开始的。最明智的做法就是先计划好你要去哪里，你要做什么，否则你很可能最终没能达成目标、开发预算耗尽并且毫无成果。

2019-11-14 08:44:11

分布式系统策略

聊聊分布式定时任务elastic-job作业分片策略

在实际开发种常会遇到需要定时跑批，定时每天执行一次对账操作等场景。分布式定时任务不仅解决了以上难题，还提供了分片处理提高处理效率、分布式调度协调、弹性扩容缩容、失效转移等优点。

2019-11-12 09:32:39

分布式 elastic-job 分片

分布式架构是数据中心的未来吗？

本文分析了传统集中式数据中心和分布式架构数据中心的主要区别，探索了未来数据中心架构发展的趋势。

2019-11-06 09:05:43

云计算数据中心网络安全

区块链与课堂：通过分布式分类账技术改善教育质量

金融、物流乃至法律领域，都将在区块链技术具体应用的驱动下有所改进。但在人们的关注视野之外，教育行业实际上也有望得到区块链的有力支持。

2019-11-05 15:32:02

区块链教育

Elasticsearch分布式架构原理，我们真的需要知道，很重要

Elasticsearch用于构建高可用和可扩展的系统。扩展的方式可以是购买更好的服务器(纵向扩展(vertical scale or scaling up))或者购买更多的服务器(横向扩展(horizontal scale or scaling out))。

2019-11-04 08:54:53

Elasticsear 分布式架构

详解三种主流分布式事务方案的优劣

在电商领域等互联网场景下，传统的事务在数据库性能和处理能力上都暴露出了瓶颈。柔性事务有两个特性：基本可用和柔性状态。

2019-11-04 08:38:45

分布式事务主流 TCC

阿里云通过分布式块存储国家标准认证

近日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。

2019-10-29 14:22:44

阿里云云计算认证测试

玩了分布式这么久,你不会连Kafka都不清楚吧

Kafka 现在在企业和互联网项目中的应用越来越多了，本篇文章就从 Kafka 的基础开始带你一展 Kafka 的宏图。

2019-10-29 09:41:54

Kafka 分布式分布式

分布式技术“上位”进行时

分布式技术，作为一种专门针对海量数据场景的解决方案，就成为了一剂“特效药”。在基础“疗效”之外，更关键的是，技术本身还埋藏着交给未来的“彩蛋”。

2019-10-28 10:10:01

技术研发分布式

详解Oracle数据库分布式事务ORA-01591错误解决方法

最近在update某张表时突然提示了个比较少见的错误，ORA-01591,这个问题跟平时的锁还有点不一样，下面一起来看看吧。

2019-10-27 23:10:33

Oracle 数据库分布式事务

超详细的微服务分布式架构统一配置中心选型对比

由于目前新项目基本是微服务架构，大概有几十个项目，都是基于LCP平台研发的，而每次平台上修改配置，各个项目也都需要去修改配置，然后还要重启，况且是三套环境，维护起来特别麻烦，所以准备做一个统一的配置中心。

2019-10-24 11:17:57

架构运维技术

Gartner 2020年十大战略性技术趋势：超级自动化、分布式云、AI安全等

超级自动化、区块链、AI安全、分布式云和自主设备在加快颠覆，并为今年的战略性技术趋势创造了机会。

2019-10-23 16:30:53

Gartner 科技技术

从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程

大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

2019-10-21 12:09:26

腾讯大数据数据库

终于有人把“分布式事务”说清楚了！

一个复杂的系统往往都是从一个小而简的系统发展衍化而来，为了满足日益增长的业务需求，不断的增加系统的复杂度，从单体架构逐步发展为分布式架构，而分布式系统架构的设计主要关注：高性能，高可用，高拓展。

2019-10-21 08:51:41

分布式事务 CAP AP

Java 多线程爬虫及分布式爬虫架构探索

这是 Java 爬虫系列博文的第五篇，在上一篇 Java 爬虫服务器被屏蔽，不要慌，咱们换一台服务器中，我们简单的聊反爬虫策略和反反爬虫方法，主要针对的是 IP 被封及其对应办法。前面几篇文章我们把爬虫相关的基本知识都讲的差不多啦。这一篇我们来聊一聊爬虫架构相关的内容。

2019-10-16 17:07:36

Java 服务器架构

分布式及高可用元数据采集原理

元数据采集是元数据产品的核心部分，如何提升采集效率是需要仔细斟酌的事情，既要保持稳定性也要保持跟上主流技术的发展趋势。元数据产品从最初集中式WEB应用系统到现在流行的分布式、微服务这种系统架构，原有元数据采集效率已不能满足应用的需求了。

2019-10-16 10:34:33

数据库大数据脚本语言

支撑现代分布式存储系统的算法

随着应用程序处理的数据量不断增长，扩展存储变得愈发具有挑战性。每个数据库系统都有自己的方案。为了从这些方案中做出正确的选择，了解它们是至关重要的。

2019-10-15 10:59:43

分布式存储系统

区块链与分布式账本技术是一回事吗？

随着以比特币为代表的加密货币的兴起，“区块链”的概念也成了人们热衷讨论的话题。但与区块链类似的另一个概念“分布式账本技术”却没有得到同等程度的关注。

2019-10-12 10:40:32

区块链数字货币比特币

图解分布式一致性算法

今天的文章，咱们会通过图的方式，来深入学习和理解分布式一致性的实现原理。

2019-10-11 23:27:19

分布式一致性算法开发

Zookeeper技术：分布式架构详解、分布式技术详解、分布式事务

分布式数据库是数据库拆分后的最后方法，只有在单表规模非常庞大的时候才使用，更常用的数据库拆分手段是业务分库，将不同业务的数据库部署在不同的机器上。

2019-10-10 09:16:34

Zookeeper 架构分布式

一次跨行取款失败，而引发对分布式事务的思考

不知道大家有没有遇到这样的情况，就是去自动取款机取钱的时候，比如说你去取1000块钱，这个时候系统会先帮你把1000块钱扣除，然后自动取款机再把钱吐出来。但是如果取款机出现问题，会发现钱被扣了，但是钱没有取出来。在这个事情中，引发了一个对于数据一致性的思考

2019-10-09 11:42:10

分布式取钱异步流程

详解分布式事务XA实现数据一致性的协议与原理--2PC与3PC

大型业务系统有着用户多、并发高的特点，而在这方面，集中式数据库(单机数据库)的性能很难支持，因此主流的互联网公司往往采用分布式(架构)数据库，物理上利用更多的低端设备，逻辑上对大表水平拆分支撑业务的需要。

2019-10-09 08:41:49

一个简单的算法，分布式系统的性能瞬间被提升10倍以上

这篇文章，给大家聊聊分布式文件系统HDFS在大量客户端并发写数据时，如何进行性能优化?先引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，这个事儿能成吗?

2019-10-08 14:22:43

分布式 HDFS 算法

Gartner发布2019分布式文件和对象存储魔力象限

在十一黄金假期期间，Gartner发布了2019年底的分布式文件和对象存储魔力象限。反正美国也不放假，我也不能放假，给大家做一个解读。

2019-10-08 11:57:04

Gartner 科技技术

从SOA到微服务，企业分布式应用架构在云原生时代如何重塑？

从十余年前的各种分布式系统研发到现在的容器云，从支撑原有业务到孵化各个新业务，企业的发展离不开统一的、与时俱进的技术架构。

2019-10-08 11:04:44

SOA 微服务架构

Hadoop之完全分布式集群

首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射

2019-09-26 15:43:52

Hadoop 集群防火墙

Vera：一种基于区块链和分布式账本技术的开放式P2P协议

最近区块链和分布式账本技术的创新为连接商业生态系统提供了去中心化的手段，从而实现了高效、无摩擦的数字经济。

2019-09-26 14:45:41

Vera 区块链分布式

服务端高并发分布式架构演进之路

本文以淘宝作为例子，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。

2019-09-25 09:01:53

高并发架构分布式

数据中心分布式调度超人：DCOS—带你走进拔地而起的数据之城

根据对适合构建DCOS的各种技术架构的评估，选择以Mesos为基础的方案。优点是成熟度高、两级调度框架、适合多种应用场景、混合部署、应用与平台耦合度低。

2019-09-23 17:36:27

分布式计算鼻祖BOINC：你的电脑也能和外星文明接触

可曾想有一天，在你屋脚处沉默的那台个人电脑，可以解码艾滋病、破译癌症，甚至找到地外文明存在的证据？

2019-09-19 10:00:06

互联网数据技术

利用Kafka设置可靠的高性能分布式消息传递基础架构

Apache Kafka 已成为构建基于事件的高度可扩展系统的首选解决方案。Kafka 可为事件流平台提供快速升级换代的功能，以供开发者在现代化业务解决方案中使用。

2019-09-12 08:50:37

Kafka 分布式系统服务器

分布式系统如何设计？看Elasticsearch是怎么做的

分布式系统类型多，涉及面非常广，不同类型的系统有不同的特点，批量计算和实时计算就差别非常大。

2019-09-10 09:25:27

分布式系统 Elasticsear

什么是分布式事务，以及有哪些解决方案？

当数据库单表数据达到千万级别，就要考虑分库分表，那么就会从原来的一个数据库变成多个数据库。例如如果一个操作即操作了01库，又操作了02库，而且又要保证数据的一致性，那么就要用到分布式事务。

2019-09-09 10:09:51

分布式事务数据库

分布式ID生成之雪花算法

分布式唯一ID的方案有很多，本文主要讨论了雪花算法，组成结构大致分为了无效位、时间位、机器位和序列号位。

2019-09-05 13:06:08

雪花算法分布式 ID

分布式消息系统的设计要点

分布式缓存方面，redis勇夺花魁。但对于消息队列mq来说，还处于百花齐放的年代。缓存系统，基本上解决一个存取问题，就万事大吉了，调用是同步的。

2019-09-05 09:02:45

消息系统缓存高可用

微服务分布式一致性模式

分布式强一致的数据库不能解决业务逻辑拆分带来的分布式一致性问题，我们还得继续纠结如何解决业务分布式一致性的问题。

2019-09-05 08:43:34

微服务分布式一致性数据共享

基于分布式系统的7种唯一ID实现方案，值得收藏

系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。

2019-09-03 09:22:08

数据库 Redis 算法

资深架构师技术分享：一文详解分布式系统的分区

数据的复制是冗余的过程,冗余会增加可用性,并且可以有效均衡读取负载。而数据的分区是一个整体转换为局部的过程,这种拆解就像你拥有大量图书,但你的书架放不下,所以需要再加几个书架存储是一个道理。

2019-08-27 11:00:38

技术数据库设计

分布式服务限流实战，已经为你排好坑了

由于API接口无法控制调用方的行为，因此当遇到瞬时请求量激增时，会导致接口占用过多服务器资源，使得其他请求响应速度降低或是超时，更有甚者可能导致服务器宕机。

2019-08-27 08:30:19

分布式服务限流

为什么分布式网络是一种新兴趋势？

在集中式网络中，有一个集中点，它可以是服务器，网络中的所有数据都必须通过它才能在不同的计算机或者设备之间进行分发。

2019-08-27 07:40:47

分布式网络互联网集中式网络

混合多云成趋势技术应用该走分布式

企业用多云已成为定局，而客户要在不同供应商之间的跨云平台做IT管理变得困难起来，到底是传统集中式的单兵作战，还是分布协作式的团队作战，各有分工的分布式可以简化多云的应用。

2019-08-23 09:43:58

混合多云存储架构分布式

技术干货总结：分布式系统常见同步机制

分布式系统为保证数据高可用，需要为数据保存多个副本，随之而来的问题是如何在不同副本间同步数据？不同的同步机制有不同的效果和代价，本文尝试对常见分布式组件的同步机制做一个小结。

2019-08-22 14:30:21

技术 Redis 设计

分布式系统你会设计了吗？不会阿里架构师来教你设计

无法设计一种分布式协议，使得完全具备CAP三个属性。永远只能介于三者之间折中。理论的意义是：不要妄想设计完美的分布式系统。

2019-08-22 10:54:05

分布式系统架构

数据库 | 分布式事务的实现原理详解

事务是数据库系统中非常有趣也非常重要的概念，它是数据库管理系统执行过程中的一个逻辑单元，它能够保证一个事务中的所有操作要么全部执行，要么全不执行;在 SOA 与微服务架构大行其道的今天，在分布式的多个服务中保证业务的一致性就需要我们实现分布式事务。

2019-08-19 10:24:33

分布式事务数据库

华为EMUI10深度解密：分布式技术能力、开放与工具链

EMUI通过元能力实现服务跨设备间调用、迁移，通过分布式综合信息感知平台实现外部设备服务的本地虚拟化、用户与设备的自然感知交互，从而构筑分布式多终端协同的能力。

2019-08-15 08:50:53

EMUI EMUI 10 华为

四种分布式数据库场景选型、优缺点对比分析和未来展望

近年来，随着国际信息安全形式的日益严峻，国家信息安全策略逐步深入。因此，一行两会连续针对金融业数据库技术受制于人的严峻形势出台了相关政策，以满足构建安全可靠可控的信息技术体系的要求。

2019-08-14 11:08:01

数据库场景选型

亿级Web系统搭建：单机到分布式集群

当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。

2019-08-12 16:07:32

Web 系统集群

详解美团点评分布式数据访问层中间件MTDDL

2016年Q3季度初，在美团外卖上单2.0项目上线后，商家和商品数量急速增长，预估商品库的容量和写峰值QPS会很快遇到巨大压力。随之而来也会影响线上服务的查询性能、DB（数据库，以下统一称DB）主从延迟、表变更困难等一系列问题。

2019-08-12 11:00:59

美团网 MySQL 数据库

华为发布全新分布式鸿蒙OS 打造全场景智慧生活新体验

华为消费者业务今天在其全球开发者大会上正式向全球发布其全新的基于微内核的面向全场景的分布式操作系统——鸿蒙OS，将着力构建一个跨终端的融合共享生态，重塑安全可靠的运行环境，为消费者打造全场景智慧生活新体验。

2019-08-09 10:16:30

鸿蒙OS 华为智慧生活

分布式服务限流实战，已经为你排好坑了

由于API接口无法控制调用方的行为，因此当遇到瞬时请求量激增时，会导致接口占用过多服务器资源，使得其他请求响应速度降低或是超时，更有甚者可能导致服务器宕机。

2019-08-08 09:57:53

分布式服务限流

上一页 1 ··· 10 11 12 13 14 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营