51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

分布式

1417内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1417 条
基于Zookeeper的分布式锁
实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。

2017-10-24 11:28:23

Zookeeper分布式锁架构
如何学习分布式系统？一文全Get！
本文将从基本概念、架构并结合自己学习工作中的感悟，阐述如何学习分布式系统。由于分布式系统理论体系非常庞大，知识面非常广博，笔者能力有限，不足之处，欢迎讨论交流。

2017-10-20 13:39:29

分布式系统数据存储数据量
分布式数据库数据一致性原理说明与实现
分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。

2017-10-19 18:37:57

数据库分布式数据库一致性原理
分布式存储系统HBase的架构
HBase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。

2017-10-19 08:45:15

存储系统HBase
区块链与分布式账本达到“生产成熟期”预计仍需5至10年
Gartner副总裁兼杰出分析师Donald Feinberg表示：“在迈向数字化业务的过程中，数据管理仍会处在核心地位。随着组织架构的要求发生变化以及对相关技术的需求逐渐加大，技术成熟度曲线中所强调的多项技术的成熟度与功能将迅猛发展。

2017-10-17 09:53:06

区块链分布式数据
大规模分布式存储系统-分布式文件系统
分布式文件系统是分布式存储系统(键值系统、表格系统、数据库系统)的底层基础部件，其所起的主要功能有两个：一个是存储文档、图像、视频之类的Blob类型数据;另外一个是作为分布式表格系统的持久化层。

2017-10-17 08:33:31

存储系统分布式
分布式日志存储系统-LogDevice
做过分布式系统的人都知道，想要在大规模集群下处理高并发事务时同时满足CAP(一致性、可用性、分区容错)，从理论上来说不可能，当然听说最近谷歌已经实现了这样的分布式系统，但是总的来说确实非常难。

2017-10-16 10:24:47

LogDevice存储系统
分布式存储系统的能力纵谈
除了异常之外，还存在“超时”状态，RPC执行的结果有三种状态：“成功”、“失败”、“超时”(未知状态)，也称为分布式存储系统的三态。

2017-10-12 09:36:54

分布式存储系统
一个高性能、轻量级的分布式内存队列系统--beanstalk
Beanstalk是一个高性能、轻量级的、分布式的、内存型的消息队列系统。最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟。其实Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格。

2017-10-11 16:12:19

内存
分布式数据集SparkRDD的依赖与缓存
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。

2017-09-27 10:53:53

分布式数据集SparkRDD
漫谈分布式集群的负载均衡—口水篇
为了理解分布式集群这个概念，我们先说说这两个概念：“集群”和“分布式”。艺术来源于生活，计算机科学亦是如此。我们先通过例子，来了解一下现实生活中的“集群”和“分布式”。

2017-09-26 15:24:48

分布式集群均衡
分布式系统一致性保障方案总结
本文重点来阐述下关于一致性的方案，包括强一致性和最终一致性。 而在互联网领域， 很多情况下都是牺牲强一致性，来达到高可用性， 系 统往往只需要保证“最终一致性”，只要这个最终时间是在用户可以接受的范围内即可。

2017-09-22 12:08:01

数据库分布式系统互联网
测试分布式系统的线性一致性
正确实现一个分布式系统是非常有挑战的一件事情，因为需要很好的处理并发和失败这些问题。网络包可能被延迟，重复，乱序或者丢弃，机器可能在任何时候宕机。即使一些设计被论文证明是正确的，也仍然很难再实现中避免 bug。

2017-09-21 10:59:36

分布式系统线性一致性测试
HBase原理 – 分布式系统中Snapshot是怎么玩的？
一个snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝，拷贝的这段时间不允许对原数据进行任何形式的更新删除，仅提供只读操作，拷贝完成之后再释放锁。这种方式涉及数据的实际拷贝，数据量大的情况下必然会花费大量时间，长时间的加锁拷贝必然导致客户端长时间不能更新删除。

2017-09-19 14:13:53

Snapshot数据库HBase
微服务架构下处理分布式事务，你必须知道的事儿
根据微服务架构的鼻祖 Martin Fowler 的忠告，微服务架构中应当尽量避免分布式事务。然而，在某些领域，分布式事务如同宿命中的对手无法避免。

2017-09-19 09:36:24

微服务架构分布式
CoCoA：大规模机器学习的分布式优化通用框架
CoCoA 是一个通用分布式优化框架，可以在分布式集群中实现通信高效的原始-对偶优化。它的方式是利用对偶性将全局目标分解成局部二次近似子问题，而这些子问题可以使用架构师选择的任意当前最佳的单机求解器并行地求解到任意准确度。

2017-09-11 15:19:05

CoCoA机器学习分布式
小白科普：分布式和集群
以下是分布式和集群，希望对大家有所帮助。

2017-09-11 15:17:01

分布式集群负载均衡
一文教你迅速解决分布式事务 XA 一致性问题
众所周知，一个事务所做的更新，分布式数据库系统内部多个独立的数据节点完成(每个节点的本地事务是这个全局事务的一个事务分支)，在这样一个全局事务提交期间，有可能某些事务分支无法成功提交。

2017-09-04 14:46:10

分布式事务问题
大规模分布式存储系统原理与架构
分布式存储系统是大量普通 PC 服务器通过 Internet 互联，对外作为一个整体提供存储服务

2017-09-04 08:49:17

存储原理架构
从分布式计算到分布式训练
模型的分布式，相对于其他分布式计算会困难许多，首先模型依赖于数据，而模型本身的计算又要依赖于GPU，那么要如何将数据和计算能力结合？

2017-09-01 05:35:58

分布式计算存储
浅谈分布式消息系统 Kafka 设计原理
Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。

2017-08-30 16:47:49

Kafka设计原理
Kubernetes：下一代分布式系统的护戒使者

2017-08-23 09:58:01

Kubernetes
分布式机器学习平台大比拼：Spark、PMLS、TensorFlow、MXNet
本论文从分布式系统的角度开展针对当前一些机器学习平台的研究，综述了这些平台所使用的架构设计，对这些平台在通信和控制上的瓶颈、容错性和开发难度进行分析和对比，并对分布式机器学习平台的未来研究工作提出了一些建议。

2017-08-22 17:55:35

机器学习SparkTensorFlow
面向大数据的分布式调度
大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些阐述，由满足大数据使用的架构和业务场景的需求上娓娓道来，从实践的角度分享如何打造一个高可用、高效率、灵活性的大数据调度平台。

2017-08-22 11:10:44

大数据分布式调度
怎么做分布式存储的面试?
一个实习生小朋友骗我说他不会，问我这些题目怎么做。这明摆着换个法子来面试我呀!要是真啥都不会能来我司实习么?全是套路啊。不过原文出题还是很有水平的，所以我决定写一写。

2017-08-17 09:18:29

分布式存储面试
玩转Hadoop分布式集群搭建
Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2017-08-10 10:17:32

Hadoop分布式搭建
阿里10年分布式数据库技术沉淀，AliSQL X-Cluster的应用实战 原创
根据阿里交易型应用的特点，以及双十一这样业界罕有的需求推动下，我们在官方的 MySQL 基础上增加了非常多实用的功能、性能补丁，打造了 AliSQL 这个 MySQL 分支品牌。相信技术的发展能带来更大的运维便利性以及更好的用户体验，以 Google Spanner 以及 Amazon Aruora 为代表的 NewSQL 系统为数据库的数据一致性给出了与以往不同的思路：基于一致性协议搭建分布式的多副本数据库。

2017-08-09 10:31:21

分布式数据库Cluster实战
横向对比三大分布式机器学习平台：Spark、PMLS、TensorFlow
分布式机器学习是机器学习领域的一大主要研究方向，我们对分布式机器学习平台的三大基本设计方法进行了简要介绍并举例进行了说明。

2017-08-07 11:02:28

机器学习分布式Spark
Spring Cloud构建微服务架构（四）分布式配置中心
Spring Cloud Config为服务端和客户端提供了分布式系统的外部化配置支持。配置服务器为各应用的所有环境提供了一个中心化的外部配置。它实现了对服务端和客户端对Spring Environment和PropertySource抽象的映射，所以它除了适用于Spring构建的应用程序，也可以在任何其他语言运行的应用程序中使用。

2017-07-28 16:41:53

Spring Clou微服务架构
浅谈分布式消息技术Kafka
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2017-07-27 14:32:05

大数据分布式消息Kafka
浅谈分布式事务
现今互联网界，分布式系统和微服务架构盛行。一个简单操作，在服务端非常可能是由多个服务和数据库实例协同完成的。在一致性要求较高的场景下，多个独立操作之间的一致性问题显得格外棘手。基于水平扩容能力和成本考虑，传统的强一致的解决方案(e.g.单机事务)纷纷被抛弃。其理论依据就是响当当的CAP原理。往往为了可用性和分区容错性，忍痛放弃强一致支持，转而追求最终一致性。

2017-07-26 15:08:05

大数据分布式事务
计算架构：分布式调度技术演变
什么是调度?通常所说的调度(schedule)是和时间有关的，比如我今天的schedule很紧(如图1所示)。时间作为唯一的不可逆转的资源，一般是划分为多个时间片来使用。就计算机而言，由于CPU的速度快的多，所以就有了针对CPU时间片的调度，让多个任务在同一个CPU上运行起来。然而这是一个假象，某一时刻CPU还是单任务运行的。

2017-07-26 14:55:32

分布式技术架构
分布式数据库和Hadoop都不够好，于是我们设计了分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。具体的说， 使用数据库水平分割的思想实现数据存储，使用 MapReduce的思想实现 SQL 计算。

2017-07-20 13:17:35

大数据数据库SQL计算
说说分布式文件存储系统
分布式文件存储系统主要被分为三种类型：分布式文件存储、块存储、对象存储。这三种存储系统都有着自己的特点和适用场景。

2017-07-18 09:51:36

文件存储系统
单体中心代码库 vs. 分布式代码库
一些正在快速增长或者需要转型的中小型公司，是应该学习Google的核心代码库，还是学习Linux，Android以及OpenStack等开源项目？

2017-07-13 16:20:28

代码库分布式代码
深度：阿里云分布式关系型数据库DRDS解析
阿里云中间件产品经理凤豪为本文中深度介绍了阿里云分布式关系型数据库DRDS的发展历史以及DRDS的优势。下面是演讲主要内容整理。

2017-07-07 14:41:43

阿里云分布式关系
阿里10年分布式技术沉淀：阿里高可用体系核心缔造者、全链路压测创始人告诉你!
阿里巴巴双11备战期间，保障系统稳定性最大的难题在于容量规划，而容量规划最大的难题在于准确评估从用户登录到完成购买的整个链条中，核心页面和交易支付的实际承载能力。全链路压测的诞生改变了这一现状，通过对双11进行模拟，支持线上不影响正常用户访问的集群读写压测，获得最真实的线上承载能力数据。全链路压测开启了大促稳定性保障的新纪元，被誉为备战核武器。

2017-07-07 10:53:34

阿里云高可用体系
阿里赵林：阿里企业级分布式应用服务EDAS产品解密
本文根据阿里高级技术专家赵林（花名：丹臣）的演讲整理。赵林在演讲中主要为大家详细介绍了阿里企业级分布式应用服务器EDAS产品和背后技术实践。

2017-07-06 17:26:36

阿里分布式应用架构
分布式云应用的导图生成方式比较
所谓应用导图，就是分布式应用内部组件的拓扑图，该拓扑图包含了组件连接成的网络和节点间的信息交互。AppDynamics、OpenTracing以及Netsil等工具内部都使用了多种不同的应用导图绘制方法，近期有 文章 针对这些方法进行了综述。

2017-07-04 16:18:15

分布式云应用导图
MIT 提出两种新型分布式对抗网络，性能表现超越传统单点采样相关方法
麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同，分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定，并且可以更好地完成模态复原。

2017-07-02 05:45:50

分布式对抗网络模型
分布式ID生成器
本文要讨论的核心问题是如何高效生成趋势有序的全局唯一ID。

2017-07-01 16:02:39

分布式ID生成器
PAI分布式机器学习平台编程模型演进之路
机器学习即服务，把机器学习作为服务对外推出，大家可以在平台上使用比较先进的机器学习算法。将多种深度学习框架集成到PAI中，同时基于深度学习框架包装成更加易用的组件。具备异构的计算服务能力，把CPU计算能力和GPU计算能力统一调度起来，异构的计算能力透明，大家的注意力是哪些机器学习算法可以帮助业务，不用关心底层资源的申请和分配。PAI也支持在线预测服务，模型一键发布。

2017-06-29 13:29:34

大数据PAI机器学习
分布式数据库和Hadoop都不够好，于是我们设计分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL(如全局性的排序、分组、join、子查询，特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。

2017-06-22 08:25:27

数据库HadoopSQL
浅谈CAS在分布式ID生成方案上的应用
所谓“分布式ID生成方案”，是指在分布式环境下，生成全局唯一ID的方法。本文介绍了CAS在分布式ID生成方案上的一种应用

2017-06-19 17:55:22

CASID分布式
TensorFlow分布式计算机制解读：以数据并行为重
Tensorflow 是一个为数值计算(最常见的是训练神经网络)设计的流行开源库，本文地阐述了与分布式 TensorFlow 分布式计算机制以及相关的一些术语和技术。

2017-06-18 10:45:10

TensorFlow分布式计算
在CentOS 7上安装分布式存储系统Ceph
Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object Storage)，现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.

2017-06-06 14:25:54

CentOS 7Ceph分布式存储系统
如何解决分布式系统的Logical Time问题？（一）
在一个分布式系统中存在着各种各样的并发事件，例如logical time问题。本文就为大家介绍logical time算法的鼻祖Lamport Clock。

2017-06-05 15:51:54

分布式Logical Tim算法
从分布式管理到多租户实现，企业级大数据系统如何利用开源生态构建？
在大数据生态发展的过程中，大数据系统的管理系统，大数据系统的安全，易用性，机器学习不断的补充到生态系统中来并不断完善。随着互联网的兴旺发展，许多互联网公司也逐渐开始把 Hadoop 变成内部大数据处理系统的不二之选。随着大数据概念的火爆，使得开始是行业领头羊的巨头在玩的东西逐渐被有机会普及到传统领域。

2017-06-01 15:02:17

大数据大数据系统
容错虚拟机分布式系统的设计
本文主要讲述如何使用虚拟机来设计一个分布式容错系统。

2017-05-22 09:58:01

虚拟机虚拟化分布式
基于Consul的分布式信号量实现
本文将继续讨论基于Consul的分布式锁实现。信号量是我们在实现并发控制时会经常使用的手段，主要用来限制同时并发线程或进程的数量。

2017-05-11 14:05:25

Consul分布式信号量
上一页 1 ··· 1819202122 ··· 29
点赞

51CTO技术栈公众号

业务
速览
在线客服