51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

分布式

1344内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1344 条
怎么做分布式存储的面试?
一个实习生小朋友骗我说他不会，问我这些题目怎么做。这明摆着换个法子来面试我呀!要是真啥都不会能来我司实习么?全是套路啊。不过原文出题还是很有水平的，所以我决定写一写。

2017-08-17 09:18:29

分布式存储面试
玩转Hadoop分布式集群搭建
Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2017-08-10 10:17:32

Hadoop分布式搭建
阿里10年分布式数据库技术沉淀，AliSQL X-Cluster的应用实战 原创
根据阿里交易型应用的特点，以及双十一这样业界罕有的需求推动下，我们在官方的 MySQL 基础上增加了非常多实用的功能、性能补丁，打造了 AliSQL 这个 MySQL 分支品牌。相信技术的发展能带来更大的运维便利性以及更好的用户体验，以 Google Spanner 以及 Amazon Aruora 为代表的 NewSQL 系统为数据库的数据一致性给出了与以往不同的思路：基于一致性协议搭建分布式的多副本数据库。

2017-08-09 10:31:21

分布式数据库Cluster实战
横向对比三大分布式机器学习平台：Spark、PMLS、TensorFlow
分布式机器学习是机器学习领域的一大主要研究方向，我们对分布式机器学习平台的三大基本设计方法进行了简要介绍并举例进行了说明。

2017-08-07 11:02:28

机器学习分布式Spark
Spring Cloud构建微服务架构（四）分布式配置中心
Spring Cloud Config为服务端和客户端提供了分布式系统的外部化配置支持。配置服务器为各应用的所有环境提供了一个中心化的外部配置。它实现了对服务端和客户端对Spring Environment和PropertySource抽象的映射，所以它除了适用于Spring构建的应用程序，也可以在任何其他语言运行的应用程序中使用。

2017-07-28 16:41:53

Spring Clou微服务架构
浅谈分布式消息技术Kafka
Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

2017-07-27 14:32:05

大数据分布式消息Kafka
浅谈分布式事务
现今互联网界，分布式系统和微服务架构盛行。一个简单操作，在服务端非常可能是由多个服务和数据库实例协同完成的。在一致性要求较高的场景下，多个独立操作之间的一致性问题显得格外棘手。基于水平扩容能力和成本考虑，传统的强一致的解决方案(e.g.单机事务)纷纷被抛弃。其理论依据就是响当当的CAP原理。往往为了可用性和分区容错性，忍痛放弃强一致支持，转而追求最终一致性。

2017-07-26 15:08:05

大数据分布式事务
计算架构：分布式调度技术演变
什么是调度?通常所说的调度(schedule)是和时间有关的，比如我今天的schedule很紧(如图1所示)。时间作为唯一的不可逆转的资源，一般是划分为多个时间片来使用。就计算机而言，由于CPU的速度快的多，所以就有了针对CPU时间片的调度，让多个任务在同一个CPU上运行起来。然而这是一个假象，某一时刻CPU还是单任务运行的。

2017-07-26 14:55:32

分布式技术架构
分布式数据库和Hadoop都不够好，于是我们设计了分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。具体的说， 使用数据库水平分割的思想实现数据存储，使用 MapReduce的思想实现 SQL 计算。

2017-07-20 13:17:35

大数据数据库SQL计算
说说分布式文件存储系统
分布式文件存储系统主要被分为三种类型：分布式文件存储、块存储、对象存储。这三种存储系统都有着自己的特点和适用场景。

2017-07-18 09:51:36

文件存储系统
单体中心代码库 vs. 分布式代码库
一些正在快速增长或者需要转型的中小型公司，是应该学习Google的核心代码库，还是学习Linux，Android以及OpenStack等开源项目？

2017-07-13 16:20:28

代码库分布式代码
深度：阿里云分布式关系型数据库DRDS解析
阿里云中间件产品经理凤豪为本文中深度介绍了阿里云分布式关系型数据库DRDS的发展历史以及DRDS的优势。下面是演讲主要内容整理。

2017-07-07 14:41:43

阿里云分布式关系
阿里10年分布式技术沉淀：阿里高可用体系核心缔造者、全链路压测创始人告诉你!
阿里巴巴双11备战期间，保障系统稳定性最大的难题在于容量规划，而容量规划最大的难题在于准确评估从用户登录到完成购买的整个链条中，核心页面和交易支付的实际承载能力。全链路压测的诞生改变了这一现状，通过对双11进行模拟，支持线上不影响正常用户访问的集群读写压测，获得最真实的线上承载能力数据。全链路压测开启了大促稳定性保障的新纪元，被誉为备战核武器。

2017-07-07 10:53:34

阿里云高可用体系
阿里赵林：阿里企业级分布式应用服务EDAS产品解密
本文根据阿里高级技术专家赵林（花名：丹臣）的演讲整理。赵林在演讲中主要为大家详细介绍了阿里企业级分布式应用服务器EDAS产品和背后技术实践。

2017-07-06 17:26:36

阿里分布式应用架构
分布式云应用的导图生成方式比较
所谓应用导图，就是分布式应用内部组件的拓扑图，该拓扑图包含了组件连接成的网络和节点间的信息交互。AppDynamics、OpenTracing以及Netsil等工具内部都使用了多种不同的应用导图绘制方法，近期有 文章 针对这些方法进行了综述。

2017-07-04 16:18:15

分布式云应用导图
MIT 提出两种新型分布式对抗网络，性能表现超越传统单点采样相关方法
麻省理工的 Chengtao Li 等研究人员最近提出了新型的分布式对抗网络。与传统的单点采样的 GAN 方法不同，分布式对抗网络是对真实的样本进行操作。他们的实验也证明了这种结构的对抗网络更加稳定，并且可以更好地完成模态复原。

2017-07-02 05:45:50

分布式对抗网络模型
分布式ID生成器
本文要讨论的核心问题是如何高效生成趋势有序的全局唯一ID。

2017-07-01 16:02:39

分布式ID生成器
PAI分布式机器学习平台编程模型演进之路
机器学习即服务，把机器学习作为服务对外推出，大家可以在平台上使用比较先进的机器学习算法。将多种深度学习框架集成到PAI中，同时基于深度学习框架包装成更加易用的组件。具备异构的计算服务能力，把CPU计算能力和GPU计算能力统一调度起来，异构的计算能力透明，大家的注意力是哪些机器学习算法可以帮助业务，不用关心底层资源的申请和分配。PAI也支持在线预测服务，模型一键发布。

2017-06-29 13:29:34

大数据PAI机器学习
分布式数据库和Hadoop都不够好，于是我们设计分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL(如全局性的排序、分组、join、子查询，特别是非均衡字段的这些逻辑操作)难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。

2017-06-22 08:25:27

数据库HadoopSQL
浅谈CAS在分布式ID生成方案上的应用
所谓“分布式ID生成方案”，是指在分布式环境下，生成全局唯一ID的方法。本文介绍了CAS在分布式ID生成方案上的一种应用

2017-06-19 17:55:22

CASID分布式
TensorFlow分布式计算机制解读：以数据并行为重
Tensorflow 是一个为数值计算(最常见的是训练神经网络)设计的流行开源库，本文地阐述了与分布式 TensorFlow 分布式计算机制以及相关的一些术语和技术。

2017-06-18 10:45:10

TensorFlow分布式计算
在CentOS 7上安装分布式存储系统Ceph
Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object Storage)，现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.

2017-06-06 14:25:54

CentOS 7Ceph分布式存储系统
如何解决分布式系统的Logical Time问题？（一）
在一个分布式系统中存在着各种各样的并发事件，例如logical time问题。本文就为大家介绍logical time算法的鼻祖Lamport Clock。

2017-06-05 15:51:54

分布式Logical Tim算法
从分布式管理到多租户实现，企业级大数据系统如何利用开源生态构建？
在大数据生态发展的过程中，大数据系统的管理系统，大数据系统的安全，易用性，机器学习不断的补充到生态系统中来并不断完善。随着互联网的兴旺发展，许多互联网公司也逐渐开始把 Hadoop 变成内部大数据处理系统的不二之选。随着大数据概念的火爆，使得开始是行业领头羊的巨头在玩的东西逐渐被有机会普及到传统领域。

2017-06-01 15:02:17

大数据大数据系统
容错虚拟机分布式系统的设计
本文主要讲述如何使用虚拟机来设计一个分布式容错系统。

2017-05-22 09:58:01

虚拟机虚拟化分布式
基于Consul的分布式信号量实现
本文将继续讨论基于Consul的分布式锁实现。信号量是我们在实现并发控制时会经常使用的手段，主要用来限制同时并发线程或进程的数量。

2017-05-11 14:05:25

Consul分布式信号量
浅析分布式系统一些事
在运维模型的进化上，从IaaS到PaaS到SaaS，其应用范围也许是越来越窄，但使用的便利性却成倍的提高。这也证明了，软件劳动的工作，也是可以通过分工，向更专业化、更细分的方向去提高效率。

2017-05-10 08:59:18

分布式系统承载量
分布式缓存技术redis学习系列----深入理解Spring Redis的使用
关于spring redis框架的使用，网上的例子很多很多。但是在自己最近一段时间的使用中，发现这些教程都是入门教程，包括很多的使用方法，与spring redis丰富的api大相径庭，真是浪费了这么优秀的一个框架。

2017-05-09 08:27:42

分布式缓存技术Spring Redi
大型分布式网站架构技术总结
本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。

2017-05-08 11:53:21

分布式网站架构
细说分布式数据库的过去、现在与未来
随着大数据这个概念的兴起以及真实需求在各个行业的落地，很多人都热衷于讨论分布式数据库，今天主要讲一下分布式数据库的过去和现状，希望大家能对这个领域有一个全面的了解;TiDB的架构以及最近的一些进展;最后结合我们开发TiDB过程中的一些思考讲一下分布式数据库未来可能的趋势。

2017-05-02 21:05:01

分布式数据库细说
Python分布式抓取和分析京东商城评价
互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 “好评优惠” 或者 “返点” 活动来刺激消费者评价商品。

2017-04-25 15:40:12

数据分析商品评价
微信分布式数据存储协议对比——Paxos和Quorum
分布式系统是网络化的计算机系统，海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群，存储设备出现异常是必然，分布式系统通过多节点分布及冗余，避免个别异常节点影响到系统的正常服务，同时提供平行扩展能力。

2017-04-21 12:44:34

PaxosQuorum微信
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起，接着阐述实现高可用强一致的思路，然后具体分析每个实现环节要注意的要点和解决方案，最后展示了PhxSQL在容灾和性能上的成果。

2017-04-17 09:54:34

分布式数据库PhxSQL
分布式存储系统基础
分布式存储系统首先要面对的问题就是数据分片，即将数据均匀地分布到多个存储节点。另外，为了保证可靠性和可用性，需要将数据复制多个副本，这就带来了多个副本的数据一致性问题。

2017-04-14 09:48:25

分布式存储系统
基于Consul的分布式锁实现
本文将介绍一种基于Consul 的Key/Value存储来实现分布式锁以及信号量的方法。

2017-04-13 10:51:09

Consul分布式锁
Hive、MapReduce、Spark分布式生成唯一数值型ID
Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

HiveMapReduceSpark
如何设计一款多场景分布式发号器（Vesta）
在定期校对模式中最常使用的方法是在每个系统间传递和保存一个统一的唯一流水号(或称为traceid)，通过系统间两两核对或者第三方统一核对唯一流水号来保证各个系统之间步伐一致、没有掉队的行为，也就是系统间状态一致，在互联网的世界里，产生唯一流水号的服务系统俗称发号器。

2017-04-06 15:15:02

多场景分布式发号器
分布式服务化系统一致性的“最佳实干”
本文从一致性问题的实践出发，从大规模高并发服务化系统的实践经验中进行总结，列举导致不一致的具体问题，围绕着具体问题，总结出解决不一致的方法，并且抽象成模式，供大家在开发服务化系统的过程中参考。

2017-04-06 11:59:19

分布式服务化系统
分布式存储＋手机号转二维码，快递实名制信息安全联盟想从源头把你的信息隐私化
快递实名制信息安全联盟给出的方案是，“后台实名制+前台隐私化”，利用分布式信息存储技术，从源头将用户的信息数据进行分离：用户收派信息保存在物流公司，手机号保护信息存储在运营商，实名制系统认证数据存储至公安系统。

2017-04-02 11:43:39

快递菜鸟信息泄露
强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构
互联网行业是大势所趋，从招聘工资水平即可看出，那么如何提升自我技能，满足互联网行业技能要求？需要以目标为导向，进行技能提升，本文主要针对高并发分布式系统设计、架构(数据一致性)做了分析，祝各位早日走上属于自己的”成金之路”。

2017-03-22 22:51:03

强势eBayBASE模式
我们为何很难对超大规模应用与分布式架构进行备份？ 译文
即使逐步淘汰了原有备份与负责处理相关任务的脚本，大家仍会发现各类下一代应用程序及数据库在备份与恢复方面的表现令人沮丧。然而最近GitLab由于误删导致主数据库数据丢失的事故证明，即使技术水平极高的组织机构也很难顺利处理这一难题。

2017-03-15 06:00:42

大规模应用分布式架构
微服务架构下的分布式数据管理
在微服务架构中，每个微服务都有自己私有的数据集。不同微服务可能使用不同的SQL或者NoSQL数据库。尽管数据库架构有很强的优势，但是也面对数据分布式管理的挑战。第一个挑战就是如何在多服务之间维护业务数据一致性;第二个挑战是如何从多服务环境中获取一致性数据。

2017-03-14 11:52:52

微服务架构数据管理
在分布式系统里看CAP定理
计算机界有很多高大上又难于理解的术语，CAP就是其中之一， 什么一致性(Consistency)， 可用性(Availability)， 分区容错性(Partition tolerance) 就很难理解了， 再加上CAP定理更是让人云里雾里， 今天咱们试图通俗的演绎一下。

2017-03-14 08:57:10

CAP定理可用性
signalR+redis分布式聊天服务器搭建
最近在搞一个直播项目需要聊天服务器，之前是以小打小闹来做的，并没有想太多就只有一台服务器。前几天一下子突然来了5000人，服务器瞬间gg，作为开发人员的我很尴尬！ 这就是我们这篇文章的背景。

2017-03-13 14:02:10

分布式聊天服务器
使用dubbo分布式框架开发项目
Dubbo是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点

2017-03-02 13:19:43

dubbo分布式框架
5节点Hadoop分布式集群搭建经验分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。

2017-02-28 09:48:30

Hadoop集群搭建
从微服务到分布式系统：Java开发者生存指南 译文
本文用问答的形式，针对微服务与分布式系统区分开来的认知问题进行阐述。

2017-02-22 11:52:49

微服务分布式Java开发者
这三种分布式存储文件系统你造吗？
随着云计算在全球范围内的高速发展，谷歌、亚马逊等企业的崛起，特别是"互联网+"深入融合背景下的业务云化需求，传统企业在数据中心建设中被动地徘徊在传统存储阵列与分布式存储两种体系存储架构之间。这两种存储结构并没有绝对的优劣之分，而大数据的繁盛让分布式存储架构近几年中获得了前所未有的关注。

2017-02-20 17:15:43

分布式存储文件系统
雅虎BigML团队开源大数据分布式深度学习框架TensorFlowOnSpark
在雅虎，我们发现，为了从海量数据中获得洞察力，需要部署分布式深度学习。现有的深度学习框架常常要求为深度学习单独设定集群，迫使我们要为一个机器学习流程(见下图 1)创建多个程序。

2017-02-15 14:36:12

开源大数据TensorFlowO
阿里巴巴分布式数据库服务DRDS研发历程
淘宝DRDS/TDDL是阿里巴巴自主研发的分布式数据库服务。DRDS脱胎于阿里巴巴开源的Cobar分布式数据库引擎，吸收了Cobar核心的Cobar-Proxy源码，实现了一套独立的类似MySQL-Proxy协议的解析端，能够对传入的SQL进行解析和处理，对应用程序屏蔽各种复杂的底层DB拓扑结构，获得单机数据库一样的使用体验。

2017-01-20 16:00:33

阿里巴巴分布式数据库DRDS
上一页 1 ··· 1718192021 ··· 27
点赞

51CTO技术栈公众号

业务
速览
在线客服