51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

分布式

1344内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1344 条
MySQL海量数据分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-01-02 20:00:28

数据库MySQL分布式存储
打造移动漫游中“遮不住”的Wi-Fi信号——华为敏捷分布式Wi-Fi方案
华为推出的敏捷分布式Wi-Fi解决方案，将传统“AC+Fit AP”的2级网络架构变革为“AC+中心AP+远端接入单元（RRU）”的3级分布式架构，在提升无线网络覆盖性能和用户业务体验的同时，简化了设备管理和配置，为客户打造出高性能、优覆盖的Wi-Fi网络，很好地满足了终端用户随时随地高速接入的需求。

2017-12-29 19:58:48

Wi-Fi
分布式存储系统可靠性如何估算？
常规情况下，我们一般使用多副本技术来提高存储系统的可靠性，无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等，无不如此。

2017-12-27 09:21:19

分布式存储系统
聊聊分布式系统的架构套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2017-12-20 16:15:30

分布式系统架构
如何扩大分布式环境中DNS服务攻击面
Chaosnet很有趣，因为CH类经常被用于服务区域的“bind.”，它包含了一些关于DNS服务器的有用信息。我想你应该知道'version.bind'的记录，通过该记录你可以确定DNS服务器的版本。

2017-12-20 10:47:56

DNS服务器分布式
从Ceph看分布式系统故障检测
不同的分布式系统由于其本身的结构不同，以及对一致性、可用性、可扩展性的需求不同，会针对以上几点作出不同的抉择或取舍。下面我们就来看看Ceph是怎么做的。

2017-12-19 10:37:16

Ceph系统故障
浅谈分布式存储系统数据分布方法
分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层接口是KV存储、对象存储、块存储、亦或是列存储，在这个问题上大体是一致的。本文将介绍在分布式存储系统中做数据分布目标及可选的方案，并试着总结他们之间的关系及权衡。

2017-12-18 10:47:04

分布式存储数据
分布式高并发缓存设计系统
缓存在wiki上的定义：用于存储数据的硬件或软件的组成部分，以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景：有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。

2017-12-12 14:51:15

分布式缓存设计
教你玩转Hadoop分布式集群搭建，进击大数据
终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。

2017-12-07 15:24:10

Hadoop大数据服务器
Angel：一种新型分布式机器学习系统
Angel是一个基于参数服务器（Parameter Server）理念的分布式机器学习框架，它能让机器学习算法轻松运行于高维度模型之上。Angel围绕模型共享的核心理念，将高维度的大模型合理地切分到多个参数服务器节点，并通过高效的模型更新接口和运算函数以及多变的同步协议，实现各种高效的机器学习算法。

2017-12-05 14:55:56

Angel机器学习系统
招商银行和华为成立分布式数据库联合创新实验室，实践云上科技变革
2017年11月27日，华为与招商银行股份有限公司在招商银行研发中心举行了分布式数据库联合创新实验室揭牌仪式。

2017-12-05 12:01:25

华为
分布式系统的核心——日志
日志就是按照时间顺序追加的、完全有序的记录序列，其实就是一种特殊的文件格式，文件是一个字节数组，而这里日志是一个记录数据，只是相对于文件来说，这里每条记录都是按照时间的相对顺序排列的，可以说日志是最简单的一种存储模型，读取一般都是从左到右，例如消息队列，一般是线性写入log文件，消费者顺序从offset开始读取。

2017-12-05 09:43:42

分布式系统核心
开源软件成熟度评测报告—分布式消息中间件
面对诸多的分布式消息中间件，金融企业面临如何选择并确定适合企业长期发展的相应开源软件。金融行业开源软件研究工作组结合金融企业的实际应用场景，针对主流的开源分布式消息中间件建立评测并开展评测实施，以支撑金融企业选择成熟度高、适合企业需求的开源软件。

2017-12-04 09:00:00

金融开源软件分布式消息中间件
分布式、多活数据中心如何实现DNS域名解析和负载均衡？
DNS域名解析是B/S应用架构的一项重要服务，C/S架构应用一般是通过IP地址直接访问服务的。在云计算时代，业务主要通过B/S、分布式、多活的架构提供。然而对于网站运营和服务提供商来说，DNS域名解析的稳定可靠，意味着更好的业务体验，更好更大的访问流量。

2017-11-24 09:09:32

数据中心DNS负载均衡
分布式存储系统VeSpace应用场景介绍
VeSpace Server SAN专门为云计算生态而设计，融合了分布式数据、分布式缓存、容量负载均衡、及多重数据保护等诸多存储技术，保证客户业务高效稳定运行及数据安全，提升业务的敏捷性与竞争力，最大程度上让客户减少在存储上的TCO。下面我们介绍 使用VeSpace的6个应用场景。

2017-11-22 10:23:32

存储系统VeSpace
分布式架构系统生成全局唯一序列号的一个思路
分布式架构下，唯一序列号生成是我们在设计一个系统，尤其是数据库使用分库分表的时候常常会遇见的问题。当分成若干个sharding表后，如何能够快速拿到一个唯一序列号，是经常遇到的问题。

2017-11-22 09:46:53

分布式架构系统
从“云”到“雾”：云计算将死亡，取而代之的是分布式的点对点网络
在云计算发展一片火热的时候，英国数字咨询公司Red Badger的技术主管Viktor Charypar却在VentureBeat上发文表示，云服务将会迎来末日。并指出点对点网络将会是将来的发展方向。

2017-11-10 06:15:35

云计算分布式网络
3分钟读懂何为分布式、微服务和集群！
微服务是一种架构，也是在分布式范畴之内的。多微才叫微?在分布式系统中，微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。好了，没什么好说的了，实践出真知，建议大家多多了解 Spring-Cloud相关微服务组件。

2017-11-08 09:57:00

分布式微服务集群
关于分布式存储，这是你应该知道的（图文详解）
分布式存储存在的风险，其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的，不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题，只是分布式存储更严重。

2017-11-07 15:20:06

分布式存储解决
基于Storm构建分布式实时处理应用初探
本文我不会具体阐述Storm集群和Zookeeper集群如何部署的问题，这里想通过一个实际的案例切入，分析一下如何利用Storm完成实时分析处理数据。

2017-11-03 15:05:56

Storm数据处理服务器
浅谈分布式存储系统中的数据一致性要求
分布式存储是近几年的热门话题之一，它和传统SAN/NAS存储的区别是，分布式存储使用标准硬件(比如x86服务器和10GbE网络)，而传统SAN/NAS存储使用的是专有硬件。

2017-10-30 10:24:03

存储系统数据
vSAN架构细节-分布式RAID
本章讲述了Virtual SAN底层的架构细节。我们已经提起过不少vSAN架构的内容，包括使用闪存作为I/O的缓存、将vSAN功能展现出来的VASA角色、虚拟机存储策略、见证盘以及对于直通 RAID控制器的需求等等。

2017-10-30 08:52:27

vSAN架构RAID
大规模分布式存储-分布式剪枝系统
分布式文件系统存储目标以非结构化数据为主，但在实际应用中，存在大量的结构化和半结构化的数据存储需求。分布式键值系统是一种有别于我们所熟悉的分布式数据库系统的，用于存储关系简单的半结构化数据的存储应用。

2017-10-27 08:40:44

分布式存储剪枝系统
Hadoop伪分布式搭建操作步骤指南
本文主要分享Hadoop伪分布式搭建的操作步骤，包括准备工作、Hadoop环境部署-JDK部分和Hadoop伪分布式环境部署-Hadoop部分，希望对大家有所帮助。

2017-10-25 18:25:40

Hadoop伪分布式环境部署
如何理解深度学习分布式训练中的large batch size与learning rate的关系？
在深度学习进行分布式训练时，常常采用同步数据并行的方式，也就是采用大的batch size进行训练，但large batch一般较于小的baseline的batch size性能更差，请问如何理解调试learning rate能使large batch达到small batch同样的收敛精度和速度?

2017-10-25 16:30:47

深度学习分布式训练
从银行转账失败到分布式事务：总结与思考
大多数人可能和我一样，第一次听说事务是在学习关系型数据库(mysql、sql server、Oracle)的时候，在关系型数据库中，如果一组操作满足ACID特性，那么称之为一个事务。关于关系型数据库的ACID特性，不管是教材还是网络上都有大量的资料，这里只简单介绍。

2017-10-24 11:39:29

银行转账数据库分布式事务
基于Zookeeper的分布式锁
实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。

2017-10-24 11:28:23

Zookeeper分布式锁架构
如何学习分布式系统？一文全Get！
本文将从基本概念、架构并结合自己学习工作中的感悟，阐述如何学习分布式系统。由于分布式系统理论体系非常庞大，知识面非常广博，笔者能力有限，不足之处，欢迎讨论交流。

2017-10-20 13:39:29

分布式系统数据存储数据量
分布式数据库数据一致性原理说明与实现
分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。

2017-10-19 18:37:57

数据库分布式数据库一致性原理
分布式存储系统HBase的架构
HBase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。

2017-10-19 08:45:15

存储系统HBase
区块链与分布式账本达到“生产成熟期”预计仍需5至10年
Gartner副总裁兼杰出分析师Donald Feinberg表示：“在迈向数字化业务的过程中，数据管理仍会处在核心地位。随着组织架构的要求发生变化以及对相关技术的需求逐渐加大，技术成熟度曲线中所强调的多项技术的成熟度与功能将迅猛发展。

2017-10-17 09:53:06

区块链分布式数据
大规模分布式存储系统-分布式文件系统
分布式文件系统是分布式存储系统(键值系统、表格系统、数据库系统)的底层基础部件，其所起的主要功能有两个：一个是存储文档、图像、视频之类的Blob类型数据;另外一个是作为分布式表格系统的持久化层。

2017-10-17 08:33:31

存储系统分布式
分布式日志存储系统-LogDevice
做过分布式系统的人都知道，想要在大规模集群下处理高并发事务时同时满足CAP(一致性、可用性、分区容错)，从理论上来说不可能，当然听说最近谷歌已经实现了这样的分布式系统，但是总的来说确实非常难。

2017-10-16 10:24:47

LogDevice存储系统
分布式存储系统的能力纵谈
除了异常之外，还存在“超时”状态，RPC执行的结果有三种状态：“成功”、“失败”、“超时”(未知状态)，也称为分布式存储系统的三态。

2017-10-12 09:36:54

分布式存储系统
一个高性能、轻量级的分布式内存队列系统--beanstalk
Beanstalk是一个高性能、轻量级的、分布式的、内存型的消息队列系统。最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟。其实Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格。

2017-10-11 16:12:19

内存
分布式数据集SparkRDD的依赖与缓存
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。

2017-09-27 10:53:53

分布式数据集SparkRDD
漫谈分布式集群的负载均衡—口水篇
为了理解分布式集群这个概念，我们先说说这两个概念：“集群”和“分布式”。艺术来源于生活，计算机科学亦是如此。我们先通过例子，来了解一下现实生活中的“集群”和“分布式”。

2017-09-26 15:24:48

分布式集群均衡
分布式系统一致性保障方案总结
本文重点来阐述下关于一致性的方案，包括强一致性和最终一致性。 而在互联网领域， 很多情况下都是牺牲强一致性，来达到高可用性， 系 统往往只需要保证“最终一致性”，只要这个最终时间是在用户可以接受的范围内即可。

2017-09-22 12:08:01

数据库分布式系统互联网
测试分布式系统的线性一致性
正确实现一个分布式系统是非常有挑战的一件事情，因为需要很好的处理并发和失败这些问题。网络包可能被延迟，重复，乱序或者丢弃，机器可能在任何时候宕机。即使一些设计被论文证明是正确的，也仍然很难再实现中避免 bug。

2017-09-21 10:59:36

分布式系统线性一致性测试
HBase原理 – 分布式系统中Snapshot是怎么玩的？
一个snapshot是一个全部文件系统、或者某个目录在某一时刻的镜像。实现数据文件镜像最简单粗暴的方式是加锁拷贝，拷贝的这段时间不允许对原数据进行任何形式的更新删除，仅提供只读操作，拷贝完成之后再释放锁。这种方式涉及数据的实际拷贝，数据量大的情况下必然会花费大量时间，长时间的加锁拷贝必然导致客户端长时间不能更新删除。

2017-09-19 14:13:53

Snapshot数据库HBase
微服务架构下处理分布式事务，你必须知道的事儿
根据微服务架构的鼻祖 Martin Fowler 的忠告，微服务架构中应当尽量避免分布式事务。然而，在某些领域，分布式事务如同宿命中的对手无法避免。

2017-09-19 09:36:24

微服务架构分布式
CoCoA：大规模机器学习的分布式优化通用框架
CoCoA 是一个通用分布式优化框架，可以在分布式集群中实现通信高效的原始-对偶优化。它的方式是利用对偶性将全局目标分解成局部二次近似子问题，而这些子问题可以使用架构师选择的任意当前最佳的单机求解器并行地求解到任意准确度。

2017-09-11 15:19:05

CoCoA机器学习分布式
小白科普：分布式和集群
以下是分布式和集群，希望对大家有所帮助。

2017-09-11 15:17:01

分布式集群负载均衡
一文教你迅速解决分布式事务 XA 一致性问题
众所周知，一个事务所做的更新，分布式数据库系统内部多个独立的数据节点完成(每个节点的本地事务是这个全局事务的一个事务分支)，在这样一个全局事务提交期间，有可能某些事务分支无法成功提交。

2017-09-04 14:46:10

分布式事务问题
大规模分布式存储系统原理与架构
分布式存储系统是大量普通 PC 服务器通过 Internet 互联，对外作为一个整体提供存储服务

2017-09-04 08:49:17

存储原理架构
从分布式计算到分布式训练
模型的分布式，相对于其他分布式计算会困难许多，首先模型依赖于数据，而模型本身的计算又要依赖于GPU，那么要如何将数据和计算能力结合？

2017-09-01 05:35:58

分布式计算存储
浅谈分布式消息系统 Kafka 设计原理
Kafka是一种高吞吐量、分布式、基于发布/订阅的消息系统，最初由LinkedIn公司开发，使用Scala语言编写，目前是Apache的开源项目。

2017-08-30 16:47:49

Kafka设计原理
Kubernetes：下一代分布式系统的护戒使者

2017-08-23 09:58:01

Kubernetes
分布式机器学习平台大比拼：Spark、PMLS、TensorFlow、MXNet
本论文从分布式系统的角度开展针对当前一些机器学习平台的研究，综述了这些平台所使用的架构设计，对这些平台在通信和控制上的瓶颈、容错性和开发难度进行分析和对比，并对分布式机器学习平台的未来研究工作提出了一些建议。

2017-08-22 17:55:35

机器学习SparkTensorFlow
面向大数据的分布式调度
大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些阐述，由满足大数据使用的架构和业务场景的需求上娓娓道来，从实践的角度分享如何打造一个高可用、高效率、灵活性的大数据调度平台。

2017-08-22 11:10:44

大数据分布式调度
上一页 1 ··· 1617181920 ··· 27
点赞

51CTO技术栈公众号

业务
速览
在线客服