51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

分布式

1357内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1357 条
分布式存储安全缺陷——存储类型
存储最重要的指标是什么？很多人包括存储专家都会认为是存储的性能指标，比如IOPS和带宽。但是我认为存储最重要的是数据的安全性。一个跑的飞快的存储，突然数据丢失了，后果会怎么样？

2018-02-22 08:42:04

分布式存储安全
《深入分布式缓存》之“自己动手写缓存” 原创
目前市面上已经有很多开源的缓存框架，比如Redis、Memcached、Ehcache等，那为什么还要自己动手写缓存？本章将带领大家从0到1写一个简单的缓存框架，目的是让大家对缓存的类型、缓存的标准...

2018-02-07 10:46:20

数据存储
这些主流分布式存储系统，你都知道吗？
HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

2018-02-06 09:06:03

主流分布式存储系统
什么是集群？什么是分布式？什么又是SOA？
SOA：Service Oriented Architecture面向服务的架构。也就是把工程拆分成服务层、表现层两个工程。服务层中包含业务逻辑，只需要对外提供服务即可。表现层只需要处理和页面的交互，业务逻辑都是调用服务层的服务来实现。

2018-01-30 11:17:56

集群分布式SOA？
让我们了解 Ceph 分布式存储
怀着对新事物的向往，果断选择Ceph来实现Ceph块存储对接kubernetes来实现pod的数据持久化。

2018-01-30 09:07:36

Ceph分布式存储
《深入分布式缓存》之“从实际案例看Redis的使用” 原创
理解 Redis 使用中的误区

2018-01-26 14:47:04

分布式缓存
深入浅出Zookeeper（二） 基于Zookeeper的分布式锁与领导选举
基于 Zookeeper 的领导选举或者分布式锁的实现均基于 Zookeeper 节点的特性及通知机制。充分利用这些特性，还可以开发出适用于其它场景的分布式应用。

2018-01-25 19:01:47

Zookeeper分布式数据
Kafka源码系列之以kafka为例讲解分布式存储系统
由于CAP理论在分布式存储系统中，做多只能实现上面两点。而现实环境是很复杂的，比如网络抖动及故障，硬件故障等问题，分区容错是我们必须要实现的。所以我们只能在一致性和可用性之间权衡。

2018-01-25 08:29:28

Kafka源码存储
聊聊分布式系统的架构的套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2018-01-23 15:55:23

分布式系统架构
游戏开发经验总结：分布式架构、数据库与进程设计
高并发解决方案：吃鸡” 类游戏的特点是同一地图会有100人以上同场竞技，需要服务端有高并发包量的处理能力和大流量吞吐能力。

2018-01-22 09:30:28

架构
通俗易懂系列：分布式文件系统FastDFS详解
为什么要使用分布式文件系统呢？这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来看本文。

2018-01-18 17:14:58

分布式文件系统FastDFS
华为分布式云监控保障春城出行安全
昆明3号线采用了华为轨道交通云监控解决方案，从IPC到交换机，再到平台、存储，华为为昆明3号线提供了端到端的轨道交通监控解决方案；而且考虑到地铁应用环境的特殊性，华为轨道交通云监控解决方案在系统稳定性方面，提出了“三重云化”的概念，极大的提升了整个视频监控系统的稳定性及安全性。

2018-01-12 16:51:48

华为
关于Python数据抓取、分析、挖掘、机器学习和Python分布式计算内容分享
本文主要是关于 Python 数据抓取、分析、挖掘、机器学习和Python 分布式计算内容的分享。

2018-01-09 14:43:37

Python机器学习数据抓取
MySQL海量数据分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-01-02 20:00:28

数据库MySQL分布式存储
打造移动漫游中“遮不住”的Wi-Fi信号——华为敏捷分布式Wi-Fi方案
华为推出的敏捷分布式Wi-Fi解决方案，将传统“AC+Fit AP”的2级网络架构变革为“AC+中心AP+远端接入单元（RRU）”的3级分布式架构，在提升无线网络覆盖性能和用户业务体验的同时，简化了设备管理和配置，为客户打造出高性能、优覆盖的Wi-Fi网络，很好地满足了终端用户随时随地高速接入的需求。

2017-12-29 19:58:48

Wi-Fi
分布式存储系统可靠性如何估算？
常规情况下，我们一般使用多副本技术来提高存储系统的可靠性，无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等，无不如此。

2017-12-27 09:21:19

分布式存储系统
聊聊分布式系统的架构套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2017-12-20 16:15:30

分布式系统架构
如何扩大分布式环境中DNS服务攻击面
Chaosnet很有趣，因为CH类经常被用于服务区域的“bind.”，它包含了一些关于DNS服务器的有用信息。我想你应该知道'version.bind'的记录，通过该记录你可以确定DNS服务器的版本。

2017-12-20 10:47:56

DNS服务器分布式
从Ceph看分布式系统故障检测
不同的分布式系统由于其本身的结构不同，以及对一致性、可用性、可扩展性的需求不同，会针对以上几点作出不同的抉择或取舍。下面我们就来看看Ceph是怎么做的。

2017-12-19 10:37:16

Ceph系统故障
浅谈分布式存储系统数据分布方法
分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层接口是KV存储、对象存储、块存储、亦或是列存储，在这个问题上大体是一致的。本文将介绍在分布式存储系统中做数据分布目标及可选的方案，并试着总结他们之间的关系及权衡。

2017-12-18 10:47:04

分布式存储数据
分布式高并发缓存设计系统
缓存在wiki上的定义：用于存储数据的硬件或软件的组成部分，以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景：有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。

2017-12-12 14:51:15

分布式缓存设计
教你玩转Hadoop分布式集群搭建，进击大数据
终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。

2017-12-07 15:24:10

Hadoop大数据服务器
Angel：一种新型分布式机器学习系统
Angel是一个基于参数服务器（Parameter Server）理念的分布式机器学习框架，它能让机器学习算法轻松运行于高维度模型之上。Angel围绕模型共享的核心理念，将高维度的大模型合理地切分到多个参数服务器节点，并通过高效的模型更新接口和运算函数以及多变的同步协议，实现各种高效的机器学习算法。

2017-12-05 14:55:56

Angel机器学习系统
招商银行和华为成立分布式数据库联合创新实验室，实践云上科技变革
2017年11月27日，华为与招商银行股份有限公司在招商银行研发中心举行了分布式数据库联合创新实验室揭牌仪式。

2017-12-05 12:01:25

华为
分布式系统的核心——日志
日志就是按照时间顺序追加的、完全有序的记录序列，其实就是一种特殊的文件格式，文件是一个字节数组，而这里日志是一个记录数据，只是相对于文件来说，这里每条记录都是按照时间的相对顺序排列的，可以说日志是最简单的一种存储模型，读取一般都是从左到右，例如消息队列，一般是线性写入log文件，消费者顺序从offset开始读取。

2017-12-05 09:43:42

分布式系统核心
开源软件成熟度评测报告—分布式消息中间件
面对诸多的分布式消息中间件，金融企业面临如何选择并确定适合企业长期发展的相应开源软件。金融行业开源软件研究工作组结合金融企业的实际应用场景，针对主流的开源分布式消息中间件建立评测并开展评测实施，以支撑金融企业选择成熟度高、适合企业需求的开源软件。

2017-12-04 09:00:00

金融开源软件分布式消息中间件
分布式、多活数据中心如何实现DNS域名解析和负载均衡？
DNS域名解析是B/S应用架构的一项重要服务，C/S架构应用一般是通过IP地址直接访问服务的。在云计算时代，业务主要通过B/S、分布式、多活的架构提供。然而对于网站运营和服务提供商来说，DNS域名解析的稳定可靠，意味着更好的业务体验，更好更大的访问流量。

2017-11-24 09:09:32

数据中心DNS负载均衡
分布式存储系统VeSpace应用场景介绍
VeSpace Server SAN专门为云计算生态而设计，融合了分布式数据、分布式缓存、容量负载均衡、及多重数据保护等诸多存储技术，保证客户业务高效稳定运行及数据安全，提升业务的敏捷性与竞争力，最大程度上让客户减少在存储上的TCO。下面我们介绍 使用VeSpace的6个应用场景。

2017-11-22 10:23:32

存储系统VeSpace
分布式架构系统生成全局唯一序列号的一个思路
分布式架构下，唯一序列号生成是我们在设计一个系统，尤其是数据库使用分库分表的时候常常会遇见的问题。当分成若干个sharding表后，如何能够快速拿到一个唯一序列号，是经常遇到的问题。

2017-11-22 09:46:53

分布式架构系统
从“云”到“雾”：云计算将死亡，取而代之的是分布式的点对点网络
在云计算发展一片火热的时候，英国数字咨询公司Red Badger的技术主管Viktor Charypar却在VentureBeat上发文表示，云服务将会迎来末日。并指出点对点网络将会是将来的发展方向。

2017-11-10 06:15:35

云计算分布式网络
3分钟读懂何为分布式、微服务和集群！
微服务是一种架构，也是在分布式范畴之内的。多微才叫微?在分布式系统中，微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。好了，没什么好说的了，实践出真知，建议大家多多了解 Spring-Cloud相关微服务组件。

2017-11-08 09:57:00

分布式微服务集群
关于分布式存储，这是你应该知道的（图文详解）
分布式存储存在的风险，其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的，不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题，只是分布式存储更严重。

2017-11-07 15:20:06

分布式存储解决
基于Storm构建分布式实时处理应用初探
本文我不会具体阐述Storm集群和Zookeeper集群如何部署的问题，这里想通过一个实际的案例切入，分析一下如何利用Storm完成实时分析处理数据。

2017-11-03 15:05:56

Storm数据处理服务器
浅谈分布式存储系统中的数据一致性要求
分布式存储是近几年的热门话题之一，它和传统SAN/NAS存储的区别是，分布式存储使用标准硬件(比如x86服务器和10GbE网络)，而传统SAN/NAS存储使用的是专有硬件。

2017-10-30 10:24:03

存储系统数据
vSAN架构细节-分布式RAID
本章讲述了Virtual SAN底层的架构细节。我们已经提起过不少vSAN架构的内容，包括使用闪存作为I/O的缓存、将vSAN功能展现出来的VASA角色、虚拟机存储策略、见证盘以及对于直通 RAID控制器的需求等等。

2017-10-30 08:52:27

vSAN架构RAID
大规模分布式存储-分布式剪枝系统
分布式文件系统存储目标以非结构化数据为主，但在实际应用中，存在大量的结构化和半结构化的数据存储需求。分布式键值系统是一种有别于我们所熟悉的分布式数据库系统的，用于存储关系简单的半结构化数据的存储应用。

2017-10-27 08:40:44

分布式存储剪枝系统
Hadoop伪分布式搭建操作步骤指南
本文主要分享Hadoop伪分布式搭建的操作步骤，包括准备工作、Hadoop环境部署-JDK部分和Hadoop伪分布式环境部署-Hadoop部分，希望对大家有所帮助。

2017-10-25 18:25:40

Hadoop伪分布式环境部署
如何理解深度学习分布式训练中的large batch size与learning rate的关系？
在深度学习进行分布式训练时，常常采用同步数据并行的方式，也就是采用大的batch size进行训练，但large batch一般较于小的baseline的batch size性能更差，请问如何理解调试learning rate能使large batch达到small batch同样的收敛精度和速度?

2017-10-25 16:30:47

深度学习分布式训练
从银行转账失败到分布式事务：总结与思考
大多数人可能和我一样，第一次听说事务是在学习关系型数据库(mysql、sql server、Oracle)的时候，在关系型数据库中，如果一组操作满足ACID特性，那么称之为一个事务。关于关系型数据库的ACID特性，不管是教材还是网络上都有大量的资料，这里只简单介绍。

2017-10-24 11:39:29

银行转账数据库分布式事务
基于Zookeeper的分布式锁
实现分布式锁目前有三种流行方案，分别为基于数据库、Redis、Zookeeper的方案，其中前两种方案网络上有很多资料可以参考，本文不做展开。我们来看下使用Zookeeper如何实现分布式锁。

2017-10-24 11:28:23

Zookeeper分布式锁架构
如何学习分布式系统？一文全Get！
本文将从基本概念、架构并结合自己学习工作中的感悟，阐述如何学习分布式系统。由于分布式系统理论体系非常庞大，知识面非常广博，笔者能力有限，不足之处，欢迎讨论交流。

2017-10-20 13:39:29

分布式系统数据存储数据量
分布式数据库数据一致性原理说明与实现
分布式数据库的数据一致性管理是其最重要的内核技术之一，也是保证分布式数据库满足数据库最基本的ACID特性中的 “一致性”(Consistency)的保障。在分布式技术发展下，数据一致性的解决方法和技术也在不断的演进，本文就以作者实际研发的分布式数据库作为案例，介绍分布式数据库数据一致性的原理以及实际实现。

2017-10-19 18:37:57

数据库分布式数据库一致性原理
分布式存储系统HBase的架构
HBase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储。

2017-10-19 08:45:15

存储系统HBase
区块链与分布式账本达到“生产成熟期”预计仍需5至10年
Gartner副总裁兼杰出分析师Donald Feinberg表示：“在迈向数字化业务的过程中，数据管理仍会处在核心地位。随着组织架构的要求发生变化以及对相关技术的需求逐渐加大，技术成熟度曲线中所强调的多项技术的成熟度与功能将迅猛发展。

2017-10-17 09:53:06

区块链分布式数据
大规模分布式存储系统-分布式文件系统
分布式文件系统是分布式存储系统(键值系统、表格系统、数据库系统)的底层基础部件，其所起的主要功能有两个：一个是存储文档、图像、视频之类的Blob类型数据;另外一个是作为分布式表格系统的持久化层。

2017-10-17 08:33:31

存储系统分布式
分布式日志存储系统-LogDevice
做过分布式系统的人都知道，想要在大规模集群下处理高并发事务时同时满足CAP(一致性、可用性、分区容错)，从理论上来说不可能，当然听说最近谷歌已经实现了这样的分布式系统，但是总的来说确实非常难。

2017-10-16 10:24:47

LogDevice存储系统
分布式存储系统的能力纵谈
除了异常之外，还存在“超时”状态，RPC执行的结果有三种状态：“成功”、“失败”、“超时”(未知状态)，也称为分布式存储系统的三态。

2017-10-12 09:36:54

分布式存储系统
一个高性能、轻量级的分布式内存队列系统--beanstalk
Beanstalk是一个高性能、轻量级的、分布式的、内存型的消息队列系统。最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟。其实Beanstalkd是典型的类Memcached设计，协议和使用方式都是同样的风格。

2017-10-11 16:12:19

内存
分布式数据集SparkRDD的依赖与缓存
RDD(Resilient Distributed Dataset)叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。

2017-09-27 10:53:53

分布式数据集SparkRDD
漫谈分布式集群的负载均衡—口水篇
为了理解分布式集群这个概念，我们先说说这两个概念：“集群”和“分布式”。艺术来源于生活，计算机科学亦是如此。我们先通过例子，来了解一下现实生活中的“集群”和“分布式”。

2017-09-26 15:24:48

分布式集群均衡
上一页 1 ··· 1617181920 ··· 28
点赞

51CTO技术栈公众号

业务
速览
在线客服