直播训练营

鸿蒙开发者社区

WOT技术大会

AIGC创新中国行

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO题库小程序

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

账号设置退出

分布式

1344内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1344 条

那些分布式系统设计常用的开源模块

分布式系统是个由多个互相连接的处理资源组成的计算机系统，它们在整个系统的控制下协同执行同一个任务，最少依赖于集中的程序、数据或硬件。本文对大家常用的分布式系统设计开源模块进行了总结，包括HBase、Nginx、Zookeeper。

2015-11-10 17:45:00

分布式系统设计开源模块

为什么大部分NoSQL不提供分布式事务？

NoSQL数据库不提供事务机制原因在于其分布式特点，一系列写操作中访问的数据可能位于不同的分区服务器，这样的事务就变成分布式事务，在分布式事务中实现原子性需要彼此协调，而协调是耗费时间的，每台机器在一个大事务过程中必须依次确认，这就需要一种协议确保一个事务中没有任何一台机器写操作失败。这种协调是昂贵的。

2015-11-05 17:41:25

NoSQL 分布式事务事务架构

C#分布式消息队列 EQueue 2.0 发布啦

最近花了我几个月的业余时间，对EQueue做了一个重大的改造，消息持久化采用本地写文件的方式。到现在为止，总算完成了，所以第一时间写文章分享给大家这段时间我所积累的一些成果。

2015-11-02 16:38:09

C#分布式消息队列

分布式存储 HDFS 与 GFS 的设计差异

我们知道 HDFS 最早是根据 GFS(Google File System)的论文概念模型来设计实现的。HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver。

2015-10-19 11:41:30

分布式存储 HDFS GFS

系统分布式情况下最终一致性方案梳理

目前的应用系统，不管是企业级应用还是互联网应用，最终数据的一致性是每个应用系统都要面临的问题，随着分布式的逐渐普及，数据一致性更加艰难，但是也很难有银弹的解决方案，也并不是引入特定的中间件或者特定的开源框架能够解决的，更多的还是看业务场景，根据场景来给出解决方案。

2015-10-19 10:42:37

分布式一致性应用系统

IPFS：替代HTTP的分布式网络协议

近日，IFPS宣布了一个未来web发展计划，它用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希，通过这样可以让网页的速度更快、更安全、更健壮、更持久。IPFS表示，IPFS未来将替代HTTP(以及其他的许多东西)。

2015-10-19 09:52:11

IPFS HTTP 分布式网络协议

如何实现 Docker 与分布式数据库结合

随着如今开源软件以及开源项目的热潮，Docker作为如今在技术圈非常火爆的一款开源软件产品，除了开源项目的贡献非常活跃，目前应用也十分的广泛，包括Redhat在内的多个操作系统都已经能支持Docker，而更是无数的软件已经在使用Docker镜像进行安装部署。

2015-10-16 18:03:25

Docker 分布式 CoreOS

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。

2015-10-15 14:05:51

Storm Spark MapReduce

扒一扒云计算双雄引领的分布式系统革命

谷歌和亚马逊引领分布式系统革命的四篇论文(谷歌关于GFS、Map/Reduce、Bigtable的三篇论文以及亚马逊一篇关于Dynamo的论文)为基础，涉及了云计算架构、Hadoop/Spark大数据生态平台、软件定义网络、软件定义存储等一系列概念和技术。下面我们简单了解一下这三篇论文的重点。

2015-10-15 13:38:39

云计算分布式谷歌

Otto.de：我为什么选择分布式垂直架构

在我们开始开发otto.de网上商店时，我们选择了分布式垂直架构。之前的工作经验告诉我们，一体化架构(monolithic architecture)不能够满足不断增长的需求。爆发式增长的数据，持续提高的负载和对系统的扩展，所有的这些强迫我们去重新思考网站的架构。

2015-10-14 18:25:03

一体化架构设计微服务

ZooKeeper解析：分布式系统工程师的瑞士军刀译文

ZooKeeper是一款极具实用性、现场测试能力并拥有广泛用户群体的中间件，专门用于构建分布式应用程序。在OpenStack当中，ZooKeeper也成为Nova ServiceGroup API后端中的组成部分。最近，ZooKeeper还与Ceilometer相集成，从而为Central Agent带来更为理想的高可用性水平。

2015-09-28 09:46:31

ZooKeeper 分布式系统瑞士军刀

反思｜分布式框架是必须的吗？

目前，我正在使用一个分布式系统并且它没有使用任何上述技术。这个分布式系统运行的很好，虽然它不完美，但是它的确实现了。这就引发我思考分布式框架是否是必须的。

2015-09-24 15:08:28

分布式框架反思分布式系统

NFV和分布式数据环境

企业想要确保最佳的分布式网络环境，就必须了解数据中心外的情况，NFV固然能够在抽象网络里占得优势，但这不应该让企业认为他们与NFV开发没有任何关系。

2015-09-23 14:32:30

NFV 分布式数据环境

C#分布式缓存Couchbase使用

　　目前C#业界使用得最多的 Cache 系统主要是 Memcached和 Redis。这两个 Cache 系统可以说是比较成熟的解决方案，也是很多系统当然的选择。

2015-09-21 09:20:11

C#Couchbase 使用

分布式应用的各基本领域及开发技术概要

本文将简要介绍分布式应用的各基本领域的相关技术。这些技术在一个分布式应用中都会有或多或少的设计，即便暂时没有涉及到，设计人员也要有所考虑，保证系统有进一步发展的空间。

2015-09-16 16:27:33

分布式系统应用开发分布式技术

分布式架构让数据中心不再望云兴叹

9 月18-19 日，华为将在黄浦江畔上海世博中心举办HCC2015，届时上万名来自全球的行业精英、技术专家及意见领袖，将齐聚上海，分享最新的产业洞察，共商云时代的转型大计。此外，华为还将发布面向不同行业的云战略，展现云计算及大数据等方面的解决方案创新突破。

2015-08-28 13:33:53

分布式架构华为

分布式存储大行其道浪潮AS13000何以“木秀于林”？

从大数据元年到“互联网+”，可以看到在每一天每一分钟里，数据都在被大量的创造出来。根据2014年的统计数据，一分钟EMAIL用户发送204,000,000封电子邮件、Google收到4,000,000搜索请求、FACEBOOK用户分享2,460,000条内容……类似的例子可以列出很多，用几个简单的词可以概括海量数据的特点，就是超大规模、快速、多样。

2015-08-21 15:02:45

浅谈数据中心集中式和分布式两大网关方式

在新的数据中心网络架构下，网关的位置不同，代表了不同的架构理念，了解不同网关的实现方式和优缺点，非常必要。

2015-08-20 09:25:46

数据中心集中式分布式

分布式中使用Redis实现Session共享

session和cookie是我们做web开发中常用到的两个对象，它们之间会不会有联系呢？

2015-08-19 15:45:33

C#客户端Redis服务器的分布式缓存

在这篇文章中，我想介绍我知道的一种最紧凑的安装和配置Redis服务器的方式。另外，我想简短地概述一下在.NET / C#客户端下Redis hash（哈希类型）和list（链表）的使用。

2015-08-17 09:48:29

C#客户端分布式缓存

云讲堂：基于Kubernetes进行分布式负载测试

分布式负载测试采用云计算手段，在各种测试场景中这种方案都很有吸引力。云平台使得基础设施平台的弹性得到高度扩展，想要通过大量模拟可产生流量的客户端进行应用和服务测试都十分容易。此外，云计算的定价模式与负载测试的弹性特质非常相符。谷歌云平台是使用容器进行分布式负载测试的极优环境。

2015-08-04 15:47:39

Kubernetes 云计算分布式负载测试

hadoop是什么：分布式系统基础架构

hadoop是什么?hadoop能有哪些应用？hadoop和大数据是什么关系？下面我们将围绕这几个问题详细阐述。

2015-08-03 15:48:42

Hadoop 大数据

分布式计算框架Mesos最新版本六大新特性揭秘

最新的Mesos版本0.23.0已经发布并且现在可以下载了。本文列举了这次版本包含的特点及做了哪些变动。

2015-08-03 13:12:43

分布式计算 Mesos 新版本特性

惊！使用300行代码创建一个分布式系统

构建一个分布式系统是很困难的。它需要可扩展性、容错性、高可用性、一致性、可伸缩以及高效。为了达到这些目的，分布式系统需要很多复杂的组件以一种复杂的方式协同工作。例如，Apache Hadoop在大型集群上并行处理TB级别的数据集时，需要依赖有着高容错的文件系统（HDFS）来达到高吞吐量。

2015-08-03 09:15:00

300行代码分布式系统

Eagle - 来自eBay的分布式实时监控及预警框架

Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题，具有高扩展性，高实时性，以及高可用性等特点，同时支持使用机器学习为复杂情况提供预测分析。

2015-07-28 15:51:45

Eagle eBay 分布式实时监控

基于HBase构建可伸缩的分布式事务队列

在HBase的帮助下，结合最佳实践，我们该如何创建了一个线性可伸缩的，分布式事务队列系统。

2015-07-28 10:14:33

该如何抵御一场无情的分布式拒绝服务攻击(DDoS)

2015年5月17日星期天，网络犯罪分子向我所在的企业——HotSchedules公司，负责为来自餐厅、医院以及零售行业的超过200万员工提供云服务——发动了一场恶毒的分布式拒绝服务攻击。

2015-07-27 15:15:10

DDoS 分布式拒绝服务攻击

如何利用Node.js 构建分布式集群

在软件定义的世界里，企业通过Web应用和移动应用程序来提供大部分的服务，而Node.js迅速成为时下最为流行的一个平台之一，就和它可以搭建响应速度快、易于扩展的web应用和移动应用很很大关系，并凭借这点成为了新的主流。

2015-07-21 16:23:22

Node.js 构建分布式

【分布式计算】MapReduce的替代者-Parameter Server

随着互联网的发展，数据量的增大，很多对于数据的处理工都迁移到了云端,衍生了很多分布式计算的计算模型，比较著名的就是MapReduce、MPI、BSP等。后来也产生了一些分布式计算系统，大家耳熟能详的Hadoop就是基于 MapReduce实现的。本文的主人公是Parameter Server，其实也不算是新宠了，这个模型已经被提出好几年了，只不过在国内还不是特别热。不过最近一些云服务巨头们开始了对于PS的深入开发和研究。

2015-07-16 15:30:34

分布式计算 PS 云计算

分布式程序员必读：你与分布式和事务真的很熟吗？

本文略长，读者需要有一定耐心，如果你是高级码农或者架构师级别，你可以跳过。本文注重实战或者实现，不涉及CAP，略提ACID。本文适合基础分布式程序员。由于分布式这个话题太大，事务这个话题也太大，让我们从一个集群的一个小小节点开始谈起。

2015-07-15 10:42:38

分布式分布式事务集群

Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑

Codis是一个分布式Redis解决方案，与官方的纯P2P的模式不同，Codis采用的是Proxy-based的方案。本文将介绍Codis及下一个大版本RebornDB的设计，同时会介绍一些Codis在实际应用场景中的tips，以及作者对分布式存储的一些观点和看法。

2015-07-07 10:39:02

Codis Redis 分布式架构设计

对于分布式存储的若干看法

分布式存储的应用场景相对于其存储接口，现在流行分为三种: 对象存储、块存储、文件存储。本文将对三种类型的分布式存储的应用场景、实现思路和实现方案上作出解答。

2015-07-02 13:26:35

分布式存储云存储云平台

如何快速搭建HBase分布式NoSQL数据库

建议大家在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建即可。以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作。

2015-06-30 12:49:27

HBase NoSQL 分布式

《淘宝技术这十年》读书笔记: 分布式时代和中间件

这篇文章主要讲述分布式时代和中间件相关知识，包括服务化、HSF、Notify和TDDL。同时里面有我们经常遇见的编码错误等相关问题，希望文章对你有所帮助！

2015-06-19 07:50:47

淘宝技术分布式计算中间件

使用 Redis 实现分布式系统轻量级协调技术

Redis 经常被人们认为是一种 NoSQL 软件，但其本质上是一种分布式的数据结构服务器软件，提供了一个分布式的基于内存的数据结构存储服务。

2015-06-17 14:10:34

Redis 分布式系统协调

详解 NoSQL 数据库的分布式算法

系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。

2015-06-16 10:39:43

NoSQL 分布式算法

微软分布式云端机器学习应用探讨

如今，各类企业都在积聚越来越庞大的数据资产，比如用户行为、系统访问、使用模式等数据记录。而运用像微软Azure机器学习平台这样的云端服务平台，企业不仅仅可以用它来储存数据，做一些经典的“后视”商务智能分析，更能使用云端的强大力量做出具有“前瞻性”的预测分析。

2015-06-10 09:47:18

微软分布式云平台

微软开源rDSN分布式系统开发框架

近日，由微软亚洲研究院系统组开发的分布式系统开发框架——Robust Distributed System Nucleus（rDSN）通过GitHub平台开源。rDSN旨在为广大分布式系统的开发者，学生，和研究人员提供一个开放式的框架，用于快速搭建和运维高性能和高鲁棒的分布式系统，而后者对于当前很多技术的成功都至关重要，比如云计算，大数据和物联网等。

2015-06-01 10:31:43

微软开源 rDSN

【专题解析】分布式文件系统 Ceph 面面观原创

在这十年的发展过程中，Ceph似乎越来越向着云计算的方向靠拢，最先的CephFS文件系统已经不再是开发重点，甚至开发已经陷入了停滞状态。而与虚拟化相关的RBD、RGW则成了发展重点，成为发展最快的模块。但是从代码中仍然能够看到各种遗迹，似乎在告诉后来人这段饶了一个大弯的历史。

2015-05-29 12:47:53

Ceph 云存储开源

云计算架构探索：分布式系统设计三忌

最近在做系统升级，由于当时设计的局限，导致系统不停服，保证服务的做法非常麻烦。当时再定方案的时候，由于自己在这方面没有经验，导致有些乐观。到了实际做的时候，预期时间至少比预想的多了一周的时间，要知道，在互联网公司，一周的时间是个非常长的时间。而这一周，还包括了OT。

2015-05-28 10:58:57

分布式弹性计算云计算架构

如何利用Spring Cloud构建起自我修复型分布式系统译文

利用Netflix所打造的组件及各类大家熟知的工具，我们完全可以顺利应对由微服务以及分布式计算所带来的技术挑战。

2015-05-28 09:13:34

Spring Clou 云应用开发自我修复

HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

HDFS HA的解决方案可谓百花齐放，Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS，因为简单易用，但是需要提供一个HA的共享存储设备。而社区已经把基于QJM/Quorum Journal Manager的方案merge到trunk了，clouderea提供的发行版中也包含了这个feature，这种方案也是社区在未来发行版中默认的 HA方案。

2015-05-27 14:25:08

HDFS HA 分布式存储系统

分布式系统的特点及设计理念

分布式系统是大数据时代企业级应用的首选平台，它有良好的可扩展性，尤其是横向可扩展性(Scale Out)，使得分布式系统非常灵活，能应对千变万化的企业级需求，而且降低了企业客户对服务器硬件的要求，真正能做到应用服务层面的弹性扩展(auto- scaling)。

2015-05-26 11:18:06

分布式系统可扩展性

Openstack 之分布式存储技术比较

博文作者重点关注Ceph,Swift,HDFS的功能实现和优缺点，适用场景，并在本文中和大家进行讨论和分享。

2015-05-20 15:54:04

Openstack 分布式存储

ZooKeeper实现分布式的思路

Hadoop生态系统为开源届提供很多优秀软件，zookeeper便是其中一员。

2015-05-18 09:59:48

ZooKeeper 分布式计算 Hadoop

Atlas 分布式版重磅来袭！

Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。

2015-05-14 11:10:00

Atlas 分布式 MySQL中间层

ElasticSearch分布式搜索配置文件详解

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于 Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。下面是讲述了elasticsearch分布式搜索配置文件各类参数的具体含义。

2015-05-14 10:23:13

ElasticSear 分布式搜索配置文件

分布式存储元数据主流设计方法剖析

本文为七牛首席架构师李道兵，对几种存储设计进行了比较全面的分析和总结。而关于分布式存储的元数据设计还有很多更为细节的点和经验值得探讨，留待日后慢慢与大家交流。

2015-05-13 09:34:46

分布式存储元数据设计公有云

开源分布式存储之我见

相信很多公司和我们一样，本就不充足的研发队伍，由于种种历史和政治原因，在同一个领域里充斥了大量类似的开源项目，在我们的分布式存储系统里，目前就采用了HDFS，Gluster，Swift和Ceph四种系统。今天就凭着印象，聊一聊这四种分布式存储的不同。

2015-05-12 13:03:54

开源分布式存储 HDFS

基于java的分布式爬虫

分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。

2015-04-21 09:39:03

java java分布式爬虫

上一页 1 ··· 19 20 21 22 23 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营