开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2022年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

分布式

1304内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1304 条

云计算架构探索：分布式系统设计三忌

最近在做系统升级，由于当时设计的局限，导致系统不停服，保证服务的做法非常麻烦。当时再定方案的时候，由于自己在这方面没有经验，导致有些乐观。到了实际做的时候，预期时间至少比预想的多了一周的时间，要知道，在互联网公司，一周的时间是个非常长的时间。而这一周，还包括了OT。

2015-05-28 10:58:57

分布式弹性计算云计算架构

如何利用Spring Cloud构建起自我修复型分布式系统译文

利用Netflix所打造的组件及各类大家熟知的工具，我们完全可以顺利应对由微服务以及分布式计算所带来的技术挑战。

2015-05-28 09:13:34

Spring Clou 云应用开发自我修复

HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

HDFS HA的解决方案可谓百花齐放，Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS，因为简单易用，但是需要提供一个HA的共享存储设备。而社区已经把基于QJM/Quorum Journal Manager的方案merge到trunk了，clouderea提供的发行版中也包含了这个feature，这种方案也是社区在未来发行版中默认的 HA方案。

2015-05-27 14:25:08

HDFS HA 分布式存储系统

分布式系统的特点及设计理念

分布式系统是大数据时代企业级应用的首选平台，它有良好的可扩展性，尤其是横向可扩展性(Scale Out)，使得分布式系统非常灵活，能应对千变万化的企业级需求，而且降低了企业客户对服务器硬件的要求，真正能做到应用服务层面的弹性扩展(auto- scaling)。

2015-05-26 11:18:06

分布式系统可扩展性

Openstack 之分布式存储技术比较

博文作者重点关注Ceph,Swift,HDFS的功能实现和优缺点，适用场景，并在本文中和大家进行讨论和分享。

2015-05-20 15:54:04

Openstack 分布式存储

ZooKeeper实现分布式的思路

Hadoop生态系统为开源届提供很多优秀软件，zookeeper便是其中一员。

2015-05-18 09:59:48

ZooKeeper 分布式计算 Hadoop

Atlas 分布式版重磅来袭！

Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。

2015-05-14 11:10:00

Atlas 分布式 MySQL中间层

ElasticSearch分布式搜索配置文件详解

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于 Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。下面是讲述了elasticsearch分布式搜索配置文件各类参数的具体含义。

2015-05-14 10:23:13

ElasticSear 分布式搜索配置文件

分布式存储元数据主流设计方法剖析

本文为七牛首席架构师李道兵，对几种存储设计进行了比较全面的分析和总结。而关于分布式存储的元数据设计还有很多更为细节的点和经验值得探讨，留待日后慢慢与大家交流。

2015-05-13 09:34:46

分布式存储元数据设计公有云

开源分布式存储之我见

相信很多公司和我们一样，本就不充足的研发队伍，由于种种历史和政治原因，在同一个领域里充斥了大量类似的开源项目，在我们的分布式存储系统里，目前就采用了HDFS，Gluster，Swift和Ceph四种系统。今天就凭着印象，聊一聊这四种分布式存储的不同。

2015-05-12 13:03:54

开源分布式存储 HDFS

基于java的分布式爬虫

分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。

2015-04-21 09:39:03

java java分布式爬虫

华为分布式云数据中心架构助企业数据中心转型

华为云数据中心解决方案通过SD-DC2架构，将计算、存储、网络等系统的功能融为一体，提供融合资源控制、可视化业务编排、快速精确的事件响应等诸多功能，实现传统数据中心向云数据中心的快速过渡。

2015-04-20 12:32:50

SD-DC2 企业数据中心华为

Redis 3.0.0正式版发布,全新的分布式高可用数据库

Redis 3.0.0 正式版终于到来了!最重要的新特性是集群(Redis Cluster)，提供Redis功能子集(比如不支持多数据库)的分布式、容错的实现(最多支持1000结点)。

2015-04-03 12:43:45

Redis 分布式

大数据存储：分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题。

2015-03-18 09:33:41

大数据分布式系统事务处理

技术向：大数据存储—分布式系统的事务处理

对于第一种情况，我们无法解决数据丢失的问题，单台服务器出问题时，会有部分数据丢失。所以，数据服务的高可用性只能通过第二种方法来完成——数据的冗余存储(一般工业界认为比较安全的备份数应该是3份，如：Hadoop和Dynamo)。

2015-03-16 14:38:16

大数据存储分布式系统事务处理

分布式计算时代保护数据中心的8个步骤

数据中心变得越来越动态，以适应快速的应用程序变化以及跨私有云和公共云的各种部署，而由于防火墙或其他阻塞点设备等外围设备，安全仍然是相对静态的，这让数据中心内部的数据容易受到攻击。

2015-03-10 10:59:33

分布式计算数据中心

分布式计算时代保护数据中心的8个步骤

现在的信息安全根本无法跟上业务和IT的发展速度，这已经不是什么秘密。数据中心变得越来越动态，以适应快速的应用程序变化以及跨私有云[注]和公共云的各种部署，而由于防火墙或其他阻塞点设备等外围设备，安全仍然是相对静态的，这让数据中心内部的数据容易受到攻击。

2015-03-10 10:27:00

分布式天线系统将填补无线网络连接缺口

在室内环境，分布式天线系统正演变为一种统一的无线基础设施，围绕基于IT的结构化布线架构进行设计;其便于无线网络运营商和企业或楼宇业主安装部署;同时具备灵活、可扩展且足够简单，可满足快速提升室内覆盖和容量的需求的特点。

2015-03-03 09:32:21

无线网络 BYOD 分布式天线系统

开发者和IT运营团队：如何应对复杂的分布式应用构建挑战

本文作者介绍了2015年IT领域的一些颠覆性的趋势，比如Docker将如何革新PaaS、IaaS等，Docker将如何颠覆虚拟化、私有云、配置管理。

2015-02-26 09:49:16

Docker PaaS 容器化

【博文推荐】CentOS6.6+Puppet3.7.3分布式部署Zabbix2.4监控系统

编者按：如题，作者通过最新版的CentOS6.6和Puppet3.7.3分布式去部署Zabbix2.4的监控系统，这篇非常具有挑战性的内容会让您深刻的体会到Puppet的强悍！

2015-01-21 16:08:52

OpenstackCeph分布式存储的功能实现和适用场景

本篇博文的作者基于一个普通用户的角度，根据实际需求探索Openstack的分布式存储，重点关注Ceph,Swift,HDFS的功能实现和优缺点，适用场景。

2015-01-16 11:30:07

Openstack 分布式存储

深信服WOC-3050实施分布式网络提速方案

如何在分布式的网络中提升ERP、CRM、Notes、FTP、网络邻居、E-mail、OA等应用系统的访问和操作速度，铭冠科技为企业企业打造一个低成本、高效率、高安全、易管理的信息化管理网络平台，提出了精品解决方案。

2015-01-16 09:45:35

深信服 WOC-3050

慕课网携手阿里云独家课程探秘阿里巴巴分布式数据库

慕课网携手国内为数不多的极具技术挑战性的团队之一——阿里巴巴中间件与稳定性平台团队，带来新鲜热辣的独家课程！该团队依托阿里巴巴带来的巨大流量和海量数据，以及电子商务平台固有的稳定性要求，攻克各种难题，创造了多个技术奇迹，并成功支持了淘宝，天猫，阿里云，小微金融等平台的业务与技术需求。

2015-01-06 18:00:58

现代化的分布式应用正成为主流

本文作者是Docker市场营销副总裁 David Messina，他在本文中介绍了分布式应用的概念以及优势，正如David所说，我们正处在一个分布式应用的时代，2015年将会是分布式应用重要的一年。云+Docker+微服务+DevOps，听起来都令人兴奋，期待新的一年。

2015-01-04 10:17:15

云计算 Docker 分布式应用

华三分布式数据库一体机承接大数据时代

12月26日，杭州华三通信技术有限公司在杭州举办了“融‘慧’贯通——FlexData系列一体机”发布会,与上海引跑信息科技有限公司携手进军高端数据库服务器市场。

2014-12-29 10:54:24

大数据一体机华三

Pfs —— 为 Docker 提供的分布式文件系统

Pfs (Pachyderm File System) 是用于 Docker 世界的一个类似 Git 的分布式文件系统。你需要通过 Docker 来使用它。该系统目前还处于 Alpha 阶段。

2014-12-12 09:34:14

Pfs Docker 分布式

Kubernetes – Google分布式容器技术初体验

Kubernetes是Google开源的容器集群管理系统。作者认为一个良好的分布式服务框架需要实现服务的配置管理，包括服务发现、负载均衡及服务依赖管理，以及服务之间的调度及生命周期管理。而Kubernetes包含了上述部分特性，最近Google新推出的Container Engine也是基于Kubernetes基础上实现，本文作者最近对Kubernetes进行了一些尝试与体验。

2014-12-11 09:56:33

Docker Kubernetes Google

Docker发布新的跨容器分布式应用编排服务

12月4日，Docker宣布发布跨容器的分布式应用编排服务，编排服务可以帮助开发者和运维人员创建并管理新一代的可移植的分布式应用程序，新一代的分布式应用程序是由独立且互通的Docker容器快速组合而成，他们有动态的生命周期，并且可以在任何地方以可扩展的方式运行，不管是在开发者的笔记本上，还是在云端。

2014-12-08 10:02:46

Docker 开源跨容器服务

ElasticSearch 1.3.6 发布，分布式搜索引擎

Elastic Search 是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。ElasticSearch 1.3.6 现已发布，支持通过HTTP使用JSON进行数据索引。

2014-11-25 10:09:59

ElasticSear 分布式搜索引擎 Lucene

5个强大的Java分布式缓存框架推荐

在开发中大型Java软件项目时，很多Java架构师都会遇到数据库读写瓶颈，如果你在系统架构时并没有将缓存策略考虑进去，或者并没有选择更优的缓存策略，那么到时候重构起来将会是一个噩梦。

2014-11-19 10:12:29

Java 分布式缓存

McObject公司eXtremeDB 6.0版本正式发布提高扩展性和分布式查询速度

华盛顿州联邦路，2014年10月27日---- McObject®公司，作为创新型数据库系统软件开发商，宣布其eXtremeDB®内存数据库6.0版本及相关系列产品已正式发布。

2014-10-29 19:58:48

达沃时代发布分布式块存储服务系统启动存储生态圈原创

10月27日，达沃时代在北京召开主题为“打造数据沃土，营造千亿生态”的新闻发布会，发布存储新品逸存B系列(YeeStor B serials)分布式块存储服务系统，同时宣告了“创新存储生态圈”的启动。

2014-10-29 17:33:01

达沃时代分布式块存储

RSF分布式服务框架设计：Hasor-RSF

RSF 的本质其实就是 RPC 那么我们可以先对比一下 RPC 里都有什么可以被我们拿来选用。下面列出来的只是其中一些我相信聪明的朋友们会列举出更多的解决方案，我也敢保证你们知道的比我还多……

2014-09-23 10:05:55

RSF 分布式框架

distributeTemplate分布式配置,上下文的同步维护

我们实现分布式也是按照这样一步一步来的，首先是公用的资源对象，第一个必须的公用资源对象是配置，这配置交给用户外部填写手动配置并能维持同步更新所以需要一个配置对象维护在内存里面，需要事件驱动监听配置文件的变化情况

2014-08-20 09:53:54

分布式与集群的联系与区别

集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：

2014-08-13 10:47:18

分布式集群

分布式数据库新思维：跨云平台译文

时至今日，一体多用的数据库处理方式将逐步让位于成本更低但却更加复杂的异构式解决方案。

2014-08-07 08:49:47

SDN：分布式与集中式控制层面学习笔记

最早的计算机统一存储信息，用户受网络性能影响，到了现在，存储云端化则又是将整个资源集中化，这种现象其实就是一个由集中式到分布式再到集中式的过程。

2014-08-05 09:15:14

分布式控制系统github技巧

作为开源代码库以及版本控制系统，Github目前拥有140多万开发者用户。随着越来越多的应用程序转移到了云上，Github已经成为了管理软件开发以及发现已有代码的首选方法。

2014-07-31 16:22:38

大型机上的Linux处理器如何打败分布式服务器？

如果你将关键工作负载放在分布式Linux服务器上，将寸步难行，所以还是将这些负载放在大型机上吧。由于大型机系统设计中拥有非常高的内在资源利用率，大型机比分布式服务器环境更经济。

2014-07-29 09:50:52

Linux 处理器分布式服务器

超大量数据如何处理? 京东技术开放日第二期实战解析大规模分布式存储

此次活动的分享主题是“大规模分布式存储实战解析”。曾带领团队自主研发了京东文件系统、分布式缓存与高速KV服务、新消息队列、新服务框架、新图片系统的京东架构委员会主任、云平台首席架构师、系统技术部负责人刘海锋以“大规模分布式存储的持续研发”为议题进行了讲解。

2014-07-28 14:13:20

京东技术开放日

手机淘宝王少川:长连接及分布式消息推送系统架构与实践

在26日上午的移动应用专场，淘宝无线技术专家王少川为来宾带来题为《手机淘宝长连接及分布式消息推送系统的架构与实践》的精彩演讲。

2014-07-26 09:06:10

WOT2014 手机淘宝王少川

聊聊Python用rpc实现分布式系统调用的那些事

对于rpc的应用，更加的倾向于基本资源的获取和调用，毕竟单纯的用socket或者是mq，你在程序里面还要做一个解析过来的数据，然后根据过来的数据在做调用。

2014-07-22 10:42:04

Python 分布式系统

分布式系统并不是我想象中的那样！

过去两个月深入的参与了一个分布式系统的开发，记得之前有人说过“想成为架构师之前，都是从微观架构开始的”。尽管我从没想过将来的某一天要成为一个架构师，或者领域专家，我只是想萌萌哒的编码，写着自己喜欢的Code，和一群志同道合的朋友做出大家喜欢的商品和产品。

2014-07-16 09:53:57

分布式系统

详细解析 hadoop 分布式部署

对于 Hadoop 来说,在 HDFS 看来,节点分为 Namenode 和 Datanode,其中Namenode 只有一个, Datanode 可以是很多;在 MapReduce 看来,节点又分为Jobtracker 和 Tasktracker,其中 Jobtracker 只有一个,Tasktracker 可以是很多。我是将 namenode 和 jobtracker 部署在 hadoop1 上, hadoop2, hadoop3 作为 datanode和 tasktracker 。

2014-07-15 11:15:44

hadoop 分布式部署

京东技术开放日第二期——大规模分布式存储实战解析

第二期京东技术开放日活动将于7月27日（周日），在国家会议中心3/F 307A会议室举办，本期分享的主题为：大规模分布式存储实战解析。设置的2个技术议题分别是：大规模分布式存储的持续研发与优化和分布式MySQL集群技术开发与实践。

2014-07-11 15:47:17

京东技术开放日

分布式光纤测温系统原理及传感过程

分布式光纤测温系统依据后向散射原理可以分为三种：基于瑞利散射、基于拉曼散射和基于布里渊散射。目前发展比较成熟，且有产品应用于工程的是基于拉曼散射的分布式光纤测温系统。

2014-07-10 09:28:57

NoSQL数据库的分布式模型

在一个服务器完全能够胜任工作时就没必要考虑分布式，这样部署简单，维护也方便很多。本文将介绍NoSQL数据库的分布式模型。

2014-06-30 14:20:05

Moosefs分布式文件系统集群讲解配置

本篇为大家分享一下关于MooseFS的相关知识，以及简单的安装配置介绍。MooseFS是一种分布式文件系统，它通过四个节点服务器来进行整个分布式文件系统的正常运作，包括管理服务器，元数据日志服务器，存储服务器和客户端挂载。本章将通过实验环境为大家介绍整个集群的运行原理以及工作方式。如有更多方案或者简介，欢迎多多交流！

2014-06-24 15:24:52

Moosefs 分布式集群

初志云存储：多节点分布式存储打造全新信息化港口

初志云存储系统抛开硬盘RAID，节点级宕机不丢数据，实现了节点级的数据安全。并且提供跨广域网的远程异地备份和恢复功能，能够实现对本地存储数据的异地容灾保护，消除安全策略的地域限制，从而构建全面的、完整的数据安全策略。

2014-06-18 16:47:57

初志云存储云计算

Windows平台分布式架构实践 - 负载均衡

在网站架构的不断演变中，负载均衡起着非常重要的位置，不仅仅为我们提升可靠性和可扩展性，有一些比较强大的硬件设备还能提供缓存，以及session机制。

2014-06-11 09:17:39

上一页 1 ··· 19 20 21 22 23 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营