鸿蒙开发者社区

公众号矩阵

移动端

视频课免费课排行榜短视频直播课软考学堂

全部课程软考信创认证华为认证厂商认证 IT技术 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

分布式

1417内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1417 条

该如何抵御一场无情的分布式拒绝服务攻击(DDoS)

2015年5月17日星期天，网络犯罪分子向我所在的企业——HotSchedules公司，负责为来自餐厅、医院以及零售行业的超过200万员工提供云服务——发动了一场恶毒的分布式拒绝服务攻击。

2015-07-27 15:15:10

DDoS 分布式拒绝服务攻击

如何利用Node.js 构建分布式集群

在软件定义的世界里，企业通过Web应用和移动应用程序来提供大部分的服务，而Node.js迅速成为时下最为流行的一个平台之一，就和它可以搭建响应速度快、易于扩展的web应用和移动应用很很大关系，并凭借这点成为了新的主流。

2015-07-21 16:23:22

Node.js 构建分布式

【分布式计算】MapReduce的替代者-Parameter Server

随着互联网的发展，数据量的增大，很多对于数据的处理工都迁移到了云端,衍生了很多分布式计算的计算模型，比较著名的就是MapReduce、MPI、BSP等。后来也产生了一些分布式计算系统，大家耳熟能详的Hadoop就是基于 MapReduce实现的。本文的主人公是Parameter Server，其实也不算是新宠了，这个模型已经被提出好几年了，只不过在国内还不是特别热。不过最近一些云服务巨头们开始了对于PS的深入开发和研究。

2015-07-16 15:30:34

分布式计算 PS 云计算

分布式程序员必读：你与分布式和事务真的很熟吗？

本文略长，读者需要有一定耐心，如果你是高级码农或者架构师级别，你可以跳过。本文注重实战或者实现，不涉及CAP，略提ACID。本文适合基础分布式程序员。由于分布式这个话题太大，事务这个话题也太大，让我们从一个集群的一个小小节点开始谈起。

2015-07-15 10:42:38

分布式分布式事务集群

Codis作者黄东旭细说分布式Redis架构设计和踩过的那些坑

Codis是一个分布式Redis解决方案，与官方的纯P2P的模式不同，Codis采用的是Proxy-based的方案。本文将介绍Codis及下一个大版本RebornDB的设计，同时会介绍一些Codis在实际应用场景中的tips，以及作者对分布式存储的一些观点和看法。

2015-07-07 10:39:02

Codis Redis 分布式架构设计

对于分布式存储的若干看法

分布式存储的应用场景相对于其存储接口，现在流行分为三种: 对象存储、块存储、文件存储。本文将对三种类型的分布式存储的应用场景、实现思路和实现方案上作出解答。

2015-07-02 13:26:35

分布式存储云存储云平台

如何快速搭建HBase分布式NoSQL数据库

建议大家在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建即可。以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作。

2015-06-30 12:49:27

HBase NoSQL 分布式

《淘宝技术这十年》读书笔记: 分布式时代和中间件

这篇文章主要讲述分布式时代和中间件相关知识，包括服务化、HSF、Notify和TDDL。同时里面有我们经常遇见的编码错误等相关问题，希望文章对你有所帮助！

2015-06-19 07:50:47

淘宝技术分布式计算中间件

使用 Redis 实现分布式系统轻量级协调技术

Redis 经常被人们认为是一种 NoSQL 软件，但其本质上是一种分布式的数据结构服务器软件，提供了一个分布式的基于内存的数据结构存储服务。

2015-06-17 14:10:34

Redis 分布式系统协调

详解 NoSQL 数据库的分布式算法

系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。这么讲使得NoSQL听起来像是一个大筐，什么都能塞进去。尽管NoSQL运动并没有给分布式数据处理带来根本性的技术变革，但是依然引发了铺天盖地的关于各种协议和算法的研究以及实践。

2015-06-16 10:39:43

NoSQL 分布式算法

微软分布式云端机器学习应用探讨

如今，各类企业都在积聚越来越庞大的数据资产，比如用户行为、系统访问、使用模式等数据记录。而运用像微软Azure机器学习平台这样的云端服务平台，企业不仅仅可以用它来储存数据，做一些经典的“后视”商务智能分析，更能使用云端的强大力量做出具有“前瞻性”的预测分析。

2015-06-10 09:47:18

微软分布式云平台

微软开源rDSN分布式系统开发框架

近日，由微软亚洲研究院系统组开发的分布式系统开发框架——Robust Distributed System Nucleus（rDSN）通过GitHub平台开源。rDSN旨在为广大分布式系统的开发者，学生，和研究人员提供一个开放式的框架，用于快速搭建和运维高性能和高鲁棒的分布式系统，而后者对于当前很多技术的成功都至关重要，比如云计算，大数据和物联网等。

2015-06-01 10:31:43

微软开源 rDSN

【专题解析】分布式文件系统 Ceph 面面观原创

在这十年的发展过程中，Ceph似乎越来越向着云计算的方向靠拢，最先的CephFS文件系统已经不再是开发重点，甚至开发已经陷入了停滞状态。而与虚拟化相关的RBD、RGW则成了发展重点，成为发展最快的模块。但是从代码中仍然能够看到各种遗迹，似乎在告诉后来人这段饶了一个大弯的历史。

2015-05-29 12:47:53

Ceph 云存储开源

云计算架构探索：分布式系统设计三忌

最近在做系统升级，由于当时设计的局限，导致系统不停服，保证服务的做法非常麻烦。当时再定方案的时候，由于自己在这方面没有经验，导致有些乐观。到了实际做的时候，预期时间至少比预想的多了一周的时间，要知道，在互联网公司，一周的时间是个非常长的时间。而这一周，还包括了OT。

2015-05-28 10:58:57

分布式弹性计算云计算架构

如何利用Spring Cloud构建起自我修复型分布式系统译文

利用Netflix所打造的组件及各类大家熟知的工具，我们完全可以顺利应对由微服务以及分布式计算所带来的技术挑战。

2015-05-28 09:13:34

Spring Clou 云应用开发自我修复

HDFS HA: 高可靠性分布式存储系统解决方案的历史演进

HDFS HA的解决方案可谓百花齐放，Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等等。目前普遍采用的是shared NAS+NFS，因为简单易用，但是需要提供一个HA的共享存储设备。而社区已经把基于QJM/Quorum Journal Manager的方案merge到trunk了，clouderea提供的发行版中也包含了这个feature，这种方案也是社区在未来发行版中默认的 HA方案。

2015-05-27 14:25:08

HDFS HA 分布式存储系统

分布式系统的特点及设计理念

分布式系统是大数据时代企业级应用的首选平台，它有良好的可扩展性，尤其是横向可扩展性(Scale Out)，使得分布式系统非常灵活，能应对千变万化的企业级需求，而且降低了企业客户对服务器硬件的要求，真正能做到应用服务层面的弹性扩展(auto- scaling)。

2015-05-26 11:18:06

分布式系统可扩展性

Openstack 之分布式存储技术比较

博文作者重点关注Ceph,Swift,HDFS的功能实现和优缺点，适用场景，并在本文中和大家进行讨论和分享。

2015-05-20 15:54:04

Openstack 分布式存储

ZooKeeper实现分布式的思路

Hadoop生态系统为开源届提供很多优秀软件，zookeeper便是其中一员。

2015-05-18 09:59:48

ZooKeeper 分布式计算 Hadoop

Atlas 分布式版重磅来袭！

Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug，添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。

2015-05-14 11:10:00

Atlas 分布式 MySQL中间层

ElasticSearch分布式搜索配置文件详解

Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于 Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段(snippet)的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。下面是讲述了elasticsearch分布式搜索配置文件各类参数的具体含义。

2015-05-14 10:23:13

ElasticSear 分布式搜索配置文件

分布式存储元数据主流设计方法剖析

本文为七牛首席架构师李道兵，对几种存储设计进行了比较全面的分析和总结。而关于分布式存储的元数据设计还有很多更为细节的点和经验值得探讨，留待日后慢慢与大家交流。

2015-05-13 09:34:46

分布式存储元数据设计公有云

开源分布式存储之我见

相信很多公司和我们一样，本就不充足的研发队伍，由于种种历史和政治原因，在同一个领域里充斥了大量类似的开源项目，在我们的分布式存储系统里，目前就采用了HDFS，Gluster，Swift和Ceph四种系统。今天就凭着印象，聊一聊这四种分布式存储的不同。

2015-05-12 13:03:54

开源分布式存储 HDFS

基于java的分布式爬虫

分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能分布在同一个局域网之中，或者分散在不同的地理位置。

2015-04-21 09:39:03

java java分布式爬虫

华为分布式云数据中心架构助企业数据中心转型

华为云数据中心解决方案通过SD-DC2架构，将计算、存储、网络等系统的功能融为一体，提供融合资源控制、可视化业务编排、快速精确的事件响应等诸多功能，实现传统数据中心向云数据中心的快速过渡。

2015-04-20 12:32:50

SD-DC2 企业数据中心华为

Redis 3.0.0正式版发布,全新的分布式高可用数据库

Redis 3.0.0 正式版终于到来了!最重要的新特性是集群(Redis Cluster)，提供Redis功能子集(比如不支持多数据库)的分布式、容错的实现(最多支持1000结点)。

2015-04-03 12:43:45

Redis 分布式

大数据存储：分布式系统的事务处理

当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题。

2015-03-18 09:33:41

大数据分布式系统事务处理

技术向：大数据存储—分布式系统的事务处理

对于第一种情况，我们无法解决数据丢失的问题，单台服务器出问题时，会有部分数据丢失。所以，数据服务的高可用性只能通过第二种方法来完成——数据的冗余存储(一般工业界认为比较安全的备份数应该是3份，如：Hadoop和Dynamo)。

2015-03-16 14:38:16

大数据存储分布式系统事务处理

分布式计算时代保护数据中心的8个步骤

数据中心变得越来越动态，以适应快速的应用程序变化以及跨私有云和公共云的各种部署，而由于防火墙或其他阻塞点设备等外围设备，安全仍然是相对静态的，这让数据中心内部的数据容易受到攻击。

2015-03-10 10:59:33

分布式计算数据中心

分布式计算时代保护数据中心的8个步骤

现在的信息安全根本无法跟上业务和IT的发展速度，这已经不是什么秘密。数据中心变得越来越动态，以适应快速的应用程序变化以及跨私有云[注]和公共云的各种部署，而由于防火墙或其他阻塞点设备等外围设备，安全仍然是相对静态的，这让数据中心内部的数据容易受到攻击。

2015-03-10 10:27:00

分布式天线系统将填补无线网络连接缺口

在室内环境，分布式天线系统正演变为一种统一的无线基础设施，围绕基于IT的结构化布线架构进行设计;其便于无线网络运营商和企业或楼宇业主安装部署;同时具备灵活、可扩展且足够简单，可满足快速提升室内覆盖和容量的需求的特点。

2015-03-03 09:32:21

无线网络 BYOD 分布式天线系统

开发者和IT运营团队：如何应对复杂的分布式应用构建挑战

本文作者介绍了2015年IT领域的一些颠覆性的趋势，比如Docker将如何革新PaaS、IaaS等，Docker将如何颠覆虚拟化、私有云、配置管理。

2015-02-26 09:49:16

Docker PaaS 容器化

【博文推荐】CentOS6.6+Puppet3.7.3分布式部署Zabbix2.4监控系统

编者按：如题，作者通过最新版的CentOS6.6和Puppet3.7.3分布式去部署Zabbix2.4的监控系统，这篇非常具有挑战性的内容会让您深刻的体会到Puppet的强悍！

2015-01-21 16:08:52

OpenstackCeph分布式存储的功能实现和适用场景

本篇博文的作者基于一个普通用户的角度，根据实际需求探索Openstack的分布式存储，重点关注Ceph,Swift,HDFS的功能实现和优缺点，适用场景。

2015-01-16 11:30:07

Openstack 分布式存储

深信服WOC-3050实施分布式网络提速方案

如何在分布式的网络中提升ERP、CRM、Notes、FTP、网络邻居、E-mail、OA等应用系统的访问和操作速度，铭冠科技为企业企业打造一个低成本、高效率、高安全、易管理的信息化管理网络平台，提出了精品解决方案。

2015-01-16 09:45:35

深信服 WOC-3050

慕课网携手阿里云独家课程探秘阿里巴巴分布式数据库

慕课网携手国内为数不多的极具技术挑战性的团队之一——阿里巴巴中间件与稳定性平台团队，带来新鲜热辣的独家课程！该团队依托阿里巴巴带来的巨大流量和海量数据，以及电子商务平台固有的稳定性要求，攻克各种难题，创造了多个技术奇迹，并成功支持了淘宝，天猫，阿里云，小微金融等平台的业务与技术需求。

2015-01-06 18:00:58

现代化的分布式应用正成为主流

本文作者是Docker市场营销副总裁 David Messina，他在本文中介绍了分布式应用的概念以及优势，正如David所说，我们正处在一个分布式应用的时代，2015年将会是分布式应用重要的一年。云+Docker+微服务+DevOps，听起来都令人兴奋，期待新的一年。

2015-01-04 10:17:15

云计算 Docker 分布式应用

华三分布式数据库一体机承接大数据时代

12月26日，杭州华三通信技术有限公司在杭州举办了“融‘慧’贯通——FlexData系列一体机”发布会,与上海引跑信息科技有限公司携手进军高端数据库服务器市场。

2014-12-29 10:54:24

大数据一体机华三

Pfs —— 为 Docker 提供的分布式文件系统

Pfs (Pachyderm File System) 是用于 Docker 世界的一个类似 Git 的分布式文件系统。你需要通过 Docker 来使用它。该系统目前还处于 Alpha 阶段。

2014-12-12 09:34:14

Pfs Docker 分布式

Kubernetes – Google分布式容器技术初体验

Kubernetes是Google开源的容器集群管理系统。作者认为一个良好的分布式服务框架需要实现服务的配置管理，包括服务发现、负载均衡及服务依赖管理，以及服务之间的调度及生命周期管理。而Kubernetes包含了上述部分特性，最近Google新推出的Container Engine也是基于Kubernetes基础上实现，本文作者最近对Kubernetes进行了一些尝试与体验。

2014-12-11 09:56:33

Docker Kubernetes Google

Docker发布新的跨容器分布式应用编排服务

12月4日，Docker宣布发布跨容器的分布式应用编排服务，编排服务可以帮助开发者和运维人员创建并管理新一代的可移植的分布式应用程序，新一代的分布式应用程序是由独立且互通的Docker容器快速组合而成，他们有动态的生命周期，并且可以在任何地方以可扩展的方式运行，不管是在开发者的笔记本上，还是在云端。

2014-12-08 10:02:46

Docker 开源跨容器服务

ElasticSearch 1.3.6 发布，分布式搜索引擎

Elastic Search 是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。ElasticSearch 1.3.6 现已发布，支持通过HTTP使用JSON进行数据索引。

2014-11-25 10:09:59

ElasticSear 分布式搜索引擎 Lucene

5个强大的Java分布式缓存框架推荐

在开发中大型Java软件项目时，很多Java架构师都会遇到数据库读写瓶颈，如果你在系统架构时并没有将缓存策略考虑进去，或者并没有选择更优的缓存策略，那么到时候重构起来将会是一个噩梦。

2014-11-19 10:12:29

Java 分布式缓存

McObject公司eXtremeDB 6.0版本正式发布提高扩展性和分布式查询速度

华盛顿州联邦路，2014年10月27日---- McObject®公司，作为创新型数据库系统软件开发商，宣布其eXtremeDB®内存数据库6.0版本及相关系列产品已正式发布。

2014-10-29 19:58:48

达沃时代发布分布式块存储服务系统启动存储生态圈原创

10月27日，达沃时代在北京召开主题为“打造数据沃土，营造千亿生态”的新闻发布会，发布存储新品逸存B系列(YeeStor B serials)分布式块存储服务系统，同时宣告了“创新存储生态圈”的启动。

2014-10-29 17:33:01

达沃时代分布式块存储

RSF分布式服务框架设计：Hasor-RSF

RSF 的本质其实就是 RPC 那么我们可以先对比一下 RPC 里都有什么可以被我们拿来选用。下面列出来的只是其中一些我相信聪明的朋友们会列举出更多的解决方案，我也敢保证你们知道的比我还多……

2014-09-23 10:05:55

RSF 分布式框架

distributeTemplate分布式配置,上下文的同步维护

我们实现分布式也是按照这样一步一步来的，首先是公用的资源对象，第一个必须的公用资源对象是配置，这配置交给用户外部填写手动配置并能维持同步更新所以需要一个配置对象维护在内存里面，需要事件驱动监听配置文件的变化情况

2014-08-20 09:53:54

分布式与集群的联系与区别

集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：

2014-08-13 10:47:18

分布式集群

分布式数据库新思维：跨云平台译文

时至今日，一体多用的数据库处理方式将逐步让位于成本更低但却更加复杂的异构式解决方案。

2014-08-07 08:49:47

SDN：分布式与集中式控制层面学习笔记

最早的计算机统一存储信息，用户受网络性能影响，到了现在，存储云端化则又是将整个资源集中化，这种现象其实就是一个由集中式到分布式再到集中式的过程。

2014-08-05 09:15:14

上一页 1 ··· 21 22 23 24 25 ··· 29 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营