鸿蒙开发者社区

WOT全球技术创新大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

分布式

1316内容

关注

涵盖分布式相关研究热点、技术难点与应用场景。

文章博文课程

共 1316 条

一文读懂Hadoop、HBase、Hive、Spark分布式系统架构

机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。

2016-09-01 13:48:18

Hadoop HBase Hive

我与分布式机器学习的故事

从毕业加入Google 开始做分布式机器学习，到后来转战腾讯广告业务，至今已经七年了。我想说说我见到的故事和我自己的实践经历，如果你关注大数据，听完我说的故事，应该会有感触。

2016-08-31 07:02:51

机器学习大数据互联网

国美在线那广：分布式存储与容器技术已经成为电商首选原创

国美电器是中国大陆和香港最大的电器零售商之一。国美需要一个强大的IT系统帮其进行日常运营和支持，借以加强供应链效率并改善购物体验和客户服务。目前，国内的3C零售业已经进入了“多核心竞争”，线上、线下企业都在试图通过自身掌控的庞大资源抢占家电零售业的“流量入口”，线上企业的优势和线下传统企业的积累在每年大促来临之前碰撞得格外激烈

2016-08-28 22:02:52

百年名校律动无线华为敏捷分布式Wi-Fi方案助力南京大学实现无线全覆盖

南京大学作为国家教育部直属重点综合性大学，是国家“985工程”和“211工程”重点建设的高校，其信息化建设一直走在全国高校前列。

2016-08-16 17:28:53

探寻分布式系统中的架构学问译文

在处理分布式系统时，单纯利用容器构建服务还远远不够。我们需要考量架构方面的选择，并利用正确工具加以协助。

2016-08-12 15:17:40

专为分布式系统管理员打造的五款开源支持工具译文

远程分布式系统管理团队能够凭借着跨越全球各时区这一巨大优势保证随时可对突发状况进行解决，同时也带来了更为丰富的人才储备池供企业使用。而在具体工具方面，我们一同来看OpenStack全球基础设施团队选择的五款开源协作方案。

2016-08-01 11:16:45

开源 Etherpad Pastebin

陕西信合携手神州信息打造分布式企业服务总线项目

近年来，随着银行业务的不断发展及信息系统的不断增加，系统间的交互更加复杂与频繁;与此同时，互联网蓬勃发展，金融市场的新需求、新业务不断涌现，竞争压力催生银行转型加速，并对银行的服务理念、信息科技等提出了更高的要求。

2016-07-28 14:36:10

神州信息信息化 IT

泰尔实验室:新华三拿到首张分布式存储“门票”

前，新华三集团H3C ONEStor分布式存储系统正式通过中国泰尔实验室权威测试认证，成为全球首款在泰尔实验室通过认证的存储系统，新华三在分布式存储领域技术实力和经验积累得到了充分展现。该奖项的获得标志着在分布式存储这个新兴领域，新华三已拿到了第一张通过第三方测试机构认证的“门票”。

2016-07-21 18:02:40

国内领先的新一代分布式数据库，巨杉数据库获得1000万美元B轮融资，DCM领投

在当前的资本寒冬之下，巨杉此次B轮融资，体现了投资界对于这家务实的大数据基础软件公司发展的一致看好，而此次融资也成为国内新一代分布式数据库领域最大的一笔投融资。

2016-07-14 09:37:17

数据库 DCM 巨杉数据库

酒店无线覆盖 “神器”——华为敏捷分布式Wi-Fi方案

尼克是一家酒店的老板，拥有客房643间，最近经常有客人抱怨酒店客房的隔音效果不好，影响休息。为了给客人提供良好的休息环境，尼克对酒店进行了一次升级改造，加强了客房的隔音效果。然而升级改造后，有大量客人投诉客房的Wi-Fi体验很差，客房内信号不好，网速慢，打不开网页。对此尼克很不解，客房改造又不是网络改造，网络体验为什么会变差？

2016-07-05 17:57:33

银行业重塑竞争力分布式核心系统或打破业务瓶颈

长期以来，中国银行业发展一直以“稳健”为主。但近年，金融行业的整体发展出现了巨大变化，一方面，银行受利率市场化以及世界经济形势走低的影响，利润率逐年下滑，不良贷款额及不良贷款率持续上升;另一方面，互联网金融浪潮下的跨界竞争者纷纷进入支付、融资等金融传统领域...

2016-07-05 16:51:45

华为敏捷分布式Wi-Fi解决方案通过权威机构Tolly Group测试验证

[中国，深圳，2016年6月6日] 全球领先的信息与通信解决方案供应商华为今日宣布，其敏捷分布式Wi-Fi解决方案顺利通过了国际权威测试机构Tolly Group的测试验证。测试结果表明，在与其他业界主流厂商的室内面板和放装方案对比中，华为敏捷分布式Wi-Fi解决方案表现出卓越的性能，其易管理，零漫游，快速自组网的优势获得测试专家组的一致认可。

2016-06-06 18:30:33

华为，Tolly Gr

京东资深架构师张成远：京东分布式数据库是如何炼成的？原创

2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术人员的理念，自2012年以来，WOT品牌大会已经成功举办了八届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-20 17:18:29

分布式数据库京东 WOT

RG-RSR77系列万兆核心分布式路由器

RG-RSR77系列万兆核心分布式路由器是锐捷网络多年来坚持自主研发，高端路由再创新，重点推出的新一代基于可扩展高性能平台的多核分布式高端路由器。定位于IP骨干网、IP城域网以及各种大型IP网络的核心和汇聚位置应用的可信多业务路由器。

2016-04-09 17:46:51

传统存储阵列与分布式存储只能二选一？宏杉科技说NO！

这两种存储架构并没有绝对的优劣之分。一方面，传统存储阵列以可靠性高、稳定性好，功能丰富而著称，并在以往应用实践中得到了广泛认可。但与此同时，传统存储阵列也暴露出了横向扩展性差、价格昂贵、弹性缺乏、数据连通困难等不足，容易形成数据孤岛，导致数据中心管理和维护的成本居高不下

2016-03-25 10:12:56

彻底厘清真实世界中的分布式系统

分布式系统领域的文献虽然多，我作为一名实践者，却发现如果你不是科班出身，就不知道怎样入门或者如何综合这么多的知识。这篇文章提供了一个不是那么学术的思路，帮助你理解分布式系统的各种设计思想。

2016-01-20 17:13:13

分布式系统架构设计消息平台

分布式存储进入大规模实践阶段

回首IT的历史变迁，半个世纪可谓发生了翻天覆地的变化。上个世纪60年代是IBM大机时代，进入80年代后PC成为主流，诞生了像微软、英特尔这样的一些大公司，90年代以后特别是2000年以后移动互联网的普及，我们迈入了大数据、云计算的时代。

2016-01-12 14:59:40

分布式存储分布式存储架构

密集型小房间无线覆盖神器——华为敏捷分布式AP

随着智能手机、平板电脑、笔记本电脑的普及，WIFI需求正发生着前所未有的爆炸式增长。WiFi无线网络迅速融入当代人的主流生活, 逐渐成为人们工作、学习、生活的基本需求之一。

2016-01-12 14:51:30

华为敏捷分布式AP

Apache Eagle：eBay开源分布式实时Hadoop数据安全引擎

Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全。

2016-01-06 10:22:18

开源 eBay Hadoop

联方云天曾旭东：分布式电源系统的深耕者

中国IDC产业年度大典作为国内云计算和数据中心领域规模最大、最具影响力的标志性盛会，已成功举办九届，如今第十届中国IDC产业年度大典(IDCC2015)也将于2016年1月5日-7日在北京国家会议中心隆重召开，预计本届大会参会人数和规模将达到8000+人次。

2015-12-25 14:43:36

IDC 年度评选

GemFire——12306背后的分布式内存对象缓存系统

我们通过把对象或数据缓存在内存中，减少对传统关系型数据库的读写次数(减少IO瓶颈)，从而使我们的应用支持更多的TPS，更多的并发用户数。GemFire能够在部分场景下对关系型数据库起到很好的补充(甚至替代)作用，它可以作为应用层与传统数据层的“润滑剂”。

2015-12-14 17:35:21

GemFire 12306 分布式

华为发布创新敏捷分布式Wi-Fi解决方案

2015年12月14日，华为发布了创新的敏捷分布式Wi-Fi解决方案，该方案在传统AC+Fit AP的基础上，将Fit AP一分为二，形成AC+中心AP+远端射频单元的三级分布式架构，通过分布式覆盖解决酒店或宿舍的多房间信号覆盖问题和大量AP带来的管理问题。

2015-12-14 15:58:13

微软亚洲研究院开源分布式机器学习工具包

为了满足研究人员和开发者日益增长的各种需求，微软亚洲研究院于日前将分布式机器学习工具包(DMTK）通过GitHub开源。DMTK由一个服务于分布式机器学习的框架和一组分布式机器学习算法构成，是一个将机器学习算法应用在大数据上的强大工具包。

2015-11-11 14:01:26

微软开源分布式

那些分布式系统设计常用的开源模块

分布式系统是个由多个互相连接的处理资源组成的计算机系统，它们在整个系统的控制下协同执行同一个任务，最少依赖于集中的程序、数据或硬件。本文对大家常用的分布式系统设计开源模块进行了总结，包括HBase、Nginx、Zookeeper。

2015-11-10 17:45:00

分布式系统设计开源模块

为什么大部分NoSQL不提供分布式事务？

NoSQL数据库不提供事务机制原因在于其分布式特点，一系列写操作中访问的数据可能位于不同的分区服务器，这样的事务就变成分布式事务，在分布式事务中实现原子性需要彼此协调，而协调是耗费时间的，每台机器在一个大事务过程中必须依次确认，这就需要一种协议确保一个事务中没有任何一台机器写操作失败。这种协调是昂贵的。

2015-11-05 17:41:25

NoSQL 分布式事务事务架构

C#分布式消息队列 EQueue 2.0 发布啦

最近花了我几个月的业余时间，对EQueue做了一个重大的改造，消息持久化采用本地写文件的方式。到现在为止，总算完成了，所以第一时间写文章分享给大家这段时间我所积累的一些成果。

2015-11-02 16:38:09

C#分布式消息队列

分布式存储 HDFS 与 GFS 的设计差异

我们知道 HDFS 最早是根据 GFS(Google File System)的论文概念模型来设计实现的。HDFS 参照了它所以大部分架构设计概念是类似的，比如 HDFS NameNode 相当于 GFS Master，HDFS DataNode 相当于 GFS chunkserver。

2015-10-19 11:41:30

分布式存储 HDFS GFS

系统分布式情况下最终一致性方案梳理

目前的应用系统，不管是企业级应用还是互联网应用，最终数据的一致性是每个应用系统都要面临的问题，随着分布式的逐渐普及，数据一致性更加艰难，但是也很难有银弹的解决方案，也并不是引入特定的中间件或者特定的开源框架能够解决的，更多的还是看业务场景，根据场景来给出解决方案。

2015-10-19 10:42:37

分布式一致性应用系统

IPFS：替代HTTP的分布式网络协议

近日，IFPS宣布了一个未来web发展计划，它用基于内容的地址替代基于域名的地址，也就是用户寻找的不是某个地址而是储存在某个地方的内容，不需要验证发送者的身份，而只需要验证内容的哈希，通过这样可以让网页的速度更快、更安全、更健壮、更持久。IPFS表示，IPFS未来将替代HTTP(以及其他的许多东西)。

2015-10-19 09:52:11

IPFS HTTP 分布式网络协议

如何实现 Docker 与分布式数据库结合

随着如今开源软件以及开源项目的热潮，Docker作为如今在技术圈非常火爆的一款开源软件产品，除了开源项目的贡献非常活跃，目前应用也十分的广泛，包括Redhat在内的多个操作系统都已经能支持Docker，而更是无数的软件已经在使用Docker镜像进行安装部署。

2015-10-16 18:03:25

Docker 分布式 CoreOS

Storm、Spark和MapReduce 开源分布式计算系统框架比较

比较项 Storm Spark Streaming 分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm；这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。

2015-10-15 14:05:51

Storm Spark MapReduce

扒一扒云计算双雄引领的分布式系统革命

谷歌和亚马逊引领分布式系统革命的四篇论文(谷歌关于GFS、Map/Reduce、Bigtable的三篇论文以及亚马逊一篇关于Dynamo的论文)为基础，涉及了云计算架构、Hadoop/Spark大数据生态平台、软件定义网络、软件定义存储等一系列概念和技术。下面我们简单了解一下这三篇论文的重点。

2015-10-15 13:38:39

云计算分布式谷歌

Otto.de：我为什么选择分布式垂直架构

在我们开始开发otto.de网上商店时，我们选择了分布式垂直架构。之前的工作经验告诉我们，一体化架构(monolithic architecture)不能够满足不断增长的需求。爆发式增长的数据，持续提高的负载和对系统的扩展，所有的这些强迫我们去重新思考网站的架构。

2015-10-14 18:25:03

一体化架构设计微服务

ZooKeeper解析：分布式系统工程师的瑞士军刀译文

ZooKeeper是一款极具实用性、现场测试能力并拥有广泛用户群体的中间件，专门用于构建分布式应用程序。在OpenStack当中，ZooKeeper也成为Nova ServiceGroup API后端中的组成部分。最近，ZooKeeper还与Ceilometer相集成，从而为Central Agent带来更为理想的高可用性水平。

2015-09-28 09:46:31

ZooKeeper 分布式系统瑞士军刀

反思｜分布式框架是必须的吗？

目前，我正在使用一个分布式系统并且它没有使用任何上述技术。这个分布式系统运行的很好，虽然它不完美，但是它的确实现了。这就引发我思考分布式框架是否是必须的。

2015-09-24 15:08:28

分布式框架反思分布式系统

NFV和分布式数据环境

企业想要确保最佳的分布式网络环境，就必须了解数据中心外的情况，NFV固然能够在抽象网络里占得优势，但这不应该让企业认为他们与NFV开发没有任何关系。

2015-09-23 14:32:30

NFV 分布式数据环境

C#分布式缓存Couchbase使用

　　目前C#业界使用得最多的 Cache 系统主要是 Memcached和 Redis。这两个 Cache 系统可以说是比较成熟的解决方案，也是很多系统当然的选择。

2015-09-21 09:20:11

C#Couchbase 使用

分布式应用的各基本领域及开发技术概要

本文将简要介绍分布式应用的各基本领域的相关技术。这些技术在一个分布式应用中都会有或多或少的设计，即便暂时没有涉及到，设计人员也要有所考虑，保证系统有进一步发展的空间。

2015-09-16 16:27:33

分布式系统应用开发分布式技术

分布式架构让数据中心不再望云兴叹

9 月18-19 日，华为将在黄浦江畔上海世博中心举办HCC2015，届时上万名来自全球的行业精英、技术专家及意见领袖，将齐聚上海，分享最新的产业洞察，共商云时代的转型大计。此外，华为还将发布面向不同行业的云战略，展现云计算及大数据等方面的解决方案创新突破。

2015-08-28 13:33:53

分布式架构华为

分布式存储大行其道浪潮AS13000何以“木秀于林”？

从大数据元年到“互联网+”，可以看到在每一天每一分钟里，数据都在被大量的创造出来。根据2014年的统计数据，一分钟EMAIL用户发送204,000,000封电子邮件、Google收到4,000,000搜索请求、FACEBOOK用户分享2,460,000条内容……类似的例子可以列出很多，用几个简单的词可以概括海量数据的特点，就是超大规模、快速、多样。

2015-08-21 15:02:45

浅谈数据中心集中式和分布式两大网关方式

在新的数据中心网络架构下，网关的位置不同，代表了不同的架构理念，了解不同网关的实现方式和优缺点，非常必要。

2015-08-20 09:25:46

数据中心集中式分布式

分布式中使用Redis实现Session共享

session和cookie是我们做web开发中常用到的两个对象，它们之间会不会有联系呢？

2015-08-19 15:45:33

C#客户端Redis服务器的分布式缓存

在这篇文章中，我想介绍我知道的一种最紧凑的安装和配置Redis服务器的方式。另外，我想简短地概述一下在.NET / C#客户端下Redis hash（哈希类型）和list（链表）的使用。

2015-08-17 09:48:29

C#客户端分布式缓存

云讲堂：基于Kubernetes进行分布式负载测试

分布式负载测试采用云计算手段，在各种测试场景中这种方案都很有吸引力。云平台使得基础设施平台的弹性得到高度扩展，想要通过大量模拟可产生流量的客户端进行应用和服务测试都十分容易。此外，云计算的定价模式与负载测试的弹性特质非常相符。谷歌云平台是使用容器进行分布式负载测试的极优环境。

2015-08-04 15:47:39

Kubernetes 云计算分布式负载测试

hadoop是什么：分布式系统基础架构

hadoop是什么?hadoop能有哪些应用？hadoop和大数据是什么关系？下面我们将围绕这几个问题详细阐述。

2015-08-03 15:48:42

Hadoop 大数据

分布式计算框架Mesos最新版本六大新特性揭秘

最新的Mesos版本0.23.0已经发布并且现在可以下载了。本文列举了这次版本包含的特点及做了哪些变动。

2015-08-03 13:12:43

分布式计算 Mesos 新版本特性

惊！使用300行代码创建一个分布式系统

构建一个分布式系统是很困难的。它需要可扩展性、容错性、高可用性、一致性、可伸缩以及高效。为了达到这些目的，分布式系统需要很多复杂的组件以一种复杂的方式协同工作。例如，Apache Hadoop在大型集群上并行处理TB级别的数据集时，需要依赖有着高容错的文件系统（HDFS）来达到高吞吐量。

2015-08-03 09:15:00

300行代码分布式系统

Eagle - 来自eBay的分布式实时监控及预警框架

Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这个复杂的大数据问题，具有高扩展性，高实时性，以及高可用性等特点，同时支持使用机器学习为复杂情况提供预测分析。

2015-07-28 15:51:45

Eagle eBay 分布式实时监控

基于HBase构建可伸缩的分布式事务队列

在HBase的帮助下，结合最佳实践，我们该如何创建了一个线性可伸缩的，分布式事务队列系统。

2015-07-28 10:14:33

该如何抵御一场无情的分布式拒绝服务攻击(DDoS)

2015年5月17日星期天，网络犯罪分子向我所在的企业——HotSchedules公司，负责为来自餐厅、医院以及零售行业的超过200万员工提供云服务——发动了一场恶毒的分布式拒绝服务攻击。

2015-07-27 15:15:10

DDoS 分布式拒绝服务攻击

上一页 1 ··· 18 19 20 21 22 ··· 27 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营