51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

分布式

1418内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1418 条
基于Consul的分布式信号量实现
本文将继续讨论基于Consul的分布式锁实现。信号量是我们在实现并发控制时会经常使用的手段，主要用来限制同时并发线程或进程的数量。

2017-05-11 14:05:25

Consul分布式信号量
浅析分布式系统一些事
在运维模型的进化上，从IaaS到PaaS到SaaS，其应用范围也许是越来越窄，但使用的便利性却成倍的提高。这也证明了，软件劳动的工作，也是可以通过分工，向更专业化、更细分的方向去提高效率。

2017-05-10 08:59:18

分布式系统承载量
分布式缓存技术redis学习系列----深入理解Spring Redis的使用
关于spring redis框架的使用，网上的例子很多很多。但是在自己最近一段时间的使用中，发现这些教程都是入门教程，包括很多的使用方法，与spring redis丰富的api大相径庭，真是浪费了这么优秀的一个框架。

2017-05-09 08:27:42

分布式缓存技术Spring Redi
大型分布式网站架构技术总结
本文是学习大型分布式网站架构的技术总结。对架构一个高性能，高可用，可伸缩，可扩展的分布式网站进行了概要性描述，并给出一个架构参考。一部分为读书笔记，一部分是个人经验总结。对大型分布式网站架构有很好的参考价值。

2017-05-08 11:53:21

分布式网站架构
细说分布式数据库的过去、现在与未来
随着大数据这个概念的兴起以及真实需求在各个行业的落地，很多人都热衷于讨论分布式数据库，今天主要讲一下分布式数据库的过去和现状，希望大家能对这个领域有一个全面的了解;TiDB的架构以及最近的一些进展;最后结合我们开发TiDB过程中的一些思考讲一下分布式数据库未来可能的趋势。

2017-05-02 21:05:01

分布式数据库细说
Python分布式抓取和分析京东商城评价
互联网购物现在已经是非常普遍的购物方式，在互联网上购买商品并且使用之后，很多人都会回过头来对自己购买的商品进行一些评价，以此来表达自己对于该商品使用后的看法。商品评价的好坏对于一个商品的重要性显而易见，大部分消费者都以此作为快速评判该商品质量优劣的方式。所以，与此同时，有些商家为了获得好评，还会做一些 “好评优惠” 或者 “返点” 活动来刺激消费者评价商品。

2017-04-25 15:40:12

数据分析商品评价
微信分布式数据存储协议对比——Paxos和Quorum
分布式系统是网络化的计算机系统，海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群，存储设备出现异常是必然，分布式系统通过多节点分布及冗余，避免个别异常节点影响到系统的正常服务，同时提供平行扩展能力。

2017-04-21 12:44:34

PaxosQuorum微信
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起，接着阐述实现高可用强一致的思路，然后具体分析每个实现环节要注意的要点和解决方案，最后展示了PhxSQL在容灾和性能上的成果。

2017-04-17 09:54:34

分布式数据库PhxSQL
分布式存储系统基础
分布式存储系统首先要面对的问题就是数据分片，即将数据均匀地分布到多个存储节点。另外，为了保证可靠性和可用性，需要将数据复制多个副本，这就带来了多个副本的数据一致性问题。

2017-04-14 09:48:25

分布式存储系统
基于Consul的分布式锁实现
本文将介绍一种基于Consul 的Key/Value存储来实现分布式锁以及信号量的方法。

2017-04-13 10:51:09

Consul分布式锁
Hive、MapReduce、Spark分布式生成唯一数值型ID
Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

HiveMapReduceSpark
如何设计一款多场景分布式发号器（Vesta）
在定期校对模式中最常使用的方法是在每个系统间传递和保存一个统一的唯一流水号(或称为traceid)，通过系统间两两核对或者第三方统一核对唯一流水号来保证各个系统之间步伐一致、没有掉队的行为，也就是系统间状态一致，在互联网的世界里，产生唯一流水号的服务系统俗称发号器。

2017-04-06 15:15:02

多场景分布式发号器
分布式服务化系统一致性的“最佳实干”
本文从一致性问题的实践出发，从大规模高并发服务化系统的实践经验中进行总结，列举导致不一致的具体问题，围绕着具体问题，总结出解决不一致的方法，并且抽象成模式，供大家在开发服务化系统的过程中参考。

2017-04-06 11:59:19

分布式服务化系统
分布式存储＋手机号转二维码，快递实名制信息安全联盟想从源头把你的信息隐私化
快递实名制信息安全联盟给出的方案是，“后台实名制+前台隐私化”，利用分布式信息存储技术，从源头将用户的信息数据进行分离：用户收派信息保存在物流公司，手机号保护信息存储在运营商，实名制系统认证数据存储至公安系统。

2017-04-02 11:43:39

快递菜鸟信息泄露
强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构
互联网行业是大势所趋，从招聘工资水平即可看出，那么如何提升自我技能，满足互联网行业技能要求？需要以目标为导向，进行技能提升，本文主要针对高并发分布式系统设计、架构(数据一致性)做了分析，祝各位早日走上属于自己的”成金之路”。

2017-03-22 22:51:03

强势eBayBASE模式
我们为何很难对超大规模应用与分布式架构进行备份？ 译文
即使逐步淘汰了原有备份与负责处理相关任务的脚本，大家仍会发现各类下一代应用程序及数据库在备份与恢复方面的表现令人沮丧。然而最近GitLab由于误删导致主数据库数据丢失的事故证明，即使技术水平极高的组织机构也很难顺利处理这一难题。

2017-03-15 06:00:42

大规模应用分布式架构
微服务架构下的分布式数据管理
在微服务架构中，每个微服务都有自己私有的数据集。不同微服务可能使用不同的SQL或者NoSQL数据库。尽管数据库架构有很强的优势，但是也面对数据分布式管理的挑战。第一个挑战就是如何在多服务之间维护业务数据一致性;第二个挑战是如何从多服务环境中获取一致性数据。

2017-03-14 11:52:52

微服务架构数据管理
在分布式系统里看CAP定理
计算机界有很多高大上又难于理解的术语，CAP就是其中之一， 什么一致性(Consistency)， 可用性(Availability)， 分区容错性(Partition tolerance) 就很难理解了， 再加上CAP定理更是让人云里雾里， 今天咱们试图通俗的演绎一下。

2017-03-14 08:57:10

CAP定理可用性
signalR+redis分布式聊天服务器搭建
最近在搞一个直播项目需要聊天服务器，之前是以小打小闹来做的，并没有想太多就只有一台服务器。前几天一下子突然来了5000人，服务器瞬间gg，作为开发人员的我很尴尬！ 这就是我们这篇文章的背景。

2017-03-13 14:02:10

分布式聊天服务器
使用dubbo分布式框架开发项目
Dubbo是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点

2017-03-02 13:19:43

dubbo分布式框架
5节点Hadoop分布式集群搭建经验分享
本文章我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。

2017-02-28 09:48:30

Hadoop集群搭建
从微服务到分布式系统：Java开发者生存指南 译文
本文用问答的形式，针对微服务与分布式系统区分开来的认知问题进行阐述。

2017-02-22 11:52:49

微服务分布式Java开发者
这三种分布式存储文件系统你造吗？
随着云计算在全球范围内的高速发展，谷歌、亚马逊等企业的崛起，特别是"互联网+"深入融合背景下的业务云化需求，传统企业在数据中心建设中被动地徘徊在传统存储阵列与分布式存储两种体系存储架构之间。这两种存储结构并没有绝对的优劣之分，而大数据的繁盛让分布式存储架构近几年中获得了前所未有的关注。

2017-02-20 17:15:43

分布式存储文件系统
雅虎BigML团队开源大数据分布式深度学习框架TensorFlowOnSpark
在雅虎，我们发现，为了从海量数据中获得洞察力，需要部署分布式深度学习。现有的深度学习框架常常要求为深度学习单独设定集群，迫使我们要为一个机器学习流程(见下图 1)创建多个程序。

2017-02-15 14:36:12

开源大数据TensorFlowO
阿里巴巴分布式数据库服务DRDS研发历程
淘宝DRDS/TDDL是阿里巴巴自主研发的分布式数据库服务。DRDS脱胎于阿里巴巴开源的Cobar分布式数据库引擎，吸收了Cobar核心的Cobar-Proxy源码，实现了一套独立的类似MySQL-Proxy协议的解析端，能够对传入的SQL进行解析和处理，对应用程序屏蔽各种复杂的底层DB拓扑结构，获得单机数据库一样的使用体验。

2017-01-20 16:00:33

阿里巴巴分布式数据库DRDS
英特尔开源分布式深度学习库BigDL：支持高性能大数据分析
近日，英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL，其可以利用已有的 Spark 集群来运行深度学习计算，并且还能简化从 Hadoop 的大数据集的数据加载。

2017-01-19 11:36:28

英特尔大数据分析BigDL
华为分布式云数据中心助力电力行业升起“电力云”
各大电力公司都在努力建设全面高效的电网企业经营管理信息化系统，研究部署云计算。为此国家电网提出了“电力云”的概念。

2017-01-18 15:26:09

华为
京东分布式服务跟踪系统-CallGraph
CallGraph根据Google为其基于日志的分布式跟踪系统Dapper发表的论文，由京东商城基础平台部自主研发，目前已经上线。

2017-01-16 14:51:26

京东分布式服务CallGraph
分布式锁的多种实现方式
分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容错性(Partition tolerance)，最多只能同时满足两项。

2017-01-16 14:13:37

分布式锁数据库
京东分布式存储建设之路
对象存储的元数据管理是一个业内难题。虽然对象存储并无目录的概念，但要支持按前缀进行List操作，即能通过Prefix和Delimiter的结合，实现层次查询。在数据量不大时，类似于Hdfs的NameNode将全部用户Key都存在内存中就能满足需求，但当对象的数量过亿或者十亿时，将会耗尽内存，无法做到横向扩展。很多KV存储能做到随意横向扩展，但不能很好的支持对象存储List请求。

2017-01-10 16:18:26

分布式存储建设
为什么说传统分布式事务不再适用于微服务架构?
微服务架构该如何保证数据一致性呢?本文就来谈谈这个话题。

2017-01-06 15:27:51

传统分布式微服务架构数据一致性
一分钟实现分布式锁
分布式环境下，多台机器上多个进程对一个数据进行操作，如果不做互斥，就有可能出现“余额扣成负数”，或者“商品超卖”的情况，如何实现简易分布式锁，对分布式环境下的临界资源做互斥，是今天将要讨论的话题。

2016-12-16 11:05:00

分布式互斥线程
华为分布式存储助力国泰君安建设PB级弹性资源池

2016-12-14 13:36:02

华为存储
如何解决分布式系统可管理性问题?
分布式系统是一个由很多进程组成的整体，这个整体中每个成员部分，都会具备一些状态，比如自己的负责模块，自己的负载情况，对某些数据的掌握等等。

2016-12-09 09:21:45

分布式系统大数据
“分布式猜解”攻击可六秒钟内搞定Visa卡的安全验证
如果在电商网站输错多次某信用卡的有效期和CVV安全码，该网站将禁止使用该信用卡，以防止网络罪犯猜解信用卡。但是电商网站有很多，如果把这些网站同时利用起来猜解信用卡的凭证信息呢?结果是只需6秒钟，就可达到目的。

2016-12-07 15:54:01

分布式攻击Visa卡
联想超融合存储：面向对象的分布式存储系统
联想超融合系统利用分片机制来解决单个服务器不能满足的大量数据存储和大吞吐量的系统读写等问题。分片是一种水平扩展方式，把一个大的数据集分散到多个服务器上，所有的服务器将组成一个逻辑上的数据库来存储这个大的数据集。

2016-12-06 20:01:00

超融合
细聊分布式ID生成方法
今天和大家聊聊分布式ID生成方法。

2016-11-29 09:12:21

数据库分布式ID
TaoCloud与红帽发布XDFS-Pro分布式文件存储
随着云计算和大数据的飞速发展，弹性、高效、持续可用已成为现代IT架构的基本要求。 TaoCloud与红帽双方携手，整合最新的云计算、软件定义数据中心相关产品和技术，共同致力于为用户提升数据中心效率，简化数据中心管理并降低数据中心成本

2016-11-22 09:48:45

TaoCloud
运维改革探索(二)：构建可视化分布式运维手段
工欲善其事，必先利其器。上篇我们已经详细分享了监控相关的知识，然而运维可视化，除了构造可视化监控外，还要建立相应的运维手段，云化下的运维工具和传统架构的有较大不同，对集群式、分布式提出了更高的要求。

2016-11-15 13:35:16

运维可视化分布式
【专访】颜世光：百度通过分布式集群实现万亿量级计算
记者在WOT2016大数据峰会前采访了百度网页搜索基础架构团队技术负责人颜世光，他是WOT2016大数据峰会上的发言嘉宾之一，与我们共同分享了关于海量计算以及搜索引擎的最新技术。

2016-11-11 20:23:17

分布式集群万亿量级计算百度
【WOT】颜世光：百度通过分布式集群实现万亿量级计算 原创
颜世光于2011年加入百度，早期从事Spider系统架构相关研发，期间主持了百度第三代Spider系统的设计与实现。当前主要研究方向为大规模分布式系统，是百度海量数据库Tera、百度文件系统BFS和集群操作系统Galaxy的主要作者。他热衷开源，先后推动了百度多个重量级系统对外开源

2016-11-08 21:18:22

百度
实时处理大数据的分布式系统Druid-IO
Druid 是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。

2016-11-08 12:49:27

大数据分布式系统Druid-IO
分布式系统，你真的了解吗?
我们邀请腾讯互娱研发部高级工程师韩伟，分享他所理解的分布式系统。由于内容较多，将分三篇进行讲述，本期第一篇先来看看他眼中的分布式系统究竟是什么吧。

2016-11-02 12:06:27

分布式系统大数据
Gigamon推出全新产品GigaVUE-HC1，助力分布式及小型企业实现全面可视化、提升安全效能
近日，流量可视化解决方案领导厂商Gigamon 宣布推出全新GigaVUE-HC1产品，助力GigaSECURE®安全交付平台覆盖范围实现大跨度发展，从大型数据中心、小型企业一直到分布式企业的远程站点。

2016-10-27 10:42:05

Gigamon
一文读懂分布式系统
分布式系统是一个古老而宽泛的话题，而近几年因为 “大数据” 概念的兴起，又焕发出了新的青春与活力。除此之外，分布式系统也是一门理论模型与工程技法并重的学科内容。

2016-10-25 14:35:05

分布式系统 存储
分布式、模块化的Java开发平台Castle-Platform
Castle-Platform是一个分布式、模块化的开发平台，目标是打造高性能、高扩展性的开发平台，完成通用的管理功能。采用了后台管理集中部署，会员业务系统可分离部署等特点，可独立区分后台管理系统、前端展示系统、用户中心系统。开发者可以在此基础上进行扩展，进而使用一个核心就可以开发出各种互联网产品。

2016-10-24 15:37:33

Castle-PlatJava
Oracle12c R2：利用分片技术提升分布式性能
Oracle分片功能吸取了Cassandra、MongoDB和Amazon DynamoDB这些NoSQL数据库的长处。这些数据库以及其它一些NoSQL数据库都支持分片技术，使得数据库可以水平跨多个服务器部署。

2016-10-19 09:36:04

Oracle12c R分片分布式
如何设计一个复杂的分布式爬虫系统？
一个复杂的分布式爬虫系统由很多的模块组成，每个模块是一个独立的服务(SOA架构)，所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf，或是soup，或是json，等)协议来交互和通讯。

2016-09-30 10:13:07

分布式爬虫系统
分布式计算中的八大谬论，哪些已经得到有效解决 译文
第一大谬论很可能导致您的设施陷入瘫痪。正如墨菲定律所言，可能发生的坏事儿一定会发生，网络正是验证这一定律的有效载体。不过，主动事务数据复制机制能够确保即使单一甚至整体数据中心下线，大家需要的信息仍然能够得到顺利交付——这是因为各数据节点能够不受地理影响而实现持续同步。

2016-09-27 11:22:28

云计算
腾讯云分布式高可靠消息队列CMQ架构最佳实践
腾讯云基础产品团队：继承腾讯内部沉淀十多年的虚拟化、计算、网络、存储等基础能力，深度开发KVM和SDN网络虚拟化等底层技术，开发高可用块存储和容器服务，为业界打造一系列高可用高性能的弹性云产品，以及覆盖互联网和传统行业的综合解决方案。

2016-09-23 10:51:23

腾讯云
上一页 1 ··· 1920212223 ··· 29
点赞

51CTO技术栈公众号

业务
速览
在线客服