51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
智能汽车
开源基础软件社区
WOT全球技术创新大会
公众号矩阵
移动端
免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2023年软考PMP项目管理
在线学习企业服务
CTO训练营技术经理研习营LeaTech峰会
文章资源问答开源课堂专栏直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
开源基础软件社区视频号
账号设置 退出

分布式

1304内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1304 条
设计建设分布式存储集群，集群网络该如何规划？
按照分布式存储的范式，存储系统的管理和业务分属两个网段，互相独立，互不影响，数据传输只在业务网段上进行，管理与业务通过服务器通信，无法通过网络互访。

2018-05-08 08:57:36

分布式存储集群
用Python写一个小白也能懂的分布式知乎爬虫
很早就有采集知乎用户数据的想法，要实现这个想法，需要写一个网络爬虫(Web Spider)。因为在学习 python，正好 python 写爬虫也是极好的选择，于是就写了一个基于 python 的网络爬虫。

2018-05-07 15:15:26

服务器爬虫数据
爆料华为云Cloud Native分布式数据库和高性能数据库技术内幕
伴随着云时代的发展，数据库的故事仍然在继续。无论是商业版 Oracle 还是开源社区版MySQL，数据库技术从烟囱式发展到联邦式，再演进到分布式，上云方式也从 DIY（Do It Yourself）上云、服务化上云到云原生设计。

2018-05-07 13:52:37

华为云
分离式or超融合，分布式存储建设时应该采用何种部署模式？
数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-05-07 09:34:39

分离式超融合存储
从NoSQL到NewSQL，谈交易型分布式数据库建设要点
在上一篇文章《从架构特点到功能缺陷，重新认识分析型分布式数据库》中，我们完成了对不同“分布式数据库”的横向分析，本文我将讲述拆解的第二部分，会结合NoSQL与NewSQL的差异，从纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 09:30:41

数据库NoSQLNewSQL
从架构特点到功能缺陷，带你重新认识分析型分布式数据库
本文会将OLAP类场景的分布式数据也纳入进来，从两个维度对“分布式数据库”进行拆解，第一部分会横向谈谈不同的“分布式数据库”，把它们分为五类并对其中OLAP场景的三类做概要分析；第二部分结合NoSQL与NewSQL的差异，纵向来谈谈OLTP场景“分布式数据库”实现方案的关键技术要点。

2018-05-07 08:55:26

数据库分布式数据库架构特点
飞鱼星分布式智组网方案上市 Mesh技术进入企业
无线对于时下的企业办公来说，其普遍性和重要性已无需多言。企业搭建无线网络的方式有很多种。通常来说微型、小型办公室用一台企业级无线路由器(比如飞鱼星VW1200或VW1900)即可完成办公区域无线覆盖。

2018-05-04 15:08:30

无线网络分布式智组网方案无线办公
什么是区块链——区块链的分布式数据库、共识机制
从狭义上来说，区块链就是一种分布式的数据库，数据结构上就是按时间顺序将数据区块相连的一条链表，链上的每个节点就是一个区块，区块一般通过二叉树(如Merkle Tree)将每笔交易数据打包在一起，形成一个汇总的哈希值，再加上时间戳，就是一个区块的唯一标识。

2018-05-03 20:55:47

区块链分布式数据库
华为发布新一代企业级分布式数据仓库FusionInsight LibrA
在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

华为
大家都在说的分布式系统到底是什么？
本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章，关于分布式的问题最近准备再扩展一些文章，遂把一些基础文章在公众号再发一遍，给没看过的朋友看一下。

2018-04-26 11:05:55

分布式系统集中式系统数据处理
聊一聊如何运维分布式存储
在面对分布式存储的时候，分为两种角度，一种是客户侧，一种是运维侧，客户是上帝，所以不谈上帝的操作，专注于运维侧的系统构建。

2018-04-25 09:01:02

运维分布式存储
深度解读！时序数据库HiTSDB：分布式流式聚合引擎
HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时，根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现，很多针对性的优化很难在公有云上针对特定用户去实施。

2018-04-19 14:47:19

时序数据库HiTSDB
3/N层架构、“框架＋插件”架构、地域分布式架构
凡是个程序员都能侃侃而谈3/N层架构，这确实是解决系统复杂性的一种主流模式，但是，只要采用了3/N层架构是不是就一定能解决系统的复杂性了？不一定，关键在于你在你的系统中如何实作你的3/N层结构。

2018-04-19 10:46:39

3N层框架
Spring Cloud构建微服务架构：分布式服务跟踪（抽样收集）
通过Trace ID和Span ID已经实现了对分布式系统中的请求跟踪，而这些记录的跟踪信息最终会被分析系统收集起来，并用来实现对分布式系统的监控和分析功能，比如：预警延迟过长的请求链路、查询请求链路的调用明细等。

2018-04-18 16:07:49

Spring Clou微服务分布式
Spring Cloud构建微服务架构：分布式服务跟踪（收集原理）
我们介绍一下关于Zipkin收集跟踪信息的过程细节，以帮助我们更好地理解Sleuth生产跟踪信息以及输出跟踪信息的整体过程和工作原理。

2018-04-16 14:56:56

微服务架构分布式服务
分布式存储与传统SAN、NAS相比，有什么优势与劣势？
受限于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时，前端控制器横向扩展能力非常有限，业界最多仅能实现几个控制器的横向。因此，前端控制器成为整个存储性能的瓶颈。

2018-04-13 09:01:58

存储SANNAS
分布式一致性算法：可能比你想象得更复杂
RAFT是个分布式的一致性算法，相比复杂难懂的Paxos， RAFT在可理解，可实现性上做了很大的改进。 你这里的‘老大’，RAFT算法叫做Leader， ‘小弟’叫做Follower，不过人家对日志的复制，以及如何确保数据的一致性有着非常详细的规定。 ”

2018-04-10 16:24:03

算法分布式一致性
Spring Cloud构建微服务架构：分布式服务跟踪（整合zipkin）
Zipkin是Twitter的一个开源项目，它基于Google Dapper实现。我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的REST API接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。

2018-04-09 13:56:13

微服务架构分布式
利用DB实现分布式锁的思路
以前参加过一个库存系统，由于其业务复杂性，搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。比如说，有定时任务域xx.cron，和SystemA域和SystemB域这几个JAVA应用，可能同时修改同一份库存数据。如果不做协调的话，就会有脏数据出现。对于跨JAVA进程的线程协调，可以借助外部环境，例如DB或者Redis。下文介绍一下如何使用DB来实现分布式锁。

2018-04-09 09:15:32

数据库DB分布式锁
分布式锁的多种实现方式
目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。

2018-04-03 16:24:34

分布式锁方式
聊聊图解分布式架构的演进
MySQL 在现在电商以及互联网公司的应用非常多，一个是因为他的免费开源，另外一个原因是因为分布式系统的水平可扩展性，随着移动互联网用户的暴增，互联网公司，像淘宝，天猫，唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。

2018-04-03 09:27:42

分布式架构系统
虚拟化存储逆袭传统 分布式成云中主流
存储方案已经从传统架构向云架构演变，企业客户在业务部署时要基于业务的实际需求，结合数据结构和规模的特点，选择相对应的存储方案，不能冒进全面替换新架构而加大额外的成本支出。不过从长期来看，基于x86的分布式存储，以其集群架构实现的横向扩展能力将成为云存储领域的主角。

2018-04-03 09:19:49

虚拟化存储分布式
Hadoop分布式存储与传统SQL存储比较及存储操作描述
Google 为了应对快速增长的数据处理，开发了一套算法。后来有人根据算法的思想，开发出开源的软件框架 ，就是Hadoop， 随着越来越多的组织和个人开发者在框架开发中不断贡献改进，Hadoop 已经形成一套家族产品，成为当下最成功最流行的分布式大数据处理框架。

2018-04-03 09:07:07

Hadoop存储SQL存储
Spring Cloud构建微服务架构：分布式服务跟踪（整合logstash）
引入基于日志的分析系统是一个不错的选择，比如：ELK平台，它可以轻松的帮助我们来收集和存储这些跟踪日志，同时在需要的时候我们也可以根据Trace ID来轻松地搜索出对应请求链路相关的明细日志。

2018-04-02 15:01:31

微服务架构分布式服务
故障：一场由虚拟化存储引发的分布式缓存性能悲剧
今天分享的就是在主备机房迁移后，由于在虚拟化上缺乏经验，外加跨团队间的沟通盲区，最终引爆了一场分布式缓存的性能悲剧。

2018-04-02 08:44:51

虚拟化存储分布式
负载均衡在分布式架构中是怎么玩起来的？
在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。

2018-03-30 10:52:33

负载均衡分布式架构
用区块链代替云计算，分布式冗余计算能成真吗？
据国外媒体报道，随着区块链技术的兴起，很多新型创业公司正试图利用区块链衍生技术开发软件破坏现有的云计算行业，充分利用现有的消费者冗余计算容量彻底取代远程服务器。

2018-03-29 11:03:36

区块链云计算开源
同为分布式缓存，为何Redis更胜一筹？
如今，市面上的缓存解决方案已经逐步成熟了，今天我将选取其中一些代表性的方案包括Redis、Memcached和Tair进行对比，帮助大家在生产实践中更好地进行技术选型。

2018-03-26 14:09:00

缓存Redis分布式缓存
数据共享 UCloud 分布式文件存储 UFS 新品发布
随着互联网行业的飞速发展，各领域对数据存储及共享的需求与日俱增。据IDC公布的调查数据显示，未来全球数据将维持50%左右的增长率，到2020年全球数据总量将达到44ZB(十万亿亿字节)。

2018-03-25 14:04:23

UCloud分布式存储
当云服务融入分布式缓存系统架构，会擦出怎样的火花？
在互联网技术中有两大支点，其中一个就是缓存，而分布式缓存系统更是大型互联网应用的利器。面对不断增长的海量数据、不可预知的流量模式以及快速响应时间的需求，这正是云计算服务的动态性之关键优势。

2018-03-23 10:42:14

云服务缓存系统架构
基于点对点分布式存储系统的区块链技术正在兴起
目前技术能够较为成熟的应用在社交媒体平台，提供P2P的社交媒体平台。在P2P社交媒体平台中没有服务器的概念，所有网络数据都被分散在各个用户的电脑中，任何人都只需要一对非对称密钥，就能发布自己的站点。

2018-03-23 08:29:55

存储系统区块链分布式
分布式存储系统的一致性是什么？
在分布式存储系统（包括OceanBase这样的分布式数据库）的使用中，我们经常会提到“一致性”这个词，但是这个术语1在不同的系统、不同人的心目中有不同的内涵，很容易造成混淆。

2018-03-19 09:50:50

分布式存储系统
比特币挖矿技术：分布式数据存储、点对点传输、共识机制、加密算法...
区块链具有数据运行公开、不可篡改、可溯源、跨国际、去中心化的特点。因此越来越多地被应用在各个领域。区块链主要技术包括：分布式数据存储、点对点传输、共识机制、加密算法，将在下面一一介绍。

2018-03-14 10:06:25

分布式数据存储
Spring Cloud构建微服务架构：分布式服务跟踪（跟踪原理）
我们已经通过Spring Cloud Sleuth往微服务应用中添加了实现分布式跟踪具备的基本要素。下面通过本文来详细说说实现分布式服务跟踪的一些要点。

2018-03-13 16:42:26

分布式服务跟踪
【大数据】20个运维案例，完美部署全分布式Hadoop集群！
20个生产环境的运维案例，实操练习大数据运维——全面学会如何部署一个完全可用于实际生产的全分布式Hadoop集群，具备IT企业大数据部门中级水平的运维能力。

2018-03-13 15:23:47

大数据hadoop系统运维
分布式存储系统中DHT算法改进
分布式存储系统以及分布式缓存系统习惯采用分布式哈希（DHT）算法来实现数据的分区分配（路由）以及负载均衡，普通的分布式hash算法通过增添虚拟节点，对物理的热点区间进行划分，将负载分配至其他节点，从而达到负载均衡的状态，但是这并不能保证集群的负载就一定很是的均衡。

2018-03-13 08:45:08

存储系统DHT算法
一致性哈希算法及其在分布式存储中的应用
“外行看热闹，内行看门道”，一位做分布式存储的同仁看到了说：接近93%的存储利用率，还在不停写数据进去，说明OStorage-EOS数据分布的均匀性很好，否则，如果数据分布不够均匀，就有可能出现其他的节点或盘还有很多空间，但某一个盘或者某一个节点写满了，这时还继续写数据进去就会出问题。

2018-03-13 08:20:48

区块链数据安全
Hadoop 分布式存储与传统SQL存储比较及存储操作描述
Hadoop 读时模式（Schema on read）,传统SQL是 写时模式（Schema on write）.传统数据库存储时对数据进行检查，需要检查表结构定义等必须匹配后才让存储（write），否则就报错。Hadoop 是你拿过任何数据格式我都给你存储，只要你给我读取这些数据的接口程序，在用到这些数据时（read），才会检查。

2018-03-12 08:33:34

Hadoop存储
分布式存储中的元数据管理
元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。

2018-03-12 08:17:27

分布式存储
一行代码，Pandas秒变分布式，快速处理TB级数据
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择：继续用Pandas?可能会相当慢，上百TB数据不是它的菜。

2018-03-08 11:43:18

PandasTB级数据Spark
来看一看PB级分布式存储Ceph
Ceph 文件系统 — 或者至少是客户端接口 — 在 Linux 内核中实现。值得注意的是，在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但是，在 Ceph 中，文件系统的智能分布在节点上，这简化了客户端接口，并为 Ceph 提供了大规模(甚至动态)扩展能力。

2018-03-08 11:10:33

分布式存储Ceph
新榜样老司机带你认识MySQL分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-03-07 10:50:46

MySQL分布式存储
数据分布式了，计算也得跟上!
框架自然是把基础设施做好，把重复的工作都做了，让用户写的程序越简单越好，我们的框架会把程序1和程序2分布到各个机器上并行运行，还会监控他们的状态。 还有那个所谓的分组操作，也得我们处理，所以这必然是个框架，我想可以把它叫做MapReduce。”

2018-03-06 16:24:14

数据分布式计算
Spring Cloud构建微服务架构：分布式服务跟踪（入门）
针对上面所述的分布式服务跟踪问题，Spring Cloud Sleuth提供了一套完整的解决方案。在本章中，我们将详细介绍如何使用Spring Cloud Sleuth来为我们的微服务架构增加分布式服务跟踪的能力。

2018-03-02 16:11:29

Spring Clou分布式服务跟踪
分布式数据库正连升三级
分布式数据库在去年突然成为热点技术，尤其是开源的分布式数据库，更被各家追捧。这个被谷歌、阿里等企业选用的分布式数据库实现连升三级。

2018-03-02 15:17:16

分布式数据库MySQL
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
分布式存储性能不足？该如何提高？
所谓分布式存储系统，是指将数据分散存储在多台独立设备上的存储方式。传统意义上，网络存储系统一般将所有数据存储在存储服务器中，而存储量的上限也就是存储服务器的上限。

2018-02-27 09:17:52

分布式存储性能
互联网分布式存储入门
在Google、Amazon、腾讯等大型互联网公司里，因为业务广泛，有大量的用户数据需要保存，因此分布式存储系统往往成为该类公司的一个基础设施。分布式存储涉及到单机存储引擎、分布式系统协议等众多领域，该篇文章作为一个入门，带领大家认识分布式存储系统的基本概念。

2018-02-24 13:50:59

互联网分布式存储
分布式存储安全缺陷——存储类型
存储最重要的指标是什么？很多人包括存储专家都会认为是存储的性能指标，比如IOPS和带宽。但是我认为存储最重要的是数据的安全性。一个跑的飞快的存储，突然数据丢失了，后果会怎么样？

2018-02-22 08:42:04

分布式存储安全
《深入分布式缓存》之“自己动手写缓存” 原创
目前市面上已经有很多开源的缓存框架，比如Redis、Memcached、Ehcache等，那为什么还要自己动手写缓存？本章将带领大家从0到1写一个简单的缓存框架，目的是让大家对缓存的类型、缓存的标准...

2018-02-07 10:46:20

数据存储
上一页 1 ··· 1415161718 ··· 27
点赞

51CTO技术栈公众号

业务
速览
在线客服