51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

分布式

1344内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1344 条
深度解读！时序数据库HiTSDB：分布式流式聚合引擎
HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时，根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现，很多针对性的优化很难在公有云上针对特定用户去实施。

2018-04-19 14:47:19

时序数据库HiTSDB
3/N层架构、“框架＋插件”架构、地域分布式架构
凡是个程序员都能侃侃而谈3/N层架构，这确实是解决系统复杂性的一种主流模式，但是，只要采用了3/N层架构是不是就一定能解决系统的复杂性了？不一定，关键在于你在你的系统中如何实作你的3/N层结构。

2018-04-19 10:46:39

3N层框架
Spring Cloud构建微服务架构：分布式服务跟踪（抽样收集）
通过Trace ID和Span ID已经实现了对分布式系统中的请求跟踪，而这些记录的跟踪信息最终会被分析系统收集起来，并用来实现对分布式系统的监控和分析功能，比如：预警延迟过长的请求链路、查询请求链路的调用明细等。

2018-04-18 16:07:49

Spring Clou微服务分布式
Spring Cloud构建微服务架构：分布式服务跟踪（收集原理）
我们介绍一下关于Zipkin收集跟踪信息的过程细节，以帮助我们更好地理解Sleuth生产跟踪信息以及输出跟踪信息的整体过程和工作原理。

2018-04-16 14:56:56

微服务架构分布式服务
分布式存储与传统SAN、NAS相比，有什么优势与劣势？
受限于前端控制器的对外服务能力，纵向扩展磁盘数量无法有效提升存储设备对外提供服务的能力。同时，前端控制器横向扩展能力非常有限，业界最多仅能实现几个控制器的横向。因此，前端控制器成为整个存储性能的瓶颈。

2018-04-13 09:01:58

存储SANNAS
分布式一致性算法：可能比你想象得更复杂
RAFT是个分布式的一致性算法，相比复杂难懂的Paxos， RAFT在可理解，可实现性上做了很大的改进。 你这里的‘老大’，RAFT算法叫做Leader， ‘小弟’叫做Follower，不过人家对日志的复制，以及如何确保数据的一致性有着非常详细的规定。 ”

2018-04-10 16:24:03

算法分布式一致性
Spring Cloud构建微服务架构：分布式服务跟踪（整合zipkin）
Zipkin是Twitter的一个开源项目，它基于Google Dapper实现。我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的REST API接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。

2018-04-09 13:56:13

微服务架构分布式
利用DB实现分布式锁的思路
以前参加过一个库存系统，由于其业务复杂性，搞了很多个应用来支撑。这样的话一份库存数据就有可能同时有多个应用来修改库存数据。比如说，有定时任务域xx.cron，和SystemA域和SystemB域这几个JAVA应用，可能同时修改同一份库存数据。如果不做协调的话，就会有脏数据出现。对于跨JAVA进程的线程协调，可以借助外部环境，例如DB或者Redis。下文介绍一下如何使用DB来实现分布式锁。

2018-04-09 09:15:32

数据库DB分布式锁
分布式锁的多种实现方式
目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。

2018-04-03 16:24:34

分布式锁方式
聊聊图解分布式架构的演进
MySQL 在现在电商以及互联网公司的应用非常多，一个是因为他的免费开源，另外一个原因是因为分布式系统的水平可扩展性，随着移动互联网用户的暴增，互联网公司，像淘宝，天猫，唯品会等电商都采用分布式系统应对用户的高并发量以及大数据量的存储。

2018-04-03 09:27:42

分布式架构系统
虚拟化存储逆袭传统 分布式成云中主流
存储方案已经从传统架构向云架构演变，企业客户在业务部署时要基于业务的实际需求，结合数据结构和规模的特点，选择相对应的存储方案，不能冒进全面替换新架构而加大额外的成本支出。不过从长期来看，基于x86的分布式存储，以其集群架构实现的横向扩展能力将成为云存储领域的主角。

2018-04-03 09:19:49

虚拟化存储分布式
Hadoop分布式存储与传统SQL存储比较及存储操作描述
Google 为了应对快速增长的数据处理，开发了一套算法。后来有人根据算法的思想，开发出开源的软件框架 ，就是Hadoop， 随着越来越多的组织和个人开发者在框架开发中不断贡献改进，Hadoop 已经形成一套家族产品，成为当下最成功最流行的分布式大数据处理框架。

2018-04-03 09:07:07

Hadoop存储SQL存储
Spring Cloud构建微服务架构：分布式服务跟踪（整合logstash）
引入基于日志的分析系统是一个不错的选择，比如：ELK平台，它可以轻松的帮助我们来收集和存储这些跟踪日志，同时在需要的时候我们也可以根据Trace ID来轻松地搜索出对应请求链路相关的明细日志。

2018-04-02 15:01:31

微服务架构分布式服务
故障：一场由虚拟化存储引发的分布式缓存性能悲剧
今天分享的就是在主备机房迁移后，由于在虚拟化上缺乏经验，外加跨团队间的沟通盲区，最终引爆了一场分布式缓存的性能悲剧。

2018-04-02 08:44:51

虚拟化存储分布式
负载均衡在分布式架构中是怎么玩起来的？
在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。

2018-03-30 10:52:33

负载均衡分布式架构
用区块链代替云计算，分布式冗余计算能成真吗？
据国外媒体报道，随着区块链技术的兴起，很多新型创业公司正试图利用区块链衍生技术开发软件破坏现有的云计算行业，充分利用现有的消费者冗余计算容量彻底取代远程服务器。

2018-03-29 11:03:36

区块链云计算开源
同为分布式缓存，为何Redis更胜一筹？
如今，市面上的缓存解决方案已经逐步成熟了，今天我将选取其中一些代表性的方案包括Redis、Memcached和Tair进行对比，帮助大家在生产实践中更好地进行技术选型。

2018-03-26 14:09:00

缓存Redis分布式缓存
数据共享 UCloud 分布式文件存储 UFS 新品发布
随着互联网行业的飞速发展，各领域对数据存储及共享的需求与日俱增。据IDC公布的调查数据显示，未来全球数据将维持50%左右的增长率，到2020年全球数据总量将达到44ZB(十万亿亿字节)。

2018-03-25 14:04:23

UCloud分布式存储
当云服务融入分布式缓存系统架构，会擦出怎样的火花？
在互联网技术中有两大支点，其中一个就是缓存，而分布式缓存系统更是大型互联网应用的利器。面对不断增长的海量数据、不可预知的流量模式以及快速响应时间的需求，这正是云计算服务的动态性之关键优势。

2018-03-23 10:42:14

云服务缓存系统架构
基于点对点分布式存储系统的区块链技术正在兴起
目前技术能够较为成熟的应用在社交媒体平台，提供P2P的社交媒体平台。在P2P社交媒体平台中没有服务器的概念，所有网络数据都被分散在各个用户的电脑中，任何人都只需要一对非对称密钥，就能发布自己的站点。

2018-03-23 08:29:55

存储系统区块链分布式
分布式存储系统的一致性是什么？
在分布式存储系统（包括OceanBase这样的分布式数据库）的使用中，我们经常会提到“一致性”这个词，但是这个术语1在不同的系统、不同人的心目中有不同的内涵，很容易造成混淆。

2018-03-19 09:50:50

分布式存储系统
比特币挖矿技术：分布式数据存储、点对点传输、共识机制、加密算法...
区块链具有数据运行公开、不可篡改、可溯源、跨国际、去中心化的特点。因此越来越多地被应用在各个领域。区块链主要技术包括：分布式数据存储、点对点传输、共识机制、加密算法，将在下面一一介绍。

2018-03-14 10:06:25

分布式数据存储
Spring Cloud构建微服务架构：分布式服务跟踪（跟踪原理）
我们已经通过Spring Cloud Sleuth往微服务应用中添加了实现分布式跟踪具备的基本要素。下面通过本文来详细说说实现分布式服务跟踪的一些要点。

2018-03-13 16:42:26

分布式服务跟踪
【大数据】20个运维案例，完美部署全分布式Hadoop集群！
20个生产环境的运维案例，实操练习大数据运维——全面学会如何部署一个完全可用于实际生产的全分布式Hadoop集群，具备IT企业大数据部门中级水平的运维能力。

2018-03-13 15:23:47

大数据hadoop系统运维
分布式存储系统中DHT算法改进
分布式存储系统以及分布式缓存系统习惯采用分布式哈希（DHT）算法来实现数据的分区分配（路由）以及负载均衡，普通的分布式hash算法通过增添虚拟节点，对物理的热点区间进行划分，将负载分配至其他节点，从而达到负载均衡的状态，但是这并不能保证集群的负载就一定很是的均衡。

2018-03-13 08:45:08

存储系统DHT算法
一致性哈希算法及其在分布式存储中的应用
“外行看热闹，内行看门道”，一位做分布式存储的同仁看到了说：接近93%的存储利用率，还在不停写数据进去，说明OStorage-EOS数据分布的均匀性很好，否则，如果数据分布不够均匀，就有可能出现其他的节点或盘还有很多空间，但某一个盘或者某一个节点写满了，这时还继续写数据进去就会出问题。

2018-03-13 08:20:48

区块链数据安全
Hadoop 分布式存储与传统SQL存储比较及存储操作描述
Hadoop 读时模式（Schema on read）,传统SQL是 写时模式（Schema on write）.传统数据库存储时对数据进行检查，需要检查表结构定义等必须匹配后才让存储（write），否则就报错。Hadoop 是你拿过任何数据格式我都给你存储，只要你给我读取这些数据的接口程序，在用到这些数据时（read），才会检查。

2018-03-12 08:33:34

Hadoop存储
分布式存储中的元数据管理
元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。

2018-03-12 08:17:27

分布式存储
一行代码，Pandas秒变分布式，快速处理TB级数据
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择：继续用Pandas?可能会相当慢，上百TB数据不是它的菜。

2018-03-08 11:43:18

PandasTB级数据Spark
来看一看PB级分布式存储Ceph
Ceph 文件系统 — 或者至少是客户端接口 — 在 Linux 内核中实现。值得注意的是，在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但是，在 Ceph 中，文件系统的智能分布在节点上，这简化了客户端接口，并为 Ceph 提供了大规模(甚至动态)扩展能力。

2018-03-08 11:10:33

分布式存储Ceph
新榜样老司机带你认识MySQL分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-03-07 10:50:46

MySQL分布式存储
数据分布式了，计算也得跟上!
框架自然是把基础设施做好，把重复的工作都做了，让用户写的程序越简单越好，我们的框架会把程序1和程序2分布到各个机器上并行运行，还会监控他们的状态。 还有那个所谓的分组操作，也得我们处理，所以这必然是个框架，我想可以把它叫做MapReduce。”

2018-03-06 16:24:14

数据分布式计算
Spring Cloud构建微服务架构：分布式服务跟踪（入门）
针对上面所述的分布式服务跟踪问题，Spring Cloud Sleuth提供了一套完整的解决方案。在本章中，我们将详细介绍如何使用Spring Cloud Sleuth来为我们的微服务架构增加分布式服务跟踪的能力。

2018-03-02 16:11:29

Spring Clou分布式服务跟踪
分布式数据库正连升三级
分布式数据库在去年突然成为热点技术，尤其是开源的分布式数据库，更被各家追捧。这个被谷歌、阿里等企业选用的分布式数据库实现连升三级。

2018-03-02 15:17:16

分布式数据库MySQL
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
分布式存储性能不足？该如何提高？
所谓分布式存储系统，是指将数据分散存储在多台独立设备上的存储方式。传统意义上，网络存储系统一般将所有数据存储在存储服务器中，而存储量的上限也就是存储服务器的上限。

2018-02-27 09:17:52

分布式存储性能
互联网分布式存储入门
在Google、Amazon、腾讯等大型互联网公司里，因为业务广泛，有大量的用户数据需要保存，因此分布式存储系统往往成为该类公司的一个基础设施。分布式存储涉及到单机存储引擎、分布式系统协议等众多领域，该篇文章作为一个入门，带领大家认识分布式存储系统的基本概念。

2018-02-24 13:50:59

互联网分布式存储
分布式存储安全缺陷——存储类型
存储最重要的指标是什么？很多人包括存储专家都会认为是存储的性能指标，比如IOPS和带宽。但是我认为存储最重要的是数据的安全性。一个跑的飞快的存储，突然数据丢失了，后果会怎么样？

2018-02-22 08:42:04

分布式存储安全
《深入分布式缓存》之“自己动手写缓存” 原创
目前市面上已经有很多开源的缓存框架，比如Redis、Memcached、Ehcache等，那为什么还要自己动手写缓存？本章将带领大家从0到1写一个简单的缓存框架，目的是让大家对缓存的类型、缓存的标准...

2018-02-07 10:46:20

数据存储
这些主流分布式存储系统，你都知道吗？
HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

2018-02-06 09:06:03

主流分布式存储系统
什么是集群？什么是分布式？什么又是SOA？
SOA：Service Oriented Architecture面向服务的架构。也就是把工程拆分成服务层、表现层两个工程。服务层中包含业务逻辑，只需要对外提供服务即可。表现层只需要处理和页面的交互，业务逻辑都是调用服务层的服务来实现。

2018-01-30 11:17:56

集群分布式SOA？
让我们了解 Ceph 分布式存储
怀着对新事物的向往，果断选择Ceph来实现Ceph块存储对接kubernetes来实现pod的数据持久化。

2018-01-30 09:07:36

Ceph分布式存储
《深入分布式缓存》之“从实际案例看Redis的使用” 原创
理解 Redis 使用中的误区

2018-01-26 14:47:04

分布式缓存
深入浅出Zookeeper（二） 基于Zookeeper的分布式锁与领导选举
基于 Zookeeper 的领导选举或者分布式锁的实现均基于 Zookeeper 节点的特性及通知机制。充分利用这些特性，还可以开发出适用于其它场景的分布式应用。

2018-01-25 19:01:47

Zookeeper分布式数据
Kafka源码系列之以kafka为例讲解分布式存储系统
由于CAP理论在分布式存储系统中，做多只能实现上面两点。而现实环境是很复杂的，比如网络抖动及故障，硬件故障等问题，分区容错是我们必须要实现的。所以我们只能在一致性和可用性之间权衡。

2018-01-25 08:29:28

Kafka源码存储
聊聊分布式系统的架构的套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2018-01-23 15:55:23

分布式系统架构
游戏开发经验总结：分布式架构、数据库与进程设计
高并发解决方案：吃鸡” 类游戏的特点是同一地图会有100人以上同场竞技，需要服务端有高并发包量的处理能力和大流量吞吐能力。

2018-01-22 09:30:28

架构
通俗易懂系列：分布式文件系统FastDFS详解
为什么要使用分布式文件系统呢？这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来看本文。

2018-01-18 17:14:58

分布式文件系统FastDFS
华为分布式云监控保障春城出行安全
昆明3号线采用了华为轨道交通云监控解决方案，从IPC到交换机，再到平台、存储，华为为昆明3号线提供了端到端的轨道交通监控解决方案；而且考虑到地铁应用环境的特殊性，华为轨道交通云监控解决方案在系统稳定性方面，提出了“三重云化”的概念，极大的提升了整个视频监控系统的稳定性及安全性。

2018-01-12 16:51:48

华为
关于Python数据抓取、分析、挖掘、机器学习和Python分布式计算内容分享
本文主要是关于 Python 数据抓取、分析、挖掘、机器学习和Python 分布式计算内容的分享。

2018-01-09 14:43:37

Python机器学习数据抓取
上一页 1 ··· 1516171819 ··· 27
点赞

51CTO技术栈公众号

业务
速览
在线客服