51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

分布式

1357内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1357 条
别吵吵，分布式锁也是锁
Tomcat是这个系统的核心组成部分， 每当有用户请求过来，Tomcat就会从线程池里找个线程来处理，有的执行登录，有的查看购物车，有的下订单，看着属下们尽心尽职地工作，完成人类的请求，Tomcat就很有成就感。

2018-11-27 16:17:13

分布式锁Tomcat
常见分布式文件存储介绍、选型比较、架构设计
在这个数据爆炸的时代，产生的数据量不断地在攀升，从GB,TB,PB,ZB.挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘，首先要考虑的就是海量数据的存储问题，比如Tb量级的数据。

2018-11-26 15:12:45

存储选型架构
终于有人把“TCC分布式事务”实现原理讲明白了！
之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了还是不知道分布式事务到底怎么回事，在项目里到底如何使用。

2018-11-23 09:25:00

TCC分布式事务
分布式存储系统的雪崩效应
副本是分布式存储系统中的常见概念：将一定大小的数据按照一定的冗余策略存储，以保障系统在局部故障情况下的可用性。

2018-11-20 09:19:58

存储系统雪崩效应
传统存储与分布式存储恩仇录
想要了解传统存储系统的前世今生，从存储设备开始是个不错的选择，关于存储硬件，常见的无非是硬盘，内存，固态硬盘，闪存等，硬盘和内存是相对出现比较早的存储介质。

2018-11-20 09:05:11

传统存储分布式存储
简单介绍Ceph分布式存储集群
在规划Ceph分布式存储集群环境的时候，对硬件的选择很重要，这关乎整个Ceph集群的性能，下面梳理到一些硬件的选择标准，可供参考。

2018-11-15 12:35:25

Ceph分布式存储
大数据分布式存储的部署模式：分离式or超融合
数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行;二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-11-08 11:12:09

存储分离式超融合
分布式机器学习的参数服务器
许多机器学习问题依赖大量的数据进行训练，然后进行推理。大型互联网规模的公司用tb或pb的数据进行训练，并从中创建模型。这些模型由权重组成，这些权重将优化大多数情况下的推理误差。权重/参数的数量以数十亿至数万亿的顺序排列。

2018-11-07 09:23:21

服务器分布式机器学习
深度神经网络的分布式训练概述：常用方法和技巧全面总结
本文探索了分布式随机梯度下降的同步和异步变体、各种 All Reduce 梯度聚合策略以及用于在集群上实现更高吞吐量和更低延迟的最佳实践。

2018-11-07 05:38:07

深度学习神经网络算法
为什么我们做分布式要使用Redis？
绝大部分写业务的程序员，在实际开发中使用 Redis 的时候，只会 Set Value 和 Get Value 两个操作，对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结，解决大家的知识盲点。

2018-11-02 14:00:20

RedisNoSQL数据库
分布式存储的元数据设计
GridFS基于MongoDB，相当于一个文件存储系统，是一种分块存储形式，每块大小为255KB。数据存放在两个表里，一个表是chunks，加上元信息后单条记录在256KB以内；另一个表是files，存储文件元信息。

2018-10-29 12:51:35

分布式存储元数据
技术探讨——认识Ceph分布式存储系统
Ceph是什么?它是一个软件定义的开源分布式对象存储解决方案，面向PB级的海量数据存储平台。

2018-10-29 12:42:23

Ceph分布式存储
分布式基础，啥是两阶段提交？
上一篇《分布式事务，原来可以这么玩?》引起了不少讨论，后续准备开一个新系列，讲一讲分布式的东西，今天就从相对容易理解的“两阶段提交”谈起。

2018-10-29 08:44:29

分布式两阶段提交事务
分布式事务，原来可以这么玩？
多个数据要同时操作，如何保证数据的完整性，以及一致性呢?答案是事务，这是常见的做法。

2018-10-28 17:54:00

分布式事务数据
分布式存储系统的最佳实践：系统发展路径
分布式存储系统从整体架构的角度看大同小异，实现起来却困难重重。自主研发的 分布式存储系统往往需要两到三年才能逐步成熟起来，其中的难点在于如何把系统做稳定。

2018-10-24 11:01:53

分布式存储系统
三个开源的分布式追踪工具
分布式追踪系统能够从头到尾地追踪跨越了多个应用、服务、数据库以及像代理这样的中间件的分布式软件的请求。它能帮助你更深入地理解系统中到底发生了什么。追踪系统以图形化的方式，展示出每个已知步骤以及某个请求在每个步骤上的耗时。

2018-10-18 08:15:27

开源分布式追踪工具
以Redis为例，详谈分布式系统缓存的细枝末节
在分布式Web程序设计中，解决高并发以及内部解耦的关键技术离不开缓存和队列，而缓存角色类似计算机硬件中CPU的各级缓存。

2018-10-17 08:39:56

Redis分布式系统缓存
分布式块存储的引擎如何设计？
目前在万兆网络和SSD，包括NVMe SSD 都已经非常普及。随着硬件的速度越来越快，性能的瓶颈会从硬件转移到软件。尤其对于存储引擎来说，性能至关重要。

2018-10-16 14:26:22

分布式块存储引擎
分布式数据库TiDB在商业银行的设计与实践
关系型数据库的发展经历了漫长岁月，这些数据库大家都非常熟悉，包括交易型、分析型的很多数据库产品和技术。TiDB 分布式数据库是新一代开源分布式 NewSQL 数据库，整个产品的结构非常清晰，计算跟数据存储层分离，这是现代大部分分布式数据处理系统通常都会倾向和考虑采用的架构。

2018-10-15 11:20:04

分布式数据库数据库TiDB
分布式存储—硬盘容量不均衡导致的缓存盘寿命急速衰减分析 原创
虽然Ceph分布式存储具备上述的优势特点，但在实践中，对硬件的选择及配置均存在特别要求，尤其是硬盘、网络上，如果配置不当，存储的可靠性和性能均会受到影响。

2018-10-15 10:58:05

分布式存储硬盘
搞懂“分布式锁”，看这篇文章就对了
对于锁大家肯定不会陌生，在 Java 中 synchronized 关键字和 ReentrantLock 可重入锁在我们的代码中是经常见的，一般我们用其在多线程环境中控制对资源的并发访问。

2018-10-12 09:42:00

分布式锁 Java多线
OSDI '18重磅解密：蚂蚁金服实时金融级分布式图数据库GeaBase
OSDI大会期间，在蚂蚁金服主办的专题研讨会上，主题为《GeaBase: A High-Performance Distributed Graph Database for Industry-Scale Applications》的演讲吸引了数十位来自全球的顶尖技术专家和学者，并引发了现场热烈的讨论。

2018-10-11 11:15:24

数据库
架构师入门必看系列，分布式文件系统HDFS解读
在Hadoop生态系统中，Hadoop分布式文件系统(HDFS)是非常关键的一环，它为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具。

2018-10-11 10:55:44

分布式文件系统HDFS
GalaCloud分布式加密存储网络
在分布式存储网络中，来自世界各地的用户将其硬盘空间出租以形成分散式网络，其中每个磁盘代表网络的节点。客户端上载的文件将被加密，分成多个分片，并存储在由大量分布式节点组成的网络中。

2018-10-09 10:45:40

加密存储网络
分布式存储系统（问题, 概念, 及领域语言）面试必考点
分布式文件系统也常作为分布式表格系统以及分布式数据库的底层存储，如谷歌的GFS可以作为分布式表格系统Google Bigtable 的底层存储，Amazon的EBS(弹性存储块)系统可以作为分布式数据库(Amazon RDS)的底层存储。

2018-09-29 14:22:07

存储系统面试
存储系统讲解——分布式存储系统问题考虑
分布式系统主要分成存储模型和计算模型两类。本文主要描述的是存储模型的介绍。其中计算模型的分布式系统原理跟存储模型类似，只是会根据自身计算特点加一些特殊调度逻辑进去。

2018-09-29 14:08:04

存储系统分布式
敢啃“硬骨头”，开源分布式数据库TiDB如何炼成？ 原创
如今硬件的性价比越来越高，网络传输速度越来越快，数据库分层的趋势逐渐显现，人们已经不再强求用一个解决方案来解决所有的存储问题，而是通过分层，让缓存与数据库负责各自擅长的业务场景。

2018-09-29 09:47:41

开源分布式数据库
3个开源分布式跟踪系统，都很不错！
分布式跟踪系统使用户能够通过分布在多个应用程序，服务和数据库以及代理等中介上的软件系统来跟踪请求。这样可以更深入地了解软件系统中发生的情况。这些系统生成图形表示，显示请求在每个步骤上花费了多少时间并列出每个已知步骤。

2018-09-29 08:44:24

开源分布式系统
华为云发布新一代分布式缓存Redis，重新定义云原生缓存2.0时代
9月14日，华为云中国行在济南如期举行，华为EBG中国区行业云拓展部部长胡维琦在大会现场进行了“做有信仰的云，在创新的道路上加速奔跑”的主题演讲，发布了华为云全新产品：新一代分布式缓存Redis。

2018-09-14 13:06:36

华为云
常见分布式文件存储介绍、选型比较、以及架构设计
数据正成为世界上最有价值的资源，分布式文件存储是应对数据爆炸的最好解决方案，那就会涉及到分布式文件存储方案、选型、架构设计等。

2018-09-14 11:11:04

分布式文件存储
构建Uber大型支付系统时学到的分布式体系结构概念
在本文中，我总结了一些我认为在构建大规模，高可用分布式系统(为 Uber 提供底层支持的支付系统)时必须学习和应用的概念。

2018-09-12 07:22:00

分布式支付系统高负载
如何设计一个麻雀般的微型分布式架构？
设计该系统初衷是基于描绘业务（或机器集群）存储模型，分析代理缓存服务器磁盘存储与回源率的关系。

2018-09-06 22:49:31

分布式架构服务器
如果要设计个分布式文件系统，该从哪些方面考虑？
分布式文件系统是分布式领域的一个基础应用，其中最著名的毫无疑问是 HDFS/GFS。如今该领域已经趋向于成熟，但了解它的设计要点和思想，对我们将来面临类似场景 / 问题时，具有借鉴意义。

2018-09-03 10:49:09

分布式文件系统
区块链三大思维：分布式思维、代码化思维、共识性思维
区块链利用分布式数据存储、点对点传输、共识机制、加密算法等技术，具备去中心化、开放性、自治性、不可篡改、匿名性等特点。利用这些技术构建起来的商业模式，具备以下思维逻辑。

2018-08-30 18:30:19

区块链思维中心化
分布式存储的六大优点
分布式存储往往采用分布式的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息。它不但提高了系统的可靠性、可用性和存取效率，还易于扩展，将通用硬件引入的不稳定因素降到最低。

2018-08-29 11:57:17

分布式存储优点
分布式深度学习新进展：让“分布式”和“深度学习”真正深度融合
近年来，作为人工智能发展迅速的领域之一的深度学习在NLP、图像识别、语音识别、机器翻译等方面都取得了惊人的成果。但是，深度学习的应用范围却日益受到数据量和模型规模的限制。如何才能高效地进行深度学习模型训练？

2018-08-28 15:47:03

人工智能深度学习机器学习
5个大数据处理/数据分析/分布式工具
Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。

2018-08-24 10:28:41

大数据数据分析工具
带着问题学习分布式系统之数据分片
本文主要讨论数据分片的三个问题：(1)如何做数据分片，即如何将数据映射到节点；(2)数据分片的特征值，即按照数据中的哪一个属性(字段)来分片；(3)数据分片的元数据的管理，如何保证元数据服务器的高性能、高可用，如果是一组服务器，如何保证强一致性。

2018-08-24 07:03:45

分布式系统数据分片元数据
扫盲：Hadoop分布式文件系统（HDFS）基础概念讲解！
本文为您带来通过shell命令管理Hadoop HDFS的十大基本操作，这些操作对于管理HDFS集群上的文件非常有用。出于测试目的，你可以使用Cloudera或者Hortonworks等中的某些VM调用此命令，或者用于伪分布式集群设置。

2018-08-14 10:44:58

HadoopHDFS命令
收藏 | 第一次有人把“分布式事务”讲的这么简单明了
不知道你是否遇到过这样的情况，去小卖铺买东西，付了钱，但是店主因为处理了一些其他事，居然忘记你付了钱，又叫你重新付。

2018-08-14 09:28:40

分布式事务 ACID
分布式集群存储系统在电子档案场景下的应用
数字化档案管理系统的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。

2018-08-08 10:32:55

分布式集群存储
阿里P8架构师谈：分布式缓存的应用场景、选型比较、问题和挑战
高并发环境下，例如典型的淘宝双11秒杀，几分钟内上亿的用户涌入淘宝，这个时候如果访问不加拦截，让大量的读写请求涌向数据库，由于磁盘的处理速度与内存显然不在一个量级，服务器马上就要宕机。

2018-08-07 10:04:11

数据库分布式缓存Redis
区块链分布式存储数据十大趋势
进入2018年以来，全球区块链似乎进入一个白热化的发展环境，各国持续不断出台或更新相关监管政策，在该洪流下的币所、初创企业、区块链媒体等各机构使劲“蹦跶”。

2018-08-06 16:10:21

区块链分布式存储数据
常见分布式文件系统大盘点，想了解大数据先从存储开始
大数据的最底层的内容就是存储，只有把数据存在能高效访问的分布式系统下才能提升工作效率。小编带大家来盘点一下这些常见的分布式文件系统。

2018-08-06 16:03:13

分布式文件系统
价格低≠性价比高 购买分布式路由你应该知道这些
虽然低端分布式路由产品与三大厂的产品相比价格比较悬殊，但是低价并不能和高性价比划等号，其性能只能说符合该产品的定位。就如同近日上市的某拼团公司，人们费力拼团购买的所谓超值商品，充其量就是只值这点钱而已。

2018-08-03 12:05:47

分布式路由
区块链三大思维：分布式思维、代码化思维、共识性思维
传统互联网是信息互联网，区块链是价值互联网，所以，区块链也被认为是互联网的下半场。那么，何为价值互联网？区块链具有哪些价值？本文从思维的角度，说明区块链区别与传统互联网的价值所在。

2018-08-03 10:25:53

区块链大数据比特币
网件Orbi分布式路由系统：十年前装修没有网线，十年后也不需要
随着家庭中智能移动终端的不断增加，网件Orbi分布式路由系统在大户型和多楼层的WiFi覆盖实现了从能用到好用的飞跃，因此即使十年前的装修没有网络布线，十年后也不需要了。

2018-08-02 16:21:18

路由器
分离式or超融合，分布式存储建设时的两种部署模式
数据中心内部系统的核心要求是“稳定可靠”，一是指系统在运行过程中有能力提供连续可靠的服务，长时间无故障运行；二是指当故障发生之后，有能力快速定位，及时排查，故障范围不蔓延。

2018-08-02 09:13:34

分离式超融合存储
分布式存储 Ceph 中 PG 各种状态详解
面向容灾域的备份策略使得一般而言的PG需要执行跨节点的分布式写，因此数据在不同节点之间的同步、恢复时的数据修复也都是依赖PG完成。

2018-08-02 08:42:57

分布式存储Ceph
区块链+分布式存储，能否引起云存储平台的变革?
据相关数据显示，到2020年时，全球联网设备的数量将超过200亿台。它们将产生海量数据，随之而来的，是要对这些数据进行管理、存储和检索，加之消费者个性化软件以及跨越多个业务部门共享数据的必要性，都对数据存储提出了更高的要求。

2018-08-01 10:30:21

区块链分布式存储云存储
上一页 1 ··· 1314151617 ··· 28
点赞

51CTO技术栈公众号

业务
速览
在线客服