51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

分布式

1417内容  
涵盖分布式相关研究热点、技术难点与应用场景。
文章 博文课程
共 1417 条
Hadoop 分布式存储与传统SQL存储比较及存储操作描述
Hadoop 读时模式（Schema on read）,传统SQL是 写时模式（Schema on write）.传统数据库存储时对数据进行检查，需要检查表结构定义等必须匹配后才让存储（write），否则就报错。Hadoop 是你拿过任何数据格式我都给你存储，只要你给我读取这些数据的接口程序，在用到这些数据时（read），才会检查。

2018-03-12 08:33:34

Hadoop存储
分布式存储中的元数据管理
元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。

2018-03-12 08:17:27

分布式存储
一行代码，Pandas秒变分布式，快速处理TB级数据
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择：继续用Pandas?可能会相当慢，上百TB数据不是它的菜。

2018-03-08 11:43:18

PandasTB级数据Spark
来看一看PB级分布式存储Ceph
Ceph 文件系统 — 或者至少是客户端接口 — 在 Linux 内核中实现。值得注意的是，在大多数文件系统中，所有的控制和智能在内核的文件系统源本身中执行。但是，在 Ceph 中，文件系统的智能分布在节点上，这简化了客户端接口，并为 Ceph 提供了大规模(甚至动态)扩展能力。

2018-03-08 11:10:33

分布式存储Ceph
新榜样老司机带你认识MySQL分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-03-07 10:50:46

MySQL分布式存储
数据分布式了，计算也得跟上!
框架自然是把基础设施做好，把重复的工作都做了，让用户写的程序越简单越好，我们的框架会把程序1和程序2分布到各个机器上并行运行，还会监控他们的状态。 还有那个所谓的分组操作，也得我们处理，所以这必然是个框架，我想可以把它叫做MapReduce。”

2018-03-06 16:24:14

数据分布式计算
Spring Cloud构建微服务架构：分布式服务跟踪（入门）
针对上面所述的分布式服务跟踪问题，Spring Cloud Sleuth提供了一套完整的解决方案。在本章中，我们将详细介绍如何使用Spring Cloud Sleuth来为我们的微服务架构增加分布式服务跟踪的能力。

2018-03-02 16:11:29

Spring Clou分布式服务跟踪
分布式数据库正连升三级
分布式数据库在去年突然成为热点技术，尤其是开源的分布式数据库，更被各家追捧。这个被谷歌、阿里等企业选用的分布式数据库实现连升三级。

2018-03-02 15:17:16

分布式数据库MySQL
Hadoop分布式文件系统--HDFS的诞生
：这篇文章介绍了HDFS的一些关键设计理念，已经属于非常简化的情况了，没有考虑数据的完整性，节点失效等更多细节。

2018-03-01 16:26:30

HDFSHadoop系统
分布式存储性能不足？该如何提高？
所谓分布式存储系统，是指将数据分散存储在多台独立设备上的存储方式。传统意义上，网络存储系统一般将所有数据存储在存储服务器中，而存储量的上限也就是存储服务器的上限。

2018-02-27 09:17:52

分布式存储性能
互联网分布式存储入门
在Google、Amazon、腾讯等大型互联网公司里，因为业务广泛，有大量的用户数据需要保存，因此分布式存储系统往往成为该类公司的一个基础设施。分布式存储涉及到单机存储引擎、分布式系统协议等众多领域，该篇文章作为一个入门，带领大家认识分布式存储系统的基本概念。

2018-02-24 13:50:59

互联网分布式存储
分布式存储安全缺陷——存储类型
存储最重要的指标是什么？很多人包括存储专家都会认为是存储的性能指标，比如IOPS和带宽。但是我认为存储最重要的是数据的安全性。一个跑的飞快的存储，突然数据丢失了，后果会怎么样？

2018-02-22 08:42:04

分布式存储安全
《深入分布式缓存》之“自己动手写缓存” 原创
目前市面上已经有很多开源的缓存框架，比如Redis、Memcached、Ehcache等，那为什么还要自己动手写缓存？本章将带领大家从0到1写一个简单的缓存框架，目的是让大家对缓存的类型、缓存的标准...

2018-02-07 10:46:20

数据存储
这些主流分布式存储系统，你都知道吗？
HDFS采用了MapReduce，不迁移数据而是以将处理任务迁移到物理节点(保存数据)的方式降低网络I/O。HDFS是Apache Hadoop的一个子项目并且安装Hadoop。

2018-02-06 09:06:03

主流分布式存储系统
什么是集群？什么是分布式？什么又是SOA？
SOA：Service Oriented Architecture面向服务的架构。也就是把工程拆分成服务层、表现层两个工程。服务层中包含业务逻辑，只需要对外提供服务即可。表现层只需要处理和页面的交互，业务逻辑都是调用服务层的服务来实现。

2018-01-30 11:17:56

集群分布式SOA？
让我们了解 Ceph 分布式存储
怀着对新事物的向往，果断选择Ceph来实现Ceph块存储对接kubernetes来实现pod的数据持久化。

2018-01-30 09:07:36

Ceph分布式存储
《深入分布式缓存》之“从实际案例看Redis的使用” 原创
理解 Redis 使用中的误区

2018-01-26 14:47:04

分布式缓存
深入浅出Zookeeper（二） 基于Zookeeper的分布式锁与领导选举
基于 Zookeeper 的领导选举或者分布式锁的实现均基于 Zookeeper 节点的特性及通知机制。充分利用这些特性，还可以开发出适用于其它场景的分布式应用。

2018-01-25 19:01:47

Zookeeper分布式数据
Kafka源码系列之以kafka为例讲解分布式存储系统
由于CAP理论在分布式存储系统中，做多只能实现上面两点。而现实环境是很复杂的，比如网络抖动及故障，硬件故障等问题，分区容错是我们必须要实现的。所以我们只能在一致性和可用性之间权衡。

2018-01-25 08:29:28

Kafka源码存储
聊聊分布式系统的架构的套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2018-01-23 15:55:23

分布式系统架构
游戏开发经验总结：分布式架构、数据库与进程设计
高并发解决方案：吃鸡” 类游戏的特点是同一地图会有100人以上同场竞技，需要服务端有高并发包量的处理能力和大流量吞吐能力。

2018-01-22 09:30:28

架构
通俗易懂系列：分布式文件系统FastDFS详解
为什么要使用分布式文件系统呢？这个问题问的好，使用了它对我们有哪些好处？带着这个问题我们来看本文。

2018-01-18 17:14:58

分布式文件系统FastDFS
华为分布式云监控保障春城出行安全
昆明3号线采用了华为轨道交通云监控解决方案，从IPC到交换机，再到平台、存储，华为为昆明3号线提供了端到端的轨道交通监控解决方案；而且考虑到地铁应用环境的特殊性，华为轨道交通云监控解决方案在系统稳定性方面，提出了“三重云化”的概念，极大的提升了整个视频监控系统的稳定性及安全性。

2018-01-12 16:51:48

华为
关于Python数据抓取、分析、挖掘、机器学习和Python分布式计算内容分享
本文主要是关于 Python 数据抓取、分析、挖掘、机器学习和Python 分布式计算内容的分享。

2018-01-09 14:43:37

Python机器学习数据抓取
MySQL海量数据分布式存储
分布式数据库是指利用高速网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。分布式数据库的基本思想是将原来集中式数据库中的数据分散存储到多个通过网络连接的数据存储节点上，以获得更大的存储容量和更高的并发访问量。

2018-01-02 20:00:28

数据库MySQL分布式存储
打造移动漫游中“遮不住”的Wi-Fi信号——华为敏捷分布式Wi-Fi方案
华为推出的敏捷分布式Wi-Fi解决方案，将传统“AC+Fit AP”的2级网络架构变革为“AC+中心AP+远端接入单元（RRU）”的3级分布式架构，在提升无线网络覆盖性能和用户业务体验的同时，简化了设备管理和配置，为客户打造出高性能、优覆盖的Wi-Fi网络，很好地满足了终端用户随时随地高速接入的需求。

2017-12-29 19:58:48

Wi-Fi
分布式存储系统可靠性如何估算？
常规情况下，我们一般使用多副本技术来提高存储系统的可靠性，无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等，无不如此。

2017-12-27 09:21:19

分布式存储系统
聊聊分布式系统的架构套路
大多数的开发者大多数的系统可能从来没接触过分布式系统，也根本没必要进行分布式系统架构，为什么？因为在访问量或者QPS没有达到单台机器的性能瓶颈的时候，根本没必要进行分布式架构。那如果业务量上来了，一般会怎么解决呢？

2017-12-20 16:15:30

分布式系统架构
如何扩大分布式环境中DNS服务攻击面
Chaosnet很有趣，因为CH类经常被用于服务区域的“bind.”，它包含了一些关于DNS服务器的有用信息。我想你应该知道'version.bind'的记录，通过该记录你可以确定DNS服务器的版本。

2017-12-20 10:47:56

DNS服务器分布式
从Ceph看分布式系统故障检测
不同的分布式系统由于其本身的结构不同，以及对一致性、可用性、可扩展性的需求不同，会针对以上几点作出不同的抉择或取舍。下面我们就来看看Ceph是怎么做的。

2017-12-19 10:37:16

Ceph系统故障
浅谈分布式存储系统数据分布方法
分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层接口是KV存储、对象存储、块存储、亦或是列存储，在这个问题上大体是一致的。本文将介绍在分布式存储系统中做数据分布目标及可选的方案，并试着总结他们之间的关系及权衡。

2017-12-18 10:47:04

分布式存储数据
分布式高并发缓存设计系统
缓存在wiki上的定义：用于存储数据的硬件或软件的组成部分，以使得后续更快访问相应的数据。缓存中的数据可能是提前计算好的结果、数据的副本等。典型的应用场景：有cpu cache, 磁盘cache等。本文中提及到缓存主要是指互联网应用中所使用的缓存组件。

2017-12-12 14:51:15

分布式缓存设计
教你玩转Hadoop分布式集群搭建，进击大数据
终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。

2017-12-07 15:24:10

Hadoop大数据服务器
Angel：一种新型分布式机器学习系统
Angel是一个基于参数服务器（Parameter Server）理念的分布式机器学习框架，它能让机器学习算法轻松运行于高维度模型之上。Angel围绕模型共享的核心理念，将高维度的大模型合理地切分到多个参数服务器节点，并通过高效的模型更新接口和运算函数以及多变的同步协议，实现各种高效的机器学习算法。

2017-12-05 14:55:56

Angel机器学习系统
招商银行和华为成立分布式数据库联合创新实验室，实践云上科技变革
2017年11月27日，华为与招商银行股份有限公司在招商银行研发中心举行了分布式数据库联合创新实验室揭牌仪式。

2017-12-05 12:01:25

华为
分布式系统的核心——日志
日志就是按照时间顺序追加的、完全有序的记录序列，其实就是一种特殊的文件格式，文件是一个字节数组，而这里日志是一个记录数据，只是相对于文件来说，这里每条记录都是按照时间的相对顺序排列的，可以说日志是最简单的一种存储模型，读取一般都是从左到右，例如消息队列，一般是线性写入log文件，消费者顺序从offset开始读取。

2017-12-05 09:43:42

分布式系统核心
开源软件成熟度评测报告—分布式消息中间件
面对诸多的分布式消息中间件，金融企业面临如何选择并确定适合企业长期发展的相应开源软件。金融行业开源软件研究工作组结合金融企业的实际应用场景，针对主流的开源分布式消息中间件建立评测并开展评测实施，以支撑金融企业选择成熟度高、适合企业需求的开源软件。

2017-12-04 09:00:00

金融开源软件分布式消息中间件
分布式、多活数据中心如何实现DNS域名解析和负载均衡？
DNS域名解析是B/S应用架构的一项重要服务，C/S架构应用一般是通过IP地址直接访问服务的。在云计算时代，业务主要通过B/S、分布式、多活的架构提供。然而对于网站运营和服务提供商来说，DNS域名解析的稳定可靠，意味着更好的业务体验，更好更大的访问流量。

2017-11-24 09:09:32

数据中心DNS负载均衡
分布式存储系统VeSpace应用场景介绍
VeSpace Server SAN专门为云计算生态而设计，融合了分布式数据、分布式缓存、容量负载均衡、及多重数据保护等诸多存储技术，保证客户业务高效稳定运行及数据安全，提升业务的敏捷性与竞争力，最大程度上让客户减少在存储上的TCO。下面我们介绍 使用VeSpace的6个应用场景。

2017-11-22 10:23:32

存储系统VeSpace
分布式架构系统生成全局唯一序列号的一个思路
分布式架构下，唯一序列号生成是我们在设计一个系统，尤其是数据库使用分库分表的时候常常会遇见的问题。当分成若干个sharding表后，如何能够快速拿到一个唯一序列号，是经常遇到的问题。

2017-11-22 09:46:53

分布式架构系统
从“云”到“雾”：云计算将死亡，取而代之的是分布式的点对点网络
在云计算发展一片火热的时候，英国数字咨询公司Red Badger的技术主管Viktor Charypar却在VentureBeat上发文表示，云服务将会迎来末日。并指出点对点网络将会是将来的发展方向。

2017-11-10 06:15:35

云计算分布式网络
3分钟读懂何为分布式、微服务和集群！
微服务是一种架构，也是在分布式范畴之内的。多微才叫微?在分布式系统中，微服务更加强调单一职责、轻量级通信(HTTP)、独立性并且进程隔离。好了，没什么好说的了，实践出真知，建议大家多多了解 Spring-Cloud相关微服务组件。

2017-11-08 09:57:00

分布式微服务集群
关于分布式存储，这是你应该知道的（图文详解）
分布式存储存在的风险，其实就是因为“共享”、“大数据量”、“高性能”和X86服务器+廉价的磁盘为载体之间的矛盾所产生的，不是有些读者说的“数据架构”的问题。其实任何存储都存在这个问题，只是分布式存储更严重。

2017-11-07 15:20:06

分布式存储解决
基于Storm构建分布式实时处理应用初探
本文我不会具体阐述Storm集群和Zookeeper集群如何部署的问题，这里想通过一个实际的案例切入，分析一下如何利用Storm完成实时分析处理数据。

2017-11-03 15:05:56

Storm数据处理服务器
浅谈分布式存储系统中的数据一致性要求
分布式存储是近几年的热门话题之一，它和传统SAN/NAS存储的区别是，分布式存储使用标准硬件(比如x86服务器和10GbE网络)，而传统SAN/NAS存储使用的是专有硬件。

2017-10-30 10:24:03

存储系统数据
vSAN架构细节-分布式RAID
本章讲述了Virtual SAN底层的架构细节。我们已经提起过不少vSAN架构的内容，包括使用闪存作为I/O的缓存、将vSAN功能展现出来的VASA角色、虚拟机存储策略、见证盘以及对于直通 RAID控制器的需求等等。

2017-10-30 08:52:27

vSAN架构RAID
大规模分布式存储-分布式剪枝系统
分布式文件系统存储目标以非结构化数据为主，但在实际应用中，存在大量的结构化和半结构化的数据存储需求。分布式键值系统是一种有别于我们所熟悉的分布式数据库系统的，用于存储关系简单的半结构化数据的存储应用。

2017-10-27 08:40:44

分布式存储剪枝系统
Hadoop伪分布式搭建操作步骤指南
本文主要分享Hadoop伪分布式搭建的操作步骤，包括准备工作、Hadoop环境部署-JDK部分和Hadoop伪分布式环境部署-Hadoop部分，希望对大家有所帮助。

2017-10-25 18:25:40

Hadoop伪分布式环境部署
如何理解深度学习分布式训练中的large batch size与learning rate的关系？
在深度学习进行分布式训练时，常常采用同步数据并行的方式，也就是采用大的batch size进行训练，但large batch一般较于小的baseline的batch size性能更差，请问如何理解调试learning rate能使large batch达到small batch同样的收敛精度和速度?

2017-10-25 16:30:47

深度学习分布式训练
从银行转账失败到分布式事务：总结与思考
大多数人可能和我一样，第一次听说事务是在学习关系型数据库(mysql、sql server、Oracle)的时候，在关系型数据库中，如果一组操作满足ACID特性，那么称之为一个事务。关于关系型数据库的ACID特性，不管是教材还是网络上都有大量的资料，这里只简单介绍。

2017-10-24 11:39:29

银行转账数据库分布式事务
上一页 1 ··· 1718192021 ··· 29
点赞

51CTO技术栈公众号

业务
速览
在线客服