RSF分布式服务框架设计:Hasor-RSF

开发 架构 分布式
RSF 的本质其实就是 RPC 那么我们可以先对比一下 RPC 里都有什么可以被我们拿来选用。下面列出来的只是其中一些我相信聪明的朋友们会列举出更多的解决方案,我也敢保证你们知道的比我还多……

是时候设计一个分布式服务框架了。我先将它定名为 Hasor-RSF,“RSF”为 Remote Service Framework 的缩写。

RSF的目的是为了提供一种高效的远程服务访问方式,例如“A机器访问在B机器上的一个服务”。当然首先它是运行在Java上的,但是我并不希望 Java 成为 RSF的唯一平台。

它应该是分布式的,就是说服务 A 可能会分布在若干台机器内。 当我的应用打算调用这个服务时我应该可以在这若干服务提供的机器上随机调用。这样做的好处是有助于高并发、高访问、高可用。


 

RSF 的本质其实就是 RPC 那么我们可以先对比一下 RPC 里都有什么可以被我们拿来选用。下面列出来的只是其中一些我相信聪明的朋友们会列举出更多的解决方案,我也敢保证你们知道的比我还多。

  1. Java原生的 RMI。
  2. Hessian
  3. WebServices
  4. Restful
  5. HTTP Request
  6. RTMP/AMF
  7. 淘宝的 HSF、Dubbo

RMI,这个 Java 原生的东东似乎从一开始就没有被人们所看好,究其原因是速度太慢。但是它的好处是Java原生,使用 RMI 不需要引入其它任何第三方软件包。不过挑剔的同学们似乎不太看好这个优点。

Hessian,原则上说Hessian我并不认为它是一个远程服务框架范畴的东西。我更觉得 Hessian 是一种数据交互格式。就像是 JSON,XML-RPC,AMF,Kryo 一类的东西。Hessian 的优点是大量的兼容平台例如:“IOS、Java、.net、C++、Python、Flash、Ruby、PHP”,其次它的第二个有点是二进制格式。在大对象序列化上会占有很大的优势。

WebServices,一个老牌技术解决方案。在我印象中 WebServices 是跟随着 SOA 这个东西一起出名的,他有一个***的好处是防火墙穿透。毕竟人家是靠 80 端口吃饭的,牛叉的很。不过话说回来WebServices的***要害就是,Xml传输格式。把一个对象序列化成为一个Xml数据是一件很容易的事,但是反序列化成本似乎是很高。再加上 SOAP 协议本身是建立在 XML 形式上,这就使得 Web Service 奇慢无比了。当然因素还有很多我就不多说了。

Restful,其实 restful 我更觉得它是一种 API 表述规范。但在社区论坛中讨论看来,restful 的应用似乎也延伸到远程服务的领域。所以有必要说明一下。restful 最初是出现在 web 上,究其本质是还是 HTTP。例如对于:“http://xxxxx/xxxx”这个资源的访问可以利用 HTTP 的“GET、PUT、DELETE”等方法对资源操作加以描述说明。我个人觉得这东西用在 RPC 上并不合适。

HTTP,这是我用过最多的一种远程交互方式。远离很见dna,服务发布者将服务发布成为一个http资源。调用者请求这个http资源。数据传输格式完全程序双方自行协商。这种方法简单除暴行之有效。不过缺点是我们要自己补充通信协议,例如请求参数和响应数据格式。常规的交互格式有 JSON、XML。

RTMP/AMF,这个组合的确是一套很完善的远程调用解决方案。RTMP协议中专门为 Invoke 开辟了一条通道,在配合 AMF 格式极大的方便了 Flash 下远程服务访问。不过这些都是 Flash下的东西,即使是拥有 Red5 这样的神器让我们在 java 下可以使用 rtmp 但是究其目的还是为了和 flash 通信。一般 flash 调用业务系统的方式还都停留在 http 请求或者通过 red5 服务器代为转发。

HSF,这个东西是淘宝内部用的很广泛的远程服务框架。它是使用NIO、Mina 并且工作在长连接模式下。话说这个东西的确是个好东西,淘宝也将其开源了!只可惜,开源了 hsf 但是相关配套依赖没有开源。在加上 hsf 依赖繁杂。这个东西也就只能让局外人膜拜一下,在淘系之外的同学们是无福享受了。

Dubbo,也是淘系的另外一个服务框架,它比较 HSF 来说要轻巧很多。依赖会少一些,这个东东目前也是开源状态。由于我对 dubbo 一点都不了解,在这里保持沉默不做评价。

***补充一下,真正原生就支持分布式服务调用的也就只有“HSF、Dubbo”至于京东内部是否有更好的解决方案我并不知道。哦还有一点,如果您想脱离 Spring 的话 HSF、Dubbo 会让你失望的。这就是说您的技术构架如果是非 Spring 阵营的会比较悲催。

so,上面提到了很多可用的技术方案,想必***符合要求也就只有其中 HSF 和 Dubbo 了。为什么其它的方案都不入选呢?原因就是它们虽然可以完成 RPC 但是并不支持分布式。当然您可以通过架设集群来提高它们的可靠性,这些都是您需要额外付出的。

------------------------------

下面这个是 RSF 的架构图,包括服务生产着和消费者在内 RSF 被分为 6 层(网络层、协议层、请求响应层、调度层、接口层、消费者生产者)。

关键5层:

Netty,其中位于最下层的网通信部分 RSF 采用 Netty 实现。Netty 是一款非常优秀的网络通信框架,使用 Netty 可以帮助 RSF 减少大量底层网络上的代码开发。这也就意味着 RSF 将采用 Selector 方式实现异步IO。

Protocol,协议层。该层主要的目的是负责解释翻译 RSF 数据包,并将 RSF 数据包转意成为 Request 和 Response 对象。协议层可以是一个协议栈,这就意味您可以通过 RTMP 、或者其它自定义网络协议传输 RSF 数据包。

Request/Response层,请求响应层。这个在这个层中,RSF 脱离了底层网络方面的特性将每次调用请求对象化为一个 Request 对象,并且将调用结果封装成为一个 Response 对象。这种编程模式和 Web 很像。

调度层,这一层最为复杂。它负责管理本地 RSF 服务的注册,远程传输对象序列化方式的管理,并且还要负责实现其它更加复杂的功能。

接口层,这一层是最终 RSF 暴露给业务系统的接口,将会由两个类提供。一个代表服务生产着,另一个是服务消费者。

序列化格式:

RSF 规定在网络中传输的数据格式可以是任意的。这就意味着您可以使用 AMF 作为 RSF 数据传输格式发布(同时如果协议层支持 RTMP 那您可以在 Flash 中无需通过 red5 这样的中间代理直接访问 RSF 服务)。同样的,如果您使用 Hessian 作为数据传输格式,在其它平台。例如 .net、php。也会很方便的调用 RSF 服务(需要解析 RSF 数据包)。如果协议采用 HTTP,RSF序列化格式采用 JSON ,那么运行在浏览器中的 javascript 也可以绕过 web 服务器,直接访问 RSF 服务。

服务配置Config:

说是服务配置,其实就是路由的功能。先假设我们有4台服务器,其中有两台是位于北京机房,另外两台分别位于青岛和内蒙古。这四台机器上都运行着 RSF,跑着相同的业务系统,这种架构通常前端会有一个 CDN 之类的东西负责让用户就近访问网站。

如果没有服务路由的情况下,用户A在北京即使访问了最近的北京服务器,但是由于调用的 RDS 服务是青岛的,那么也会降低访问速度。因此服务配置所负责的 路由特性可以很方便的高速服务调用程序,优先选用北京机房的 RSF 服务。只有当北京机房的服务撑不住的情况下才会动用其它地域的 RSF 服务。

流量管控:高级一点的特性是可以通过服务路由来控制服务流量。假如目前要做一个全国范围的活动,我们充分的为每个地方准备了若干机器。但是在活动现场很可能某一个地区的服务使用量达到了临界点,服务路由应该可以通过配置的方式让附近地区的机器提供一定的流量来减缓这个地区的访问压力。

责任编辑:林师授 来源: 哈库纳的博客
相关推荐

2024-01-31 22:08:18

分布式重试框架

2009-05-08 09:32:27

JavaWeb编程框架

2023-05-29 14:07:00

Zuul网关系统

2022-12-16 12:16:21

2021-07-29 07:48:36

Zookeeper 核心设计

2021-09-09 15:45:17

机器学习人工智能Ray

2023-06-26 00:14:28

Openjob分布式任务

2022-09-15 18:32:13

SPI模型框架

2022-06-15 11:01:59

自定义SPIJava

2012-11-06 13:58:26

分布式云计算分布式协同

2023-10-08 10:49:16

搜索系统分布式系统

2019-07-04 15:13:16

分布式缓存Redis

2021-12-13 11:07:10

鸿蒙HarmonyOS应用

2021-06-02 22:16:56

框架CAPBASE

2010-06-03 19:46:44

Hadoop

2024-01-05 07:28:50

分布式事务框架

2019-10-10 09:16:34

Zookeeper架构分布式

2012-06-25 12:43:26

.NET框架

2019-06-19 15:40:06

分布式锁RedisJava

2017-09-01 05:35:58

分布式计算存储
点赞
收藏

51CTO技术栈公众号