Storm 与 ZooKeeper —— 分布式实时计算提升篇(一)

本文主要参考自 xumingming 的博文 Twitter Storm源代码分析之ZooKeeper中的目录结构。由于新版本的 Storm 在架构上有了较大的变化，相应的目录结构也有了一些改变。本文主要针对 0.9.x 版本的 Storm 的相关结构做了一些说明。

Storm 的集群运行与状态记录都是由其依赖的 ZooKeeper 完成的。在 ZooKeeper 的客户端可以直接查看相关节点信息。

[zk: localhost:2181(CONNECTED) 1] ls /storm
[workerbeats, errors, supervisors, storms, assignments]

从这里可以看出 Storm 在 ZooKeeper 的根节点下记录了5个集群相关属性节点: workerbeats, errors, supervisors, storms, assignments。具体的节点信息如下所示：

/-storm                     -- storm在zookeeper上的根目录
  |
  |-/assignments            -- topology的任务分配信息
  |   |
  |   |-/{topology-id}      -- 这个下面保存的是每个
  |                            topology的assignments
  |                            信息包括： 对应的
  |                            nimbus上的代码目录,所有
  |                            task的启动时间,
  |                            每个task与机器、端口的映射
  |
  |-/storms                 -- 这个目录保存所有正在运行
  |   |                        的topology的id
  |   |
  |   |-/{topology-id}      -- 这个文件保存这个topology
  |                            的一些信息，包括topology的
  |                            名字，topology开始运行的时
  |                            间以及这个topology的状态
  |                            (具体看StormBase类)
  |
  |-/supervisors            -- 这个目录保存所有的supervisor
  |   |                        的心跳信息
  |   |
  |   |-/{supervisor-id}    -- 这个文件保存的是supervisor
  |                            的心跳信息包括:心跳时间，主
  |                            机名，这个supervisor上worker
  |                            的端口号运行时间
  |                            (具体看SupervisorInfo类)
  |
  |-/workerbeats            -- 所有worker的心跳
  |   |
  |   |-/{topology-id}      -- 这个目录保存这个topology的所
  |       |                    有的worker的心跳信息
  |       |
  |       |-/{worker-id}    -- worker的心跳信息
  |
  |-/errors                 -- 所有component所产生的error信息
      |
      |-/{topology-id}      -- 这个目录保存这个topology下面
          |                    所有component的出错信息(包括
          |                    topology的所有component与系
          |                    统的“_acker”
          |
          |-/{component-id} -- 这个component的出错信息

对比原先的目录结构与现在的目录结构可以发现，最大变化的是将记录 task 信息改为了记录 worker 与 component 的信息。这种改变体现在 Storm 系统设计上就是实时计算组件的功能分离简化，将 Storm 集群的最小任务单元(task)剥离了工作线程的功能，使得 task 可以聚焦于实时数据处理任务，同时使集群负载调整更加灵活。有趣的是，Hadoop 也通过 Yarn 实现了集群组件功能的分离简化，这也是分布式计算系统的一个发展方向。

可以查看 ZooKeeper 中记录的具体的 topology 信息如下

lojure.lang.APersistentMapx��c�SpI_hashI_hasheqxp��������  ppsr0clojure.lang.PersistentHashMap$BitmapIndexedNode�.��'�uIbitmap[arrayt[Ljava/lang/Object;Leditt-Ljava/util/concurrent/atomic/AtomicReference;xp@�ur[Ljava.lang.Object;��X�s)lxptother-operatorsrjava.lang.Long;��̏#�Jvaluexrjava.lang.Number���
                                                                                                                                   ���xpt
                                                                                                                                              distributionsrjava.lang.Integer⠤���8Ivaluexq~t
rand-spoutsq~puq~
                  t
                   kafka-spoutq~tspeed-operatorq~ppppsr+java.util.concurrent.atomic.AtomicReference�Wq�UxT�Lvalueq~xppt
                                                                                                                               ch-operatorq~__systemsq~psq�uq~
                                                                                                                                                                t__ackerq~consumersq~ppppq~sq~sq~UA�sq~srclojure.lang.PersistentArrayMap�(6�!�L_metaq~[arrayq~    xq~��������puq~
                                                                                        srclojure.lang.Keyword91�bzYIhashL_strtLjava/lang/String;LsymtLclojure/lang/Symbol;xpJ��t:typesrclojure.lang.Symbol����D�IhashL_metaq~L_strq~,Lnameq~,Lnsq~,xp��c=pttypeq~2psq~+�ߵt:activesq~0��e�ptactiveq~6pttopology-alpha
cZxid = 0x4000d58d2
ctime = Thu Apr 10 16:41:07 CST 2015
mZxid = 0x4000d58d2
mtime = Thu Apr 10 16:41:07 CST 2015
pZxid = 0x4000d58d2
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 1503
numChildren = 0
[zk: localhost:2181(CONNECTED) 39] get /storm/storms/topology-alpha-3-1430383278

Updating...

Comments