把Sheepdog装进OpenStack

运维 系统运维 OpenStack
Sheepdog是一个分布式存储系统,并具有对象存储功能。本文主要介绍Sheepdog的安装、简单使用方法,以及怎样与OpenStack集成。

现在网上有关Sheepdog使用方面的资料还是少一些,本文主要介绍sheepdog的安装、简单使用方法,以及怎样与OpenStack集成。

编译安装

Sheepdog提供源码包(tarball)下载,同样能够安装使用。不过,发布工作需要制作deb安装包,而tarball制作安装包时有个地方引用了git log命令,由于tarball源码所在目录不是git仓库而导致出错,所以,***还是通过git获取sheepdog的源码:

  1. mkdir -p download 
  2. cd download/ 
  3. git clone https://github.com/sheepdog/sheepdog.git sheepdog-github 

 

切换到***稳定版0.7.6:

  1. cd sheepdog-github/ 
  2. git checkout v0.7.6 

 

执行autogen.sh生成configure,在此之前,可能需要安装依赖:

  1. sudo apt-get install autoconf libtool make pkg-config 
  2. ./autogen.sh 

 

正式编译,sheepdog本身依赖于corosync、zookeeper等集群管理工具,如果制作deb包,还依赖于debian的一些工具:

  1. sudo apt-get install liburcu-dev corosync corosync-dev \ 
  2. zookeeper zookeeperd libzookeeper-mt-dev 
  3. ./configure --enable-zookeeper 
  4. sudo apt-get install debhelper dh-autoreconf devscripts 
  5. make deb 

 

生成的安装包在上一层目录,执行安装:

  1. cd .. 
  2. sudo dpkg -i sheepdog_0.7.6-1_amd64.deb 

 

完成后,重新登录会遇到以下错误:

  1. Last login: Tue Dec 31 14:57:10 2013 from network 
  2. -bash: script/bash_completion_dog: No such file or directory 
  3. -bash: script/bash_completion_dog: No such file or directory 

 

这是因为0.7.6源码中一个过时的文件没有清理,可以在安装之后清理:

  1. sudo rm -f /etc/bash_completion.d/sheepdog 

 

或者make deb之前清理:

  1. rm -f debian/sheepdog.bash-completion 

 

两者唯一区别是后者执行sheep -v查看版本时,会发现版本字符串后面加上dirty标识。

如果把sheepdog_0.7.6-1_amd64.deb拷贝到其它机器安装,可能需要安装依赖:

  1. sudo apt-get install zookeeperd libcfg4 libcpg4 \ 
  2. libzookeeper-mt2 libcoroipcc4 

 

某些Ubuntu源可能找不到libcfg4和libcoroipcc4,可以修改源或者到http://packages.ubuntu.com/下载

 


配置zookeeper

一般正式环境使用zookeeper作为sheepdog集群的管理工具,需要相关配置。如果只是单节点试用,可以不配置zookeeper。

首先修改myid文件,保证每个zookeeper节点的myid都不一样,文件内容是1-255之间的数字:

  1. sudo vi /etc/zookeeper/conf/myid 

 

然后修改zoo.cfg文件,主要填写各个zookeeper节点的信息:

  1. sudo vi /etc/zookeeper/conf/zoo.cfg 

 

修改内容如下所示,格式为server.myid=host:port1:port2

  1. server.11=sd1:2888:3888 
  2. server.12=sd2:2888:3888 
  3. server.13=sd3:2888:3888 
  4. server.14=sd4:2888:3888 
  5. server.15=sd5:2888:3888 

 

上面表示zookeeper节点共有5个,最多允许2台节点挂掉,剩余3台还能保持一个多数派。

启动服务,apt-get时已启动,所以需要restart。

  1. sudo service zookeeper restart 

 


启动sheepdog

建立工作目录并赋予权限,仅作为例子,创建磁盘分区等细节不再赘述。如果以非root用户使用sheepdog,例如sheepdog用户,记得赋予相应目录的权限。

  1. sudo mkdir /mnt/sheepdog 
  2. sudo mount -t ext4 -o noatime,barrier=0,user_xattr,data=writeback /dev/sda4 /mnt/sheepdog 
  3. sudo chown -R sheepdog:sheepdog /mnt/sheepdog 

 

简单启动sheepdog

  1. sheep /mnt/sheepdog \ 
  2. -c zookeeper:sd1:2181,sd2:2181,sd3:2181,sd4:2181,sd5:2181 

 

使用对象缓存

事先挂载SSD到/mnt/cache,以下启动命令为所在的sheepdog节点分配约256G的对象缓存。注意有的版本不认size=256G,要写成size=256000。

  1. sheep -w size=256000,dir=/mnt/cache,directio /mnt/sheepdog \ 
  2. -c zookeeper:sd1:2181,sd2:2181,sd3:2181,sd4:2181,sd5:2181 

 

如需要,创建开机启动

Sheepdog安装时会在/etc/init.d目录创建sheepdog服务脚本,不过目前并不完善,***还是把上面的sheepdog启动命令放到/etc/rc.local文件。


常用sheepdog及qemu命令

格式化sheepdog集群

如果单节点试用一下功能,副本数设置为1(–copies==1)即可。

  1. $ dog cluster format --copies=3 
  2. using backend plain store 

 

查看sheepdog集群

  1. $ dog cluster info 
  2. Cluster status: running, auto-recovery enabled 
  3. Cluster created at Tue Dec 31 17:40:29 2013 
  4. Epoch Time           Version 
  5. 2013-12-31 17:40:29      1 [10.1.48.44:7000, 192.168.1.2:7000, 192.168.1.3:7000, 192.168.1.4:7000, 192.168.1.5:7000] 

 

查看sheepdog节点

  1. $ dog node info 
  2. Id  Size    Used    Avail   Use% 
  3. 0  139 GB  0.0 MB  139 GB    0% 
  4. 1  139 GB  0.0 MB  139 GB    0% 
  5. 2  139 GB  0.0 MB  139 GB    0% 
  6. 3  435 GB  0.0 MB  435 GB    0% 
  7. 4  217 GB  0.0 MB  217 GB    0% 
  8. Total   1.0 TB  0.0 MB  1.0 TB    0% 
  9. Total virtual image size    0.0 MB 

 

导入一个镜像到sheepdog

  1. $ qemu-img convert -t directsync mint15.img sheepdog:mint 

 

查看sheepdog镜像列表

  1. $ dog vdi list 
  2. Name        Id    Size    Used  Shared    Creation time   VDI id  Copies  Tag 
  3. mint         0   16 GB  4.1 GB  0.0 MB 2013-12-31 17:50   8ec519     3               

 

再次查看sheepdog节点

  1. $ dog node info 
  2. Id  Size    Used    Avail   Use% 
  3. 0  139 GB  1.8 GB  137 GB    1% 
  4. 1  139 GB  1.9 GB  137 GB    1% 
  5. 2  139 GB  2.2 GB  137 GB    1% 
  6. 3  435 GB  3.7 GB  431 GB    0% 
  7. 4  217 GB  2.7 GB  215 GB    1% 
  8. Total   1.0 TB  12 GB   1.0 TB    1% 
  9. Total virtual image size    16 GB 

 

创建一个空的sheepdog镜像

  1. $ dog vdi create data 100G 

 

再次查看sheepdog镜像列表

  1. $ dog vdi list 
  2. Name        Id    Size    Used  Shared    Creation time   VDI id  Copies  Tag 
  3. mint         0   16 GB  4.1 GB  0.0 MB 2013-12-31 17:50   8ec519     3               
  4. data         0  100 GB  0.0 MB  0.0 MB 2013-12-31 18:05   a34a05     3               

 

启动虚拟机

如果使用对象缓存,默认的缓存方式有的说是writeback,有的说是writethrough,所以建议写上cache=writeback,以显式区分。

  1. $ sudo qemu-system-x86_64 --enable-kvm -m 4096 -smp 2 \ 
  2. -drive file=sheepdog:mint,if=virtio,index=0,cache=writeback \ 
  3. -drive file=sheepdog:data,if=virtio,index=1,cache=writeback \ 
  4. -net nic,model=virtio -net user -vnc :1 -daemonize 

 

如需要,建立端口映射

如果在局域网内部启动虚拟机,外部不能访问,可以在跳板机建立端口映射

  1. $ sudo iptables -t nat -A PREROUTING -d 10.1.48.44 -p tcp \ 
  2. --dport 25901 -j DNAT --to 192.168.1.2:5901 
  3. $ sudo iptables -t nat -A POSTROUTING -j MASQUERADE 

 

这样,外部网络的机器就可以使用vncviewer连上虚拟机

  1. $ vncviewer 10.1.48.44:25901 

 


与OpenStack集成

Cinder存储服务

Sheepdog可以作为Cinder服务的后端存储。一般只需要修改/etc/cinder/cinder.conf文件,在DEFAULT一节中,修改volume_driver参数为sheepdog的cinder驱动:

  1. volume_driver = cinder.volume.drivers.sheepdog.SheepdogDriver 

 

修改之后,重启cinder-volume服务即可。

如果开发者使用devstack,可以修改devstack的localrc文件,设置CINDER_DRIVER环境变量为sheepdog,修改之后,执行./stack.sh即可。

Glance镜像服务

Sheepdog也可以作为Glance服务的后端存储。通常是修改/etc/glance/glance-api.conf文件,在DEFAULT一节,加入或者修改对接sheepdog的相应参数:

  1. default_store = sheepdog 
  2. known_stores = glance.store.sheepdog.Store 
  3. sheepdog_store_address = 10.1.48.44 
  4. sheepdog_store_port = 7000 
  5. sheepdog_store_chunk_size = 64 

 

修改之后,重启glance-api服务即可。

如果开发者使用devstack,目前还没有相应的快捷设置对接sheepdog方法,可参考上面修改配置文件,然后重启服务。

责任编辑:黄丹 来源: UC技术博客
相关推荐

2024-01-29 13:23:46

Chrome人工智能模型

2011-08-03 18:29:25

WindowsXP系统

2021-04-30 07:42:37

Windows10操作系统微软

2022-07-20 07:13:45

Linuxsystemd

2009-09-03 08:49:13

2011-09-06 17:56:50

BuildingsAndroid应用建筑

2020-10-11 20:54:39

Python开发Docker

2011-09-15 15:48:38

iPhone应用Android应用在这儿IM

2014-10-14 11:06:25

2018-07-18 14:40:50

OPPO

2015-07-30 15:58:15

EC企信企业即时通讯

2023-05-19 11:14:35

2010-01-06 13:31:52

Ubuntu KDE

2010-01-12 14:58:29

2014-02-19 11:37:57

分布式对象存储Sheepdog

2013-12-27 10:56:42

分布式对象存储Sheepdog性能测试

2020-04-29 16:25:36

WiFi人工智能技术

2016-11-01 11:38:20

弗兰克盒子收音机白噪音

2009-12-31 10:43:01

Ubuntu 8.04

2023-11-22 12:48:31

AI系统
点赞
收藏

51CTO技术栈公众号