聊聊如何Ceph修改mon ip地址

存储 存储架构
要更改监mon的 IP 地址,必须添加一个具有要使用的 IP 地址的新mon节点(如添加监视器(手动)中所述),确保新mon成功加入仲裁;然后移除旧 IP 地址的mon。最后更新ceph.conf文件以确保客户端和其他守护程序知道新mon的 IP 地址。

背景

最近公司服务器搬迁至外地机房,服务器中包含ceph存储集群,迁移到新机房需要整体修改服务器ip,因此mon节点的ip也将被修改,发现官网有修改ip的文档,正好参考官网记录一下。官网提供了只更改同一网络里的mon节点ip以及ceph集群更改到不同网络的情况下修改所有mon ip的方法。

修改同一网络里的mon ip

这被官网称为是一种正确的方法。仅更改监视器的 IP 地址ceph.conf不足以确保集群中的其他mon收到更新。要更改监mon的 IP 地址,必须添加一个具有要使用的 IP 地址的新mon节点(如添加监视器(手动)中所述),确保新mon成功加入仲裁;然后移除旧 IP 地址的mon。最后更新ceph.conf文件以确保客户端和其他守护程序知道新mon的 IP 地址。

手动添加mon节点

在目标节点上,新建 mon 的数据目录。{mon-id} 名称自己定义 。

mkdir /var/lib/ceph/mon/ceph-{mon-id}

获取 mon 的 keyring 文件,保存在临时目录下。

ceph auth get mon. -o /tmp/ceph.mon.keyring

获取集群的 mon map 并保存到临时目录下。

ceph mon getmap -o /tmp/monmap

格式化mon的数据目录并指定上面两步创建的monmap和ceph.mon.keyring文件路径

ceph-mon -i {mon-id} --mkfs --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

启动节点上的 mon 进程,它会自动加入集群。守护进程需要知道绑定到哪个 IP 地址,可以通过 --public-addr {ip:port} 选择指定

systemctl start ceph-mon@{mon-id}
ceph-mon -i {mon-id} --public-addr {ip:port}

删除mon节点

1.停止mon节点

systemctl stop ceph-mon@{mon-id}

2.从ceph集群移除mon节点

ceph mon remove {mon-id}

3.在ceph.conf配置文件中移除mon部分

修改所有mon节点ip

如背景所说,我们刚迁移了ceph集群的服务器到其他地市的机房。这需要改变mon节点的所有网络。在这种情况下,解决方案是为集群中的所有mon生成具有更新 IP 地址的新 monmap,并将新映射注入每个单独的mon。我这里是将192.168.28.0/24网段变更为192.168.244.0/24网段。

获取monmap,如果此时已经连接不上集群了可以在mon节点上使用第二条命令,并指定{mon-id}

ceph mon getmap -o /tmp/monmap
ceph-mon -i node3 --extract-monmap /tmp/monmap

monmap内容如下:

monmaptool: monmap file /tmp/monmap
epoch 7
fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
last_changed 2022-10-08T10:00:04.055141+0000
created 2022-10-08T03:45:47.301186+0000
min_mon_release 16 (pacific)
election_strategy: 1
0: [v2:192.168.28.159:3300/0,v1:192.168.28.159:6789/0] mon.node1
1: [v2:192.168.248.160:3300/0,v1:192.168.28.160:6789/0] mon.node2
2: [v2:192.168.28.161:3300/0,v1:192.168.28.161:6789/0] mon.node3

删除现有的mon:

monmaptool: monmap file /tmp/monmap
monmaptool: removing node1
monmaptool: removing node2
monmaptool: removing node3
monmaptool: writing epoch 1 to /tmp/monmap (0 monitors)

添加新的mon:

monmaptool: monmap file  /tmp/monmap
monmaptool: writing epoch 1 to /tmp/monmap (3 monitors)

停止所有mon服务并注入monmap,,每个mon节点都要执行;

ceph-mon -i {mon-id} --inject-monmap /tmp/monmap

执行完成后需要重启mon

systemctl start ceph-mon@{mon-id}

按照官网文档执行上述操作后,发现客户端不能连接ceph集群,查看mon服务都能正常监听,且端口通信正常,查看mon选举状态也是正常的。

ceph daemon mon.cloudmap mon_status

图片

后来查看了ceph.conf配置文件,发现mon的配置还是用的以前的mon配置,所有节点更新后并重启mon后,客户端正常连接ceph集群。

图片

官网链接:https://docs.ceph.com/en/latest/rados/operations/add-or-rm-mons/

责任编辑:武晓燕 来源: 运维开发故事
相关推荐

2022-02-11 09:31:23

IPV4IP地址IANA

2017-04-01 17:00:39

oracle监听IP地址

2015-07-10 09:08:52

IP地址IP地址冲突

2011-08-25 11:22:02

修改IP地址Vista系统

2020-11-30 12:15:26

KubernetesPodLinux

2020-06-01 08:50:38

MySQLIP地址数据库

2013-05-27 13:45:06

网管技巧IP地址跟踪

2022-10-14 12:07:04

LinuxIP

2011-09-06 18:08:27

WindowsXP设置静态IP地址

2014-04-24 16:21:50

LinuxIP地址冲突

2014-01-08 09:33:57

重复IP地址IP检测

2022-08-18 23:20:03

数据泄露IP 地址隐私

2010-08-25 13:06:53

IP地址故障

2015-07-15 12:31:53

网络·安全技术周刊

2015-01-07 09:11:49

恶意IPipset阻止恶意IP

2018-12-09 13:50:47

UbuntuLinux IP地址

2021-09-01 09:54:10

IP地址域名

2018-05-28 11:10:08

Linux命令IP地址

2019-09-08 15:43:19

UbuntuLinuxIP地址

2010-09-25 16:26:32

DHCP保留特定IP地
点赞
收藏

51CTO技术栈公众号