debian11 podman搭建rocketmq （初步测试）

太上点评

前言

由于个人学习测试需要，想要在debian11环境下，使用podman搭建一个简单的单节点rocketmq，搭建过程比较繁琐，所以记录下来留作后续参考。
由于对rocketmq镜像不熟悉，有些配置可能存在错误，会在后续有能力优化时继续更新此文档。
后续可能会补充podman-compose实现方式，目前是shell脚本启动。
正文

1. 准备镜像

1. # 2024-07-08 latest 版本 5.2.0, rocketmq 主程序，用它启动namesrv 和 broker
2. podman pull docker.io/apache/rocketmq
3. # 2024-07-08 latest，这是一个rocketmq的监控面板，可以通过浏览器页面监控rocketmq内容
4. podman pull docker.io/styletang/rocketmq-console-ng

复制代码

2. 目录分配

1. .
2. ├── broker
3. │   ├── conf -- 目录
4. │   │   └── broker.conf
5. │   ├── logs -- 目录
6. │   ├── run_broker.sh -- 启动脚本
7. │   └── store
8. ├── console
9. │   └── run_console.sh -- 启动脚本
10. ├── create_network.sh
11. ├── python -- 测试目录
12. │   ├── client.py
13. │   └── rocketmq-client-cpp-2.0.0.amd64.deb
14. └── rocketmq
15.     ├── logs -- 目录
16.     ├── run_mq.sh -- 启动脚本
17.     └── store -- 目录

复制代码

• 配置网络
  

最好给rocketmq创建一个单独的podman网络
create_network.sh
chmod +x create_network.sh && ./create_network.sh

1. #!/bin/bash
2. podman network create rocketmq
3. podman network ls
4. # NAME                  VERSION  PLUGINS
5. # podman                0.4.0    ptp,portmap,firewall
6. # rocketmq              0.4.0    bridge,portmap,firewall,tuning

复制代码

• rocketmq (namesrv)
  

新建logs和store目录
run_mq.sh
chmod +x run_mq.sh && ./run_mq.sh

1. #!/bin/bash
2. podman run -itd -p 0.0.0.0:9876:9876 --network rocketmq --name rmqnamesrv \
3.         -v /root/rocketMq/rocketmq/logs:/root/logs \
4.         -v /root/rocketMq/rocketmq/store:/root/store \
5.         docker.io/apache/rocketmq:latest \
6.         sh mqnamesrv

复制代码

脚本中的/root/rocketMq/rocketmq/logs:/root/logs和/root/rocketMq/rocketmq/store:/root/store的配置有点问题，实际上，镜像中的日志和存储目录都在/home/rocketmq 目录下，具体优化还需要再研究下。
调试时，可以将上述命令中的 -itd 改为 -it, 这样就可以不在后台运行容器，直接将容器中的日志打印到终端。
查看后台日志的话：

1. # 查看全部日志
2. podman logs -f -t rmqnamesrv
3. # 跟踪查看，从最后一条开始跟踪
4. # podman logs -f -t --tail 1 rmqnamesrv
5. # 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: Using the DefNew young collector with the CMS collector is deprecated and will likely be removed in a future release
6. # 2024-07-08T13:44:14.963934731+08:00 OpenJDK 64-Bit Server VM warning: UseCMSCompactAtFullCollection is deprecated and will likely be removed in a future release.
7. # 2024-07-08T13:44:16.419453208+08:00 The Name Server boot success. serializeType=JSON, address 0.0.0.0:9876

复制代码

端口号

1. netstat -ant|grep 9876
2. # tcp        0      0 0.0.0.0:9876            0.0.0.0:*               LISTEN

复制代码

• broker
  

新建目录 conf、logs、store
在conf目录下，新建broker.conf，内容如下

1. # 所属集群名称，如果节点较多可以配置多个
2. brokerClusterName = DefaultCluster
3. #broker名称，master和slave使用相同的名称，表明他们的主从关系
4. brokerName = broker-a
5. #0表示Master，大于0表示不同的
6. slave brokerId = 0
7. #表示几点做消息删除动作，默认是凌晨4点
8. deleteWhen = 04
9. #在磁盘上保留消息的时长，单位是小时
10. fileReservedTime = 48
11. #有三个值：SYNC_MASTER，ASYNC_MASTER，SLAVE；同步和异步表示Master和Slave之间同步数据的机 制；
12. brokerRole = ASYNC_MASTER
13. #刷盘策略，取值为：ASYNC_FLUSH，SYNC_FLUSH表示同步刷盘和异步刷盘；SYNC_FLUSH消息写入磁盘后 才返回成功状态，ASYNC_FLUSH不需要；
14. flushDiskType = ASYNC_FLUSH
15. # !!! 这里要改成你的服务器的ip和实际的namesrv端口号
16. namesrvAddr = 192.168.11.126:9876
17. # 设置broker节点所在服务器的ip地址
18. # !!! 这里要改成你的服务器的ip
19. brokerIP1 = 192.168.11.126
20. #剩余磁盘比例
21. diskMaxUsedSpaceRatio=99

复制代码

run_broker.sh
chmod +x run_broker.sh && ./run_broker.sh

1. #!/bin/bash
2. podman run -itd --name rmqbroker \
3.         --network rocketmq \
4.         -p 8080:8080 -p 8081:8081 \
5.         -p 10911:10911 -p 10912:10912 -p 10909:10909 --privileged=true \
6.         -v /root/rocketMq/broker/logs:/root/logs \
7.         -v /root/rocketMq/broker/store:/root/store \
8.         -v /root/rocketMq/broker/conf/broker.conf:/home/rocketmq/rocketmq-5.2.0/conf/broker.conf \
9.         -e "NAMESRV_ADDR=192.168.11.126:9876" \
10.         -e "MAX_POSSIBLE_HEAP=200000000" \
11.         apache/rocketmq sh mqbroker --enable-proxy -c /home/rocketmq/rocketmq-5.2.0/conf/broker.conf

复制代码

注意，-e "NAMESRV_ADDR=192.168.11.126:9876" \ 这个地方原来是 -e "NAMESRV_ADDR=rmqnamesrv:9876" \ 后来我发现在我搭建的环境中不太好用，改成了自己的server ip 后，莫名奇妙好用了 qwq

1. podman logs -f -t --tail 10 rmqbroker
2. # 2024-07-08T14:26:23.082541138+08:00 Mon Jul 08 06:26:23 UTC 2024 rocketmq-proxy startup successfully

复制代码

• console
  

run_console.sh
chmod +x run_console.sh && ./run_console.sh

1. #!/bin/bash
2. podman run -itd -p 10100:8080 --name rmqconsole \
3.         --network rocketmq \
4.         -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.11.126:9876 \
5.         -Dcom.rocketmq.sendMessageWithVIPChannel=false" \
6.         styletang/rocketmq-console-ng

复制代码

因为8080端口已经被broker占用了，所以直接按照参考中的Docker安装RocketMq，用10100端口 映射容器中的 8080
浏览器打开 http://192.168.11.126:10100/ (你服务器的ip:你配置的端口号)

• 简单测试
  

这里，我用python简单测试了一下
首先，需要安装一个python3的库，安装之前需要先准备下前置环境

1. wget https://github.com/apache/rocketmq-client-cpp/releases/download/2.0.0/rocketmq-client-cpp-2.0.0.amd64.deb
2. sudo dpkg -i rocketmq-client-cpp-2.0.0.amd64.deb

复制代码

这个文件我打成了zip包，可以从这里下载:https://files.cnblogs.com/files/brian-sun/rocketmq-client-cpp-2.0.0.amd64.zip?t=1720423076&download=true, 下载到服务器后，用unzip解压，然后 dpkg -i 安装即可
然后安装pip包

1. pip install rocketmq-client-python

复制代码

python3 示例
client.py

1. # -*- coding:utf-8 -*-
2. from rocketmq.client import Producer, Message, PushConsumer, ConsumeStatus
3. import time
5. def product_topic():
6.     # 创建生产者
7.     producer = Producer('PID_TEST')
8.     producer.set_name_server_address('0.0.0.0:9876')
9.     producer.start()
11.     # 创建消息
12.     msg = Message('YOUR_TOPIC')
13.     msg.set_keys('YOUR_KEY')
14.     msg.set_tags('YOUR_TAG')
15.     msg.set_body('Hello, RocketMQ!')
17.     # 发送消息
18.     result = producer.send_sync(msg)
19.     print('Send Result: ', result.status, result.msg_id)
21.     # 停止生产者
22.     producer.shutdown()
24. need_stop=0
26. # 消费回调函数
27. def callback(msg):
28.     print('Received message: ', msg.body)
29.     global need_stop
30.     need_stop = 1
31.     return ConsumeStatus.CONSUME_SUCCESS
33. def consume_topic():
34.    
35.     # 创建消费者
36.     consumer = PushConsumer('CID_TEST')
37.     consumer.set_name_server_address('0.0.0.0:9876')
38.     consumer.subscribe('YOUR_TOPIC', callback)
39.     consumer.start()
41.     # 保持消费者运行
42.     global need_stop
43.     while True:
44.         time.sleep(60)  # 保持消费者运行
45.         if need_stop == 1:
46.             break
48.     # 停止消费者
49.     consumer.shutdown()
52. if __name__ == "__main__":
53.     product_topic()
54.     consume_topic()

复制代码

python3 client.py

1. # Send Result:  SendStatus.OK 7F000101EDB61E27498727597E960000
2. # Received message:  b'Hello, RocketMQ!'

复制代码

参考

[1]. Apache RocketMQ
[2]. Docker安装RocketMq
[3]. https://gitee.com/AI-Mart/rocketmq-client-python
[4]. docker 上部署RocketMQ
[5]. RocketMQ_详细配置与使用详解
附录

chatgpt 介绍rocketmq

Apache RocketMQ 是一个分布式消息中间件，其核心组件包括 NameServer、Broker 和 Proxy。了解这些组件的功能和配置有助于更好地使用 RocketMQ。
NameServer

NameServer 是 RocketMQ 的目录服务，主要负责以下功能：

• 管理Topic路由信息：NameServer 存储 Topic 到 Broker 的映射信息。
  
• 心跳检测：Broker 定期向 NameServer 发送心跳包，以维持连接和更新路由信息。
  
• 服务发现：生产者和消费者通过 NameServer 发现 Broker 位置和路由信息。
  

启动 NameServer

在启动 NameServer 时，可以使用如下命令：

1. nohup sh mqnamesrv &

复制代码

Broker

Broker 是 RocketMQ 的消息存储和传输核心，负责以下功能：

• 消息存储：将生产者发送的消息持久化存储。
  
• 消息传输：将存储的消息传递给消费者。
  
• 负载均衡：支持消息的分片存储和消费。
  

Broker 分为两种角色：

• Master：主 Broker，负责消息存储和提供读/写服务。
  
• Slave：从 Broker，通过同步 Master 的消息存储来提供高可用性，但通常只提供读服务。
  

配置和启动 Broker

首先，创建 Broker 配置文件 broker.conf：

1. # broker.conf 示例
2. brokerClusterName=DefaultCluster
3. brokerName=broker-a
4. brokerId=0  # 0 表示 Master，>0 表示 Slave
5. namesrvAddr=127.0.0.1:9876
6. defaultTopicQueueNums=4
7. autoCreateTopicEnable=true

复制代码

然后，使用以下命令启动 Broker：

1. nohup sh mqbroker -c path/to/broker.conf &

复制代码

Proxy

Proxy（代理）通常用于将 RocketMQ 与其他协议或应用集成。通过 Proxy，可以在不修改客户端代码的情况下将 RocketMQ 集成到现有系统中。
RocketMQ 提供了多种 Proxy 解决方案，例如：

• HTTP Proxy：支持通过 HTTP 协议与 RocketMQ 进行通信。
  
• MQTT Proxy：支持通过 MQTT 协议与 RocketMQ 进行通信。
  

启动 HTTP Proxy

以下是一个启动 HTTP Proxy 的示例：

• 首先，下载并解压 RocketMQ 的 HTTP Proxy 包。
  
• 配置 proxy.conf 文件，内容如下：
  

1. # proxy.conf 示例
2. namesrvAddr=127.0.0.1:9876
3. listenPort=8080

复制代码

• 启动 HTTP Proxy：
  

1. nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &

复制代码

总结

以下是 RocketMQ 各组件启动的简要步骤：

• 启动 NameServer：
  1. nohup sh mqnamesrv &

  复制代码
• 启动 Broker（创建 broker.conf 并启动）：
  1. nohup sh mqbroker -c path/to/broker.conf &

  复制代码
• 启动 Proxy（以 HTTP Proxy 为例，创建 proxy.conf 并启动）：
  1. nohup java -jar rocketmq-proxy-http.jar -c path/to/proxy.conf &

  复制代码

通过这些步骤，您可以搭建一个完整的 RocketMQ 服务来支持消息的发布和订阅。根据您的应用需求，您还可以进行更多的配置和优化。

来源:https://www.cnblogs.com/brian-sun/p/18289837
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！