From e6a087381622e7c58d89f9e19697e4a53500ce7d Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Tue, 13 Aug 2024 22:46:02 +0800 Subject: [PATCH 01/12] add quickstart --- .../04quickstartWithHelmInKubernetes.md | 143 ++++++++++++++++++ 1 file changed, 143 insertions(+) create mode 100644 docs/01-quickstart/04quickstartWithHelmInKubernetes.md diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md new file mode 100644 index 0000000000..93b3650409 --- /dev/null +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -0,0 +1,143 @@ +### QuickStart + +#### 前提条件 + +- 一个运行中的 `Kubernetes` 集群 +- 已安装并配置好的 `kubectl` +- 已安装的 `Helm` + +#### 第一步：安装 Helm + +确保你的系统上已经安装了 Helm： + +```bash +$ helm version +``` + +如果未安装 Helm，可以使用以下命令进行安装： + +```bash +$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash +``` + +#### 第二步：添加 RocketMQ Helm 仓库 + +添加 RocketMQ 的 Helm chart 仓库： + +```bash +$ helm repo add rocketmq-repo https://helm-charts.itboon.top/rocketmq +$ helm repo update rocketmq-repo +``` + +#### 第三步：部署 RocketMQ + +使用 Helm chart 部署 RocketMQ： + +##### 关闭持久化存储： + +```bash +#这里关闭持久化存储，仅演示部署效果 +$ helm upgrade --install rocketmq \ + --namespace rocketmq-demo \ + --create-namespace \ + --set broker.persistence.enabled="false" \ + rocketmq-repo/rocketmq + +#查看pod状态 +$ kubectl get pods -o wide -n rocketmq-demo +``` + + + +##### 开启持久化存储： + +```bash +## 这里开启持久化存储（部署2个master节点，0副本），使用宿主机磁盘存储（线上环境不推荐），仅演示部署效果 ## + +#创建storageClass +$ touch storageClass.yaml +kind: StorageClass +apiVersion: storage.k8s.io/v1 +metadata: + name: local-storage +provisioner: kubernetes.io/no-provisioner +volumeBindingMode: WaitForFirstConsumer + +$ kubectl apply -f storageClass.yaml + +#创建pv，用于master一个节点 +$ touch pv-local.yaml +apiVersion: v1 +kind: PersistentVolume +metadata: + name: broker-storage +spec: + capacity: + storage: 20Gi # 替换为你的存储大小 + volumeMode: Filesystem + accessModes: + - ReadWriteOnce + persistentVolumeReclaimPolicy: Retain + storageClassName: local-storage + local: + path: /mnt/data # 替换为你的宿主机目录 + nodeAffinity: + required: + nodeSelectorTerms: + - matchExpressions: + - key: kubernetes.io/hostname + operator: In + values: + - k8s-node1 # 替换为你的节点名称 + - k8s-node2 # 替换为你的节点名称 + - k8s-node3 # 替换为你的节点名称 + +$ kubectl apply -f pv-local.yaml + +#创建pv，用于master另一个节点 +$ touch pv2-local.yaml +apiVersion: v1 +kind: PersistentVolume +metadata: + name: broker-storage-2 +spec: + capacity: + storage: 20Gi # 替换为你的存储大小 + volumeMode: Filesystem + accessModes: + - ReadWriteOnce + persistentVolumeReclaimPolicy: Retain + storageClassName: local-storage + local: + path: /mnt/data # 替换为你的宿主机目录 + nodeAffinity: + required: + nodeSelectorTerms: + - matchExpressions: + - key: kubernetes.io/hostname + operator: In + values: + - k8s-node1 # 替换为你的节点名称 + - k8s-node2 # 替换为你的节点名称 + - k8s-node3 # 替换为你的节点名称 + +$ kubectl apply -f pv2-local.yaml + +#查看pvc是否与pv绑定 +$ kubectl get pvc -n rocketmq-demo + +#查看pod状态 +$ kubectl get pods -o wide -n rocketmq-demo +``` + + + +#### 第四步：验证安装 + +现在你可以使用客户端工具连接到 RocketMQ 进行消息的发送和接收。 + + + + + +更多详细的配置和选项，请参考 [RocketMQ Helm Chart 文档](https://github.com/itboon/rocketmq-helm)。 \ No newline at end of file From bf48f4bbcc626faf39f2f82b022bc79737e4df7a Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Tue, 13 Aug 2024 23:06:55 +0800 Subject: [PATCH 02/12] Add files via upload --- .../04quickstartWithHelmInKubernetes.md | 247 ++++++++++-------- 1 file changed, 142 insertions(+), 105 deletions(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md index 93b3650409..edddbd1e04 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -1,143 +1,180 @@ ### QuickStart +本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点单副本 RocketMQ 服务，并完成简单的消息收发。 #### 前提条件 - 一个运行中的 `Kubernetes` 集群 -- 已安装并配置好的 `kubectl` - 已安装的 `Helm` +- 64位 `JDK 1.8+` #### 第一步：安装 Helm 确保你的系统上已经安装了 Helm： - ```bash $ helm version ``` 如果未安装 Helm，可以使用以下命令进行安装： - ```bash $ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash ``` -#### 第二步：添加 RocketMQ Helm 仓库 +#### 第二步：下载 RocketMQ Helm 仓库 -添加 RocketMQ 的 Helm chart 仓库： +使用 Helm chart 部署 RocketMQ： ```bash -$ helm repo add rocketmq-repo https://helm-charts.itboon.top/rocketmq -$ helm repo update rocketmq-repo +$ cd /opt/helm/ +$ helm pull oci://registry-1.docker.io/apache/rocketmq --version 0.0.1 +$ tar -zxvf rocketmq-0.0.1.tgz ``` #### 第三步：部署 RocketMQ - 使用 Helm chart 部署 RocketMQ： -##### 关闭持久化存储： - ```bash -#这里关闭持久化存储，仅演示部署效果 -$ helm upgrade --install rocketmq \ - --namespace rocketmq-demo \ - --create-namespace \ - --set broker.persistence.enabled="false" \ - rocketmq-repo/rocketmq +#修改values.yaml中的配置（根据实际需求修改相关配置信息，如资源大小、副本数等） +$ helm install rocketmq-demo ./rocketmq #查看pod状态 -$ kubectl get pods -o wide -n rocketmq-demo +$ kubectl get pods -o wide -n default +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +rocketmq-demo-broker-0 1/1 Running 0 6h3m 192.168.58.225 k8s-node02 +rocketmq-demo-nameserver-757877747b-k669k 1/1 Running 0 6h3m 192.168.58.226 k8s-node02 +rocketmq-demo-proxy-6c569bd457-wcg6g 1/1 Running 3 (6h2m ago) 6h3m 192.168.85.227 k8s-node01 ``` +#### 第四步：验证消息发送和接收 +使用JAVA SDK测试消息收发（由于本地网络和k8s网络不属于同一内网，需要将项目本地打包后放在远程运行），具体如下： +1）IDEA中创建一个Java工程。 -##### 开启持久化存储： - -```bash -## 这里开启持久化存储（部署2个master节点，0副本），使用宿主机磁盘存储（线上环境不推荐），仅演示部署效果 ## - -#创建storageClass -$ touch storageClass.yaml -kind: StorageClass -apiVersion: storage.k8s.io/v1 -metadata: - name: local-storage -provisioner: kubernetes.io/no-provisioner -volumeBindingMode: WaitForFirstConsumer - -$ kubectl apply -f storageClass.yaml - -#创建pv，用于master一个节点 -$ touch pv-local.yaml -apiVersion: v1 -kind: PersistentVolume -metadata: - name: broker-storage -spec: - capacity: - storage: 20Gi # 替换为你的存储大小 - volumeMode: Filesystem - accessModes: - - ReadWriteOnce - persistentVolumeReclaimPolicy: Retain - storageClassName: local-storage - local: - path: /mnt/data # 替换为你的宿主机目录 - nodeAffinity: - required: - nodeSelectorTerms: - - matchExpressions: - - key: kubernetes.io/hostname - operator: In - values: - - k8s-node1 # 替换为你的节点名称 - - k8s-node2 # 替换为你的节点名称 - - k8s-node3 # 替换为你的节点名称 - -$ kubectl apply -f pv-local.yaml - -#创建pv，用于master另一个节点 -$ touch pv2-local.yaml -apiVersion: v1 -kind: PersistentVolume -metadata: - name: broker-storage-2 -spec: - capacity: - storage: 20Gi # 替换为你的存储大小 - volumeMode: Filesystem - accessModes: - - ReadWriteOnce - persistentVolumeReclaimPolicy: Retain - storageClassName: local-storage - local: - path: /mnt/data # 替换为你的宿主机目录 - nodeAffinity: - required: - nodeSelectorTerms: - - matchExpressions: - - key: kubernetes.io/hostname - operator: In - values: - - k8s-node1 # 替换为你的节点名称 - - k8s-node2 # 替换为你的节点名称 - - k8s-node3 # 替换为你的节点名称 - -$ kubectl apply -f pv2-local.yaml - -#查看pvc是否与pv绑定 -$ kubectl get pvc -n rocketmq-demo - -#查看pod状态 -$ kubectl get pods -o wide -n rocketmq-demo +2）在 *pom.xml* 文件中添加以下依赖引入Java依赖库： +```xml + ...... + + org.apache.rocketmq + rocketmq-client-java + 5.0.7 + + ..... ``` +3）使用mqadmin创建 Topic和消费者。 +```bash +#登录pod内（需要管理工具），也可以在宿主机执行 +$ kubectl exec -ti rocketmq-demo-broker-0 -- /bin/bash +#通过mqadmin创建Topic +$ sh mqadmin updatetopic -t TestTopic -c DefaultCluster +#通过mqadmin创建消费者Group +$ sh mqadmin updateSubGroup -c DefaultCluster -g TestGroup +``` +4）在已创建的Java工程中，创建发送普通消息程序 （ProducerDemo.java），示例代码如下： + +```java +package com.rocketmq.producer; + +import org.apache.rocketmq.client.apis.ClientConfiguration; +import org.apache.rocketmq.client.apis.ClientConfigurationBuilder; +import org.apache.rocketmq.client.apis.ClientException; +import org.apache.rocketmq.client.apis.ClientServiceProvider; +import org.apache.rocketmq.client.apis.message.Message; +import org.apache.rocketmq.client.apis.producer.Producer; +import org.apache.rocketmq.client.apis.producer.SendReceipt; + + +public class ProducerDemo { + public static void main(String[] args) throws ClientException { + // 接入点地址，需要设置成Proxy的地址和端口列表，以下为k8s环境下rocketmq的proxy地址。 + String endpoint = "192.168.85.227:8081"; + // 消息发送的目标Topic名称，需要提前创建。 + String topic = "TestTopic"; + ClientServiceProvider provider = ClientServiceProvider.loadService(); + ClientConfigurationBuilder builder = ClientConfiguration.newBuilder().setEndpoints(endpoint); + ClientConfiguration configuration = builder.build(); + // 初始化Producer时需要设置通信配置以及预绑定的Topic。 + Producer producer = provider.newProducerBuilder() + .setTopics(topic) + .setClientConfiguration(configuration) + .build(); + // 普通消息发送。 + Message message = provider.newMessageBuilder() + .setTopic(topic) + // 设置消息索引键，可根据关键字精确查找某条消息。 + .setKeys("messageKey") + // 设置消息Tag，用于消费端根据指定Tag过滤消息。 + .setTag("messageTag") + // 消息体。 + .setBody("messageBody".getBytes()) + .build(); + try { + // 发送消息，需要关注发送结果，并捕获失败等异常。 + SendReceipt sendReceipt = producer.send(message); + System.out.println("Send message successfully, messageId="+sendReceipt.getMessageId()); + } catch (ClientException e) { + + } + // producer.close(); + } +} +``` +5）在已创建的Java工程中，创建订阅普通消息程序(Consumer.java)。Apache RocketMQ 支持[SimpleConsumer](https://rocketmq.apache.org/zh/docs/featureBehavior/06consumertype)和[PushConsumer](https://rocketmq.apache.org/zh/docs/featureBehavior/06consumertype)两种消费者类型 ，这里使用PushConsumers类型。 + +```java + +package com.rocketmq.consumer; + +import java.io.IOException; +import java.util.Collections; +import org.apache.rocketmq.client.apis.ClientConfiguration; +import org.apache.rocketmq.client.apis.ClientException; +import org.apache.rocketmq.client.apis.ClientServiceProvider; +import org.apache.rocketmq.client.apis.consumer.ConsumeResult; +import org.apache.rocketmq.client.apis.consumer.FilterExpression; +import org.apache.rocketmq.client.apis.consumer.FilterExpressionType; +import org.apache.rocketmq.client.apis.consumer.PushConsumer; + +import java.util.List; + +public class Consumer { + public static void main(String[] args) throws ClientException, IOException, InterruptedException { + final ClientServiceProvider provider = ClientServiceProvider.loadService(); + // 接入点地址，需要设置成Proxy的地址和端口列表，以下为k8s环境下rocketmq的proxy地址。 + String endpoints = "192.168.85.227:8081"; + ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder() + .setEndpoints(endpoints) + .build(); + // 订阅消息的过滤规则，表示订阅所有Tag的消息。 + String tag = "*"; + FilterExpression filterExpression = new FilterExpression(tag, FilterExpressionType.TAG); + // 为消费者指定所属的消费者分组，Group需要提前创建。 + String consumerGroup = "TestGroup"; + // 指定需要订阅哪个目标Topic，Topic需要提前创建。 + String topic = "TestTopic"; + // 初始化PushConsumer，需要绑定消费者分组ConsumerGroup、通信参数以及订阅关系。 + PushConsumer pushConsumer = provider.newPushConsumerBuilder() + .setClientConfiguration(clientConfiguration) + // 设置消费者分组。 + .setConsumerGroup(consumerGroup) + // 设置预绑定的订阅关系。 + .setSubscriptionExpressions(Collections.singletonMap(topic, filterExpression)) + // 设置消费监听器。 + .setMessageListener(messageView -> { + // 处理消息并返回消费结果。 + System.out.println("Consume message successfully, messageId="+ messageView.getMessageId()); + return ConsumeResult.SUCCESS; + }) + .build(); + Thread.sleep(Long.MAX_VALUE); + // 如果不需要再使用 PushConsumer，可关闭该实例。 + // pushConsumer.close(); + } +} +``` -#### 第四步：验证安装 - -现在你可以使用客户端工具连接到 RocketMQ 进行消息的发送和接收。 - - - - - -更多详细的配置和选项，请参考 [RocketMQ Helm Chart 文档](https://github.com/itboon/rocketmq-helm)。 \ No newline at end of file +#### 第四步：释放rocketmq资源 +``` bash +#释放所有rocketmq资源 +$ helm uninstall rocketmq-demo +``` From 95c7729c5b1104207a222a70ba24f8a8140becf7 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Thu, 15 Aug 2024 23:17:25 +0800 Subject: [PATCH 03/12] Update 04quickstartWithHelmInKubernetes.md --- docs/01-quickstart/04quickstartWithHelmInKubernetes.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md index edddbd1e04..a18947f62f 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -173,7 +173,7 @@ public class Consumer { } ``` -#### 第四步：释放rocketmq资源 +#### 第五步：释放rocketmq资源 ``` bash #释放所有rocketmq资源 $ helm uninstall rocketmq-demo From ab07a6cbbc317ac106af6432f33d3b6be3c00605 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 21:44:49 +0800 Subject: [PATCH 04/12] Update 04quickstartWithHelmInKubernetes-RocketMQ5.x.md --- docs/01-quickstart/04quickstartWithHelmInKubernetes.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md index a18947f62f..2561dcb58a 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -1,10 +1,10 @@ ### QuickStart -本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点单副本 RocketMQ 服务，并完成简单的消息收发。 +本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点 RocketMQ 服务，并完成简单的消息收发。 #### 前提条件 - 一个运行中的 `Kubernetes` 集群 -- 已安装的 `Helm` +- 已安装的 `Helm 3.7.0+ ` - 64位 `JDK 1.8+` #### 第一步：安装 Helm @@ -14,7 +14,7 @@ $ helm version ``` -如果未安装 Helm，可以使用以下命令进行安装： +如果未安装 Helm（3.7.0以上版本），可以使用以下命令进行安装： ```bash $ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash ``` From cf150cbb312ddbf1c6c7aa55a11494eccd2a84b1 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 21:56:42 +0800 Subject: [PATCH 05/12] Add quickstart-4.x Add quickstart-4.x --- .../04quickstartWithHelmInKubernetes-4.x.md | 85 +++++++++++++++++++ 1 file changed, 85 insertions(+) create mode 100644 docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md new file mode 100644 index 0000000000..271cb0532e --- /dev/null +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md @@ -0,0 +1,85 @@ +### QuickStart + +本⽂介绍在kubernetesk环境下如何使⽤Helm快速部署⼀个单节点 RocketMQ-4.x版本的服务，并完成简单的消息收发。 + + + +#### 前提条件 + +- 一个运行中的 `Kubernetes` 集群 +- 已安装的 `Helm 3.7.0+` +- 64位 `JDK 1.8+` + + + +#### 第一步：安装 Helm + +确保你的系统上已经安装了 Helm： + +```bash +$ helm version +``` + +如果未安装 Helm（3.7.0以上版本），可以使用以下命令进行安装： + +```bash +$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash +``` + + + +#### 第二步：下载 RocketMQ Helm 仓库 + +```bash +$ cd /opt/helm/ +$ helm pull oci://registry-1.docker.io/apache/rocketmq --version 0.0.1 +$ tar -zxvf rocketmq-0.0.1.tgz +``` + + + +#### 第三步：部署 RocketMQ + +使⽤ Helm chart 部署 RocketMQ。 + +```bash +#修改values.yaml中的配置（根据实际需求修改相关配置信息，如镜像版本，资源⼤⼩、副本数等，同时禁用proxy、controller功能） +$ helm install rocketmq-demo ./rocketmq //修改镜像tag为4.9.6 +#查看pod状态 +$ kubectl get pods -o wide -n default +NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +default rocketmq-demo-broker-0 0/1 Running 0 19s 192.168.58.228 k8s-node02 +default rocketmq-demo-nameserver-6678bb86f6-62s5d 0/1 Running 0 19s 192.168.85.229 k8s-node01 +``` + + + +#### 第四步：验证消息发送和接收 + +使用tools工具测试验证消息发送和接收。 + +``` bash +#登录pod内（需要管理工具），也可以在宿主机执行 +$ kubectl exec -ti rocketmq-demo-broker-0 -- /bin/bash + +#通过mqadmin创建 Topic +$ sh mqadmin updatetopic -t TopicTest -c DefaultCluster + +#发送消息（pod内操作） +$ sh tools.sh org.apache.rocketmq.example.quickstart.Producer +SendResult [sendStatus=SEND_OK, msgId=7F00000100E60F6F4D334B52982103E7, offsetMsgId=C0A83AE400002A9F000000000002ECD2, messageQueue=MessageQueue [topic=TopicTest, brokerName=rocketmq-demo-broker-0, queueId=2], queueOffset=124] + +#接收消息（pod内操作） +$ sh tools.sh org.apache.rocketmq.example.quickstart.Consumer +ConsumeMessageThread_please_rename_unique_group_name_4_16 Receive New Messages: [MessageExt [brokerName=rocketmq-demo-broker-0, queueId=2, storeSize=192, queueOffset=124, sysFlag=0, bornTimestamp=1723734104097, bornHost=/192.168.58.228:40492, storeTimestamp=1723734104097, storeHost=/192.168.58.228:10911, msgId=C0A83AE400002A9F000000000002ECD2, commitLogOffset=191698, bodyCRC=638172955, reconsumeTimes=0, preparedTransactionOffset=0, toString()=Message{topic='TopicTest', flag=0, properties={MIN_OFFSET=0, MAX_OFFSET=125, CONSUME_START_TIME=1723734158990, UNIQ_KEY=7F00000100E60F6F4D334B52982103E7, CLUSTER=DefaultCluster, TAGS=TagA}, body=[72, 101, 108, 108, 111, 32, 82, 111, 99, 107, 101, 116, 77, 81, 32, 57, 57, 57], transactionId='null'}]] +``` + + + +#### 第五步：释放*rocketmq*资源 + +```bash +#释放所有rocketmq资源 +$ helm uninstall rocketmq-demo +``` + From 5f792286688c40d58e908e1f13e5a2dd9ef132a6 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 21:57:45 +0800 Subject: [PATCH 06/12] Update 04quickstartWithHelmInKubernetes.md --- docs/01-quickstart/04quickstartWithHelmInKubernetes.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md index 2561dcb58a..5f95ddaa10 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -1,5 +1,5 @@ ### QuickStart -本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点 RocketMQ 服务，并完成简单的消息收发。 +本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点 RocketMQ-5.X 版本的服务，并完成简单的消息收发。 #### 前提条件 From 21661d7e04fd79c256d2b7563295557ac84d8e27 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 21:58:12 +0800 Subject: [PATCH 07/12] Update 04quickstartWithHelmInKubernetes-4.x.md --- docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md index 271cb0532e..7179f68217 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md @@ -1,6 +1,6 @@ ### QuickStart -本⽂介绍在kubernetesk环境下如何使⽤Helm快速部署⼀个单节点 RocketMQ-4.x版本的服务，并完成简单的消息收发。 +本⽂介绍在kubernetesk环境下如何使⽤Helm快速部署⼀个单节点 RocketMQ-4.x 版本的服务，并完成简单的消息收发。 From 734eb357c7e7606b6b46ce4f663fd733649a36eb Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 23:52:08 +0800 Subject: [PATCH 08/12] Update 04quickstartWithHelmInKubernetes-4.x.md --- .../04quickstartWithHelmInKubernetes-4.x.md | 21 +++++++++++++++---- 1 file changed, 17 insertions(+), 4 deletions(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md index 7179f68217..dfbf179fc3 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes-4.x.md @@ -32,7 +32,7 @@ $ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bas ```bash $ cd /opt/helm/ -$ helm pull oci://registry-1.docker.io/apache/rocketmq --version 0.0.1 +$ helm pull oci://registry-1.docker.io/apache/rocketmq --version 0.0.1 $ tar -zxvf rocketmq-0.0.1.tgz ``` @@ -42,9 +42,23 @@ $ tar -zxvf rocketmq-0.0.1.tgz 使⽤ Helm chart 部署 RocketMQ。 -```bash +```yaml #修改values.yaml中的配置（根据实际需求修改相关配置信息，如镜像版本，资源⼤⼩、副本数等，同时禁用proxy、controller功能） -$ helm install rocketmq-demo ./rocketmq //修改镜像tag为4.9.6 +$ vim values.yaml +##values.yaml, 例如将broker中默认-XX:MaxDirectMemorySize=8g等参数修改调整成适宜大小， 修改镜像tag为4.9.6## + jvmMemory: " -Xms1g -Xmx1g -Xmn512m -XX:MaxDirectMemorySize=1g " + resources: + limits: + cpu: 2 + memory: 4Gi + requests: + cpu: 2 + memory: 2Gi +##values.yaml## +``` + +```bash +$ helm install rocketmq-demo ./rocketmq #查看pod状态 $ kubectl get pods -o wide -n default NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES @@ -53,7 +67,6 @@ default rocketmq-demo-nameserver-6678bb86f6-62s5d 0/1 Running 0 ``` - #### 第四步：验证消息发送和接收 使用tools工具测试验证消息发送和接收。 From 46eb526bff485ffbce8e0a2ca103bae73d713e5c Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 16 Aug 2024 23:54:30 +0800 Subject: [PATCH 09/12] Update 04quickstartWithHelmInKubernetes.md --- .../04quickstartWithHelmInKubernetes.md | 15 ++++++++++++++- 1 file changed, 14 insertions(+), 1 deletion(-) diff --git a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md index 5f95ddaa10..60c5134698 100644 --- a/docs/01-quickstart/04quickstartWithHelmInKubernetes.md +++ b/docs/01-quickstart/04quickstartWithHelmInKubernetes.md @@ -32,8 +32,21 @@ $ tar -zxvf rocketmq-0.0.1.tgz #### 第三步：部署 RocketMQ 使用 Helm chart 部署 RocketMQ： +```yaml +$ vim values.yaml +##values.yaml, 例如将broker中默认-XX:MaxDirectMemorySize=8g等参数修改调整成适宜大小## + jvmMemory: " -Xms1g -Xmx1g -Xmn512m -XX:MaxDirectMemorySize=1g " + resources: + limits: + cpu: 2 + memory: 4Gi + requests: + cpu: 2 + memory: 2Gi +##values.yaml## +``` + ```bash -#修改values.yaml中的配置（根据实际需求修改相关配置信息，如资源大小、副本数等） $ helm install rocketmq-demo ./rocketmq #查看pod状态 From 25358605f6e42f4bd0d165f69078b1d2c5618e86 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Wed, 21 Aug 2024 22:26:25 +0800 Subject: [PATCH 10/12] Add files via upload --- .../04quickstartWithKubernetes.md | 193 ++++++++++++++++++ 1 file changed, 193 insertions(+) create mode 100644 versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md diff --git a/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md new file mode 100644 index 0000000000..550af24591 --- /dev/null +++ b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md @@ -0,0 +1,193 @@ +### QuickStart +本文介绍在kubernetesk环境下如何使用Helm快速部署一个单节点 RocketMQ-5.X 版本的服务，并完成简单的消息收发。 + +#### 前提条件 + +- 一个运行中的 `Kubernetes` 集群 +- 已安装的 `Helm 3.7.0+ ` +- 64位 `JDK 1.8+` + +#### 第一步：安装 Helm + +确保你的系统上已经安装了 Helm： +```bash +$ helm version +``` + +如果未安装 Helm（3.7.0以上版本），可以使用以下命令进行安装： +```bash +$ curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash +``` + +#### 第二步：下载 RocketMQ Helm 仓库 + +使用 Helm chart 部署 RocketMQ： + +```bash +$ cd /opt/helm/ +$ helm pull oci://registry-1.docker.io/apache/rocketmq --version 0.0.1 +$ tar -zxvf rocketmq-0.0.1.tgz +``` + +#### 第三步：部署 RocketMQ +使用 Helm chart 部署 RocketMQ： + +```yaml +$ vim values.yaml +##values.yaml, 例如将broker中默认-XX:MaxDirectMemorySize=8g等参数修改调整成适宜大小## + jvmMemory: " -Xms1g -Xmx1g -Xmn512m -XX:MaxDirectMemorySize=1g " + resources: + limits: + cpu: 2 + memory: 4Gi + requests: + cpu: 2 + memory: 2Gi +##values.yaml## +``` + +```bash +$ helm install rocketmq-demo ./rocketmq + +#查看pod状态 +$ kubectl get pods -o wide -n default +NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES +rocketmq-demo-broker-0 1/1 Running 0 6h3m 192.168.58.225 k8s-node02 +rocketmq-demo-nameserver-757877747b-k669k 1/1 Running 0 6h3m 192.168.58.226 k8s-node02 +rocketmq-demo-proxy-6c569bd457-wcg6g 1/1 Running 3 (6h2m ago) 6h3m 192.168.85.227 k8s-node01 +``` + +#### 第四步：验证消息发送和接收 +使用JAVA SDK测试消息收发（由于本地网络和k8s网络不属于同一内网，需要将项目本地打包后放在远程运行），具体如下： + +1）IDEA中创建一个Java工程。 + +2）在 *pom.xml* 文件中添加以下依赖引入Java依赖库： +```xml + ...... + + org.apache.rocketmq + rocketmq-client-java + 5.0.7 + + ..... +``` +3）使用mqadmin创建 Topic和消费者。 +```bash +#登录pod内（需要管理工具），也可以在宿主机执行 +$ kubectl exec -ti rocketmq-demo-broker-0 -- /bin/bash + +#通过mqadmin创建Topic +$ sh mqadmin updatetopic -t TestTopic -c DefaultCluster + +#通过mqadmin创建消费者Group +$ sh mqadmin updateSubGroup -c DefaultCluster -g TestGroup +``` +4）在已创建的Java工程中，创建发送普通消息程序 （ProducerDemo.java），示例代码如下： + +```java +package com.rocketmq.producer; + +import org.apache.rocketmq.client.apis.ClientConfiguration; +import org.apache.rocketmq.client.apis.ClientConfigurationBuilder; +import org.apache.rocketmq.client.apis.ClientException; +import org.apache.rocketmq.client.apis.ClientServiceProvider; +import org.apache.rocketmq.client.apis.message.Message; +import org.apache.rocketmq.client.apis.producer.Producer; +import org.apache.rocketmq.client.apis.producer.SendReceipt; + + +public class ProducerDemo { + public static void main(String[] args) throws ClientException { + // 接入点地址，需要设置成Proxy的地址和端口列表，以下为k8s环境下rocketmq的proxy地址。 + String endpoint = "192.168.85.227:8081"; + // 消息发送的目标Topic名称，需要提前创建。 + String topic = "TestTopic"; + ClientServiceProvider provider = ClientServiceProvider.loadService(); + ClientConfigurationBuilder builder = ClientConfiguration.newBuilder().setEndpoints(endpoint); + ClientConfiguration configuration = builder.build(); + // 初始化Producer时需要设置通信配置以及预绑定的Topic。 + Producer producer = provider.newProducerBuilder() + .setTopics(topic) + .setClientConfiguration(configuration) + .build(); + // 普通消息发送。 + Message message = provider.newMessageBuilder() + .setTopic(topic) + // 设置消息索引键，可根据关键字精确查找某条消息。 + .setKeys("messageKey") + // 设置消息Tag，用于消费端根据指定Tag过滤消息。 + .setTag("messageTag") + // 消息体。 + .setBody("messageBody".getBytes()) + .build(); + try { + // 发送消息，需要关注发送结果，并捕获失败等异常。 + SendReceipt sendReceipt = producer.send(message); + System.out.println("Send message successfully, messageId="+sendReceipt.getMessageId()); + } catch (ClientException e) { + + } + // producer.close(); + } +} +``` +5）在已创建的Java工程中，创建订阅普通消息程序(Consumer.java)。Apache RocketMQ 支持[SimpleConsumer](https://rocketmq.apache.org/zh/docs/featureBehavior/06consumertype)和[PushConsumer](https://rocketmq.apache.org/zh/docs/featureBehavior/06consumertype)两种消费者类型 ，这里使用PushConsumers类型。 + +```java + +package com.rocketmq.consumer; + +import java.io.IOException; +import java.util.Collections; +import org.apache.rocketmq.client.apis.ClientConfiguration; +import org.apache.rocketmq.client.apis.ClientException; +import org.apache.rocketmq.client.apis.ClientServiceProvider; +import org.apache.rocketmq.client.apis.consumer.ConsumeResult; +import org.apache.rocketmq.client.apis.consumer.FilterExpression; +import org.apache.rocketmq.client.apis.consumer.FilterExpressionType; +import org.apache.rocketmq.client.apis.consumer.PushConsumer; + +import java.util.List; + +public class Consumer { + public static void main(String[] args) throws ClientException, IOException, InterruptedException { + final ClientServiceProvider provider = ClientServiceProvider.loadService(); + // 接入点地址，需要设置成Proxy的地址和端口列表，以下为k8s环境下rocketmq的proxy地址。 + String endpoints = "192.168.85.227:8081"; + ClientConfiguration clientConfiguration = ClientConfiguration.newBuilder() + .setEndpoints(endpoints) + .build(); + // 订阅消息的过滤规则，表示订阅所有Tag的消息。 + String tag = "*"; + FilterExpression filterExpression = new FilterExpression(tag, FilterExpressionType.TAG); + // 为消费者指定所属的消费者分组，Group需要提前创建。 + String consumerGroup = "TestGroup"; + // 指定需要订阅哪个目标Topic，Topic需要提前创建。 + String topic = "TestTopic"; + // 初始化PushConsumer，需要绑定消费者分组ConsumerGroup、通信参数以及订阅关系。 + PushConsumer pushConsumer = provider.newPushConsumerBuilder() + .setClientConfiguration(clientConfiguration) + // 设置消费者分组。 + .setConsumerGroup(consumerGroup) + // 设置预绑定的订阅关系。 + .setSubscriptionExpressions(Collections.singletonMap(topic, filterExpression)) + // 设置消费监听器。 + .setMessageListener(messageView -> { + // 处理消息并返回消费结果。 + System.out.println("Consume message successfully, messageId="+ messageView.getMessageId()); + return ConsumeResult.SUCCESS; + }) + .build(); + Thread.sleep(Long.MAX_VALUE); + // 如果不需要再使用 PushConsumer，可关闭该实例。 + // pushConsumer.close(); + } +} +``` + +#### 第五步：释放rocketmq资源 +``` bash +#释放所有rocketmq资源 +$ helm uninstall rocketmq-demo +``` From 1f9323d48d19c7790a262a5eb3fc4cf140ad36a6 Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Wed, 21 Aug 2024 22:38:37 +0800 Subject: [PATCH 11/12] Update 04quickstartWithKubernetes.md --- .../02-quickStart/04quickstartWithKubernetes.md | 10 +++++----- 1 file changed, 5 insertions(+), 5 deletions(-) diff --git a/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md index 550af24591..8aa8183795 100644 --- a/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md +++ b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md @@ -34,15 +34,15 @@ $ tar -zxvf rocketmq-0.0.1.tgz ```yaml $ vim values.yaml -##values.yaml, 例如将broker中默认-XX:MaxDirectMemorySize=8g等参数修改调整成适宜大小## - jvmMemory: " -Xms1g -Xmx1g -Xmn512m -XX:MaxDirectMemorySize=1g " +##values.yaml, 例如根据机器可用内存大小将broker中resources中requests和limits的memory改成大于MaxDirectMemorySize的大小## + jvmMemory: " -Xms4g -Xmx4g -Xmn2g -XX:MaxDirectMemorySize=8g " resources: limits: cpu: 2 - memory: 4Gi + memory: 10Gi requests: cpu: 2 - memory: 2Gi + memory: 10Gi ##values.yaml## ``` @@ -58,7 +58,7 @@ rocketmq-demo-proxy-6c569bd457-wcg6g 1/1 Running 3 (6h2m ago) 6h3 ``` #### 第四步：验证消息发送和接收 -使用JAVA SDK测试消息收发（由于本地网络和k8s网络不属于同一内网，需要将项目本地打包后放在远程运行），具体如下： +使用JAVA SDK测试消息收发（由于本地网络和k8s网络不属于同一内网，需要将项目本地打包后放在远程运行，打包后将target目录下的jar包拷贝至至目标服务器上执行`java -jar jar包名称`），具体如下： 1）IDEA中创建一个Java工程。 From 2f0ec6b30ff2a3664f32a36fcbb7d326ba8b475a Mon Sep 17 00:00:00 2001 From: Bishenlei <155437098+Baiyelovecode@users.noreply.github.com> Date: Fri, 23 Aug 2024 23:15:15 +0800 Subject: [PATCH 12/12] Update 04quickstartWithKubernetes.md --- .../version-5.0/02-quickStart/04quickstartWithKubernetes.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md index 8aa8183795..eadbf4464d 100644 --- a/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md +++ b/versioned_docs/version-5.0/02-quickStart/04quickstartWithKubernetes.md @@ -34,8 +34,7 @@ $ tar -zxvf rocketmq-0.0.1.tgz ```yaml $ vim values.yaml -##values.yaml, 例如根据机器可用内存大小将broker中resources中requests和limits的memory改成大于MaxDirectMemorySize的大小## - jvmMemory: " -Xms4g -Xmx4g -Xmn2g -XX:MaxDirectMemorySize=8g " +##values.yaml, 例如根据机器可用内存大小将broker中resources中requests和limits的memory进行调整## resources: limits: cpu: 2 @@ -50,6 +49,7 @@ $ vim values.yaml $ helm install rocketmq-demo ./rocketmq #查看pod状态 +#若参数正常，则表明部署成功 $ kubectl get pods -o wide -n default NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES rocketmq-demo-broker-0 1/1 Running 0 6h3m 192.168.58.225 k8s-node02