feat: TCloud负载均衡同步优化 #1147

chenjr15 · 2024-10-31T06:52:00Z

No description provided.

scripts/sql/9999_clb_optimize_index.sql

cmd/hc-service/service/sync/handler/handler.go

ZQHcode · 2024-11-03T09:10:21Z

cmd/hc-service/service/sync/handler/handler.go

+	}
+
+	allCloudIDMap := make(map[string]struct{}, 1024)
+	for {


顺序需要调整，目前会存在两个问题：

如果等整个region同步完，再去删除本地的数据，时间会比较久，在这中间用户新增加的本地数据，会被删除；

Next完就需要去删除本地数据，最后再去统一的Sync，不然在执行Sync方法时，可能会存在一些唯一性校验的内容，由于没有先把region下需要删除的资源删掉，导致添加或者更新不进来。

如果是这样的话，

缓存全部云上clb列表（约几万个长度的实例列表）

重新拉一次云上数据（双倍时间）

cmd/hc-service/service/sync/handler/handler.go

fxdgg · 2024-11-04T02:25:06Z

cmd/hc-service/logics/res-sync/tcloud/load_balancer.go

+	}
+	for _, idBatch := range slice.Split(delCloudIDs, constant.BatchOperationMaxLimit) {
+		if err := cli.deleteLoadBalancer(kt, params.AccountID, params.Region, idBatch); err != nil {
+			logs.Errorf("fail to delete removed clb, err: %s, account: %s, region: %s, cloudIds: %v, rid: %s",


fxdgg · 2024-11-04T02:26:21Z

cmd/hc-service/logics/res-sync/tcloud/load_balancer.go

+			if params.CloudIDs[i] == lbFromCloud[i].GetCloudID() {
+				continue
+			}
+			logs.Warnf("params.CloudIDs[%d] mismatch prefetched lb cloud id, params: %s, opt: %s, rid: %s",


"params: %s, opt: %s"
这里只打印了云ID吧？这里叫params、opt感觉不太合适

params，opt 是简写，打出来的是对应的 cloud id ，不然太长了

cmd/hc-service/logics/res-sync/tcloud/load_balancer_listener.go

cmd/hc-service/logics/res-sync/tcloud/security_group.go

cmd/hc-service/service/sync/tcloud/load_balancer.go

pkg/adaptor/tcloud/clb.go

pkg/adaptor/tcloud/target.go

pkg/rest/client/client.go

--story=120462150 腾讯云 ClientError.NetworkError 错误重试

chenjr15 requested a review from fxdgg October 31, 2024 10:00

ZQHcode reviewed Nov 4, 2024

View reviewed changes