Skip to content

Latest commit

 

History

History
41 lines (24 loc) · 1.2 KB

case1022.md

File metadata and controls

41 lines (24 loc) · 1.2 KB

现象

Grafana 上 PD 监控面板中 Cluster --> PD role 显示的 value 不正确

环境信息收集

  • 版本

3.0.5

  • 部署情况

    • 部署方式:ansible 部署
    • 服务器数量:15 台机器
    • 集群拓扑:tidb-server 和 pd-server 混部在 5 台服务器中,并且实例数量分别为 10,5 tikv 多实例混部在 10 台服务上,共计 40 个实例

分析步骤

  1. 使用 pd-ctl 工具查看当前 PD 各个节点的角色
pd-ctl member
  1. 确认上述 pd-ctl 获取的 leader 的节点是否与 Grafana PD 监控面板中 Cluster --> PD role 显示的角色匹配,如果不匹配,排查 Grafana 公式:

    • 编辑 Cluster --> PD role 公式将该监控项的公式替换为:
    count(delta(pd_server_tso{type="save",instance="$instance"}[1m]))
    • 点击左侧的 Visualization 选项,将 Value Mappings 设置更改为 range to text

    • 保存退出

结论

  • 在 TiDB 3.0.5 版本中 Grafana PD 监控面板中 Cluster --> PD role 因为该监控项公式的问题,显示的 leader 节点,与通过 pd-ctl 获取的实际的 PD leader 节点有偏差 。

  • 该监控项公式的 bug 已在 3.0.8 版本 fix。