Use go-tpc instead of benchmarksql

[yeya24]

Signed-off-by: yeya24 [email protected]

This PR uses go-tpc to replace the previous benchmarksql.

Tasks:

• Update cocde
• Manual tests
• Update comments and docs

[XuHuaiyu]

除了现有的 comments 外，还有 2 点：

1. 添加一个 flag，用来启动 tpcc 测试
2. 给 repo 添加一个 readme

[XuHuaiyu]

1. 在存在 3 个 lightning 时，分别为：

• stock
• order_line
• customer, config, district, history, item, new_order, oorder, warehouse

2. 当存在 2 个 lightning 时，分别为：

• stock
• order_line, customer, config, district, history, item, new_order, oorder, warehouse

3. 因为lightning 目前导入的瓶颈，在 stock 表上（约需要 2 小时），其次是 stock 表（约需要 1h30m），剩余表一起的导入时间约 1h。所以当 > 3 台 lightning 时，只需要用到 3 台即可，用更多的 lightning 也无法加速整体的导入时间。

[yeya24]

@XuHuaiyu 在 go-tpc 中，order_line 的生成是依赖于 orders 表。所以当存在3个lightning的时候，需要把order_line 和 order 放在同一台机器生成，那这个怎么调整一下呢？就在第二台机器上生成order_line和orders把？

[XuHuaiyu]

建库和建表，都放在 /tmp/go-tpc tpcc schema -U root -H %s -P %s -D %s 中吧。用户的服务器上可能没有安装 mysql client

[yeya24]

现在已经删掉schema 这个命令了。然后建表和建库都是自动的。但是drop掉已经存在的库不支持，这个怎么办？还是用mysql drop一下吧?

[july2993]

为啥不代码里用 driver drop?

[XuHuaiyu]

@yeya24 PTAL

[yeya24]

I also updated the readme. PTAL @XuHuaiyu

[july2993]

loop variable i captured by func literal

[yeya24]

Good catch! Will update soon

[july2993]

-       threads   = flag.Int64(nmThreads, 40, "number of threads")
+       threads   = flag.Int64(nmThreads, 40, "number of threads of go-tpc")

        //ansibleDir = flag.String(nmAnsibleDir, "", "ansible directory path")

@@ -170,12 +170,11 @@ func getLightningIPsAndDataDirs() (lightningIPs, dataDirs []string, err error) {
 > wget -O /tmp/go-tpc binary_url; chmod +x /tmp/go-tpc
 */
 func fetchTpcc(lightningDirs []string, lightningIPs []string, binaryURL string, skipDownloading bool) (err error) {
-       errCh := make(chan error, 3)
+       errCh := make(chan error, len(lightningIPs)*10) // 3 should enough, echo run 3 cmd at most
        wg := &sync.WaitGroup{}
-       for i, lightningIP := range lightningIPs {
-               ip := lightningIP
+       for i := 0; i < len(lightningIPs); i++ {
                wg.Add(1)
-               go func() {
+               go func(ip string, dir string) {
                        defer wg.Done()
                        if !skipDownloading {
                                if _, _, err = runCmd("ssh", ip, `rm -f /tmp/go-tpc`); err != nil {
@@ -189,16 +188,18 @@ func fetchTpcc(lightningDirs []string, lightningIPs []string, binaryURL string,
                                }
                                fmt.Println("Download go-tpc binary successfully!")
                        }
-                       if _, _, err = runCmd("ssh", ip, fmt.Sprintf("mkdir -p %s", lightningDirs[i])); err != nil {
+                       if _, _, err = runCmd("ssh", ip, fmt.Sprintf("mkdir -p %s", dir)); err != nil {
                                errCh <- err
                                return
                        }
-               }()
+               }(lightningIPs[i], lightningDirs[i])
        }
+
        go func() {
                wg.Wait()
                close(errCh)
        }()
+

also looks maybe block at push into errCh if having multi lightning, have we test it with mutl lightning?
I make a change but has no right to push

[july2993]

这个建议再详细点，比如会修改 tidb-lignting 的配置文件

另外说明下使用要先部署要 lightning, 并且需要有 wget, mysql 等（如果还有其它的）

[yeya24]

Thanks! Add to my todo list now. Will do tomorrow