Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

categraf在windows执行脚本,当meta/{id}/stdout文件 有中文的时候,会报错 #1018

Closed
zhanglingxing opened this issue Jul 27, 2024 · 11 comments · Fixed by #1029
Closed

Comments

@zhanglingxing
Copy link

同样的脚本,输出到stdout文件有中文的时候,任务就会一直running,最终timeout,日志会一直打印错误信息,我觉得这个bug挺严重的,希望可以修复。

image

@kongfei605
Copy link
Collaborator

感谢反馈,这个问题我来看看

@zhanglingxing
Copy link
Author

@kongfei605 我发现脚本有中文注释,脚本是可以正常执行的,但是server的状态也是running,然后timeout。
image

错误日志和之前的一样
image

@UlricQin
Copy link
Contributor

数据库里的 task_xx 那一百张表,用的是什么字符集?

@zhanglingxing
Copy link
Author

@UlricQin
数据库表的编码
image

数据库的编码
image

mysql连接串的配置
image

@UlricQin
Copy link
Contributor

那不清楚了,按理说就是字符集的问题:

image

@zhanglingxing
Copy link
Author

@UlricQin 大佬,那你们有没有测试过,在windows执行对应的脚本,脚本中包含中文,如果你们是可以的,我再排查一下环境。

@UlricQin
Copy link
Contributor

UlricQin commented Aug 1, 2024 via email

@UlricQin
Copy link
Contributor

UlricQin commented Aug 1, 2024

我手头有个 Macbook,在 Mac 上使用容器运行整套环境,可以正常看到脚本输出的中文:

image

@zzmark
Copy link
Contributor

zzmark commented Aug 12, 2024

cmd 脚本没法用 UTF-8编码,这方面要做些特殊处理

@zzmark
Copy link
Contributor

zzmark commented Aug 12, 2024

反馈的 issue 包含两个问题

  1. task#start() 阶段,若是出现 error,没有正确设置 status,任务仍被识别为 running
  2. cmd 运行脚本,需要使用 ANSI 编码 + CRLF 换行。golang 内部均为unicode编码,没中文的话 utf8 与 ANSI 在 ASCII 范围内一致所以没问题。

这问题不算难搞,稍后我提个patch

其实还有个问题,脚本传入换行为 LF,应该会出现吞命令的,但是你这个却没出现,有点意外,这个脚本难道是从外部粘贴进来的吗?
如果是这样,n9e那边的编辑器需要补个换行符过滤了,避免 Linux 脚本出现 CRLF 导致无法执行。

若是改用 powershell(pwsh),则可以使用utf-8 + LF,不过改造工程有点大,需要n9e也加表单加字段,链路较长

zzmark added a commit to zzmark/categraf that referenced this issue Aug 12, 2024
- using native function, support ANSI CodePage from system

fix flashcatcloud#1018
@kongfei605
Copy link
Collaborator

golang 会自动处理windows和linux的换行差异

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging a pull request may close this issue.

4 participants