Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BUG] 使用Langchain-Chatchat框架加载chatglm3-6-b-128k出现自问自答,停不下来的情况 #5

Open
nmbtwzt opened this issue Mar 14, 2024 · 1 comment

Comments

@nmbtwzt
Copy link

nmbtwzt commented Mar 14, 2024

问题描述 / Problem Description
使用chatglm-6-b-128k出现自问自答,停不下来的情况

微信图片_20240313110149

复现问题的步骤 / Steps to Reproduce
1.使用chatglm3-6b-128k
2.无论问答什么内容,都会出现自问自答情况。

预期的结果 / Expected Result
回答完毕后停止。

实际结果 / Actual Result
回答当前问题后,不停自问自答,无法停止。

环境信息 / Environment Information

  • langchain-ChatGLM 版本/commit 号:v0.2.10
  • 是否使用 Docker 部署(是/否):否
  • 使用的模型(ChatGLM2-6B / Qwen-7B 等):ChatGLM3-6B-128k
  • 使用的 Embedding 模型(moka-ai/m3e-base 等):m3e-base
  • 使用的向量库类型 (faiss / milvus / pg_vector 等): faiss
  • 操作系统及版本 / Operating system and version: linux
  • Python 版本 / Python version: 3.11
  • 其他相关环境信息 / Other relevant environment information:

附加信息 / Additional Information
想通过添加repetition_penalty来解决,但是未找到参数修改位置,希望可以指明。

@davidlvxin
Copy link
Contributor

这主要是因为Langchain-chatchat没有适配,chatglm3-6b-128k使用<|user|>作为结束符而不是普通的eos,可以参考这里的代码,为生成过程添加额外的结束符即可,或者直接使用chatglm的chat函数接口。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants