[BUG] <title>基于CoCo2017数据集进行qlora的finetune后，示例图片中的目标都无法定位到

[drenched9]

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

• 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

• 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

基于COCO2017数据集，将部分验证集，转换为Qwen-VL所需格式，并将目标归一化为(0, 1000]，训练后效果很差。不但使用训练数据无法框出目标，连一开始可以的示例图片来测试也是报no box！
另外，不知道为啥，加载模型会出现如下很多layer层没有加载的警告，是不是因为跳过了这些层导致效果不佳呢？
Some weights of the model checkpoint at qwen/Qwen-VL-Chat-INT4 were not used when initializing QWenLMHeadModel: ... ...

期望行为 | Expected Behavior

期望能准确框出目标的位置

复现方法 | Steps To Reproduce

No response

运行环境 | Environment

- OS: Ubuntu 18.04
- Python:3.10.13
- Transformers:4.32.0
- PyTorch:
- CUDA (`python -c 'import torch; print(torch.version.cuda)'`):12.1

备注 | Anything else?

No response