添加长度外推

[i4never]

Update

• 添加YaRN rope scaling
• 添加Dynamic rope scaling，修复transformers #25306中的问题
• 使用streamlit重构web demo（介于长文本需要更user friendly的输入方式）
• 添加chat函数，支持shell/web的infer stream输出

Usage

• shell infer:

  CUDA_VISIBLE_DEVICES=0 python infer.py \
  --model_path tigerbot-13b-chat \
  --max_input_length 1024 \
  --max_generate_length 1024 \
  --streaming True

• web demo:

  export PYTHONPATH='../' ; export CUDA_VISIBLE_DEVICES="2" ;streamlit run apps/web_demo.py

Known issue

• #25104，由于generate使用kv cache，并且无法预先知道生成总长度，生成token的pos embed，以及嵌入kv cache中的pos embed与scaling的理论计算有差别，降低了scaling的鲁棒性。