Skip to content

v3.0.0-beta0

Latest
Compare
Choose a tag to compare
@DrownFish19 DrownFish19 released this 28 Jun 03:05
· 5 commits to release/3.0-beta since this release
a2b8a78

很高兴地通知大家,飞桨大模型套件发布v3.0.0beat版本:拥抱大模型,体验全升级。具体工作如下:

  • 统一大模型工具链,实现国产计算芯片全流程接入;
  • 全面支持飞桨4D并行配置、高效精调策略、高效对齐算法、高性能推理等大模型产业级应用流程;
  • 自研极致收敛的RsLoRA+算法、自动扩缩容存储机制Unified Checkpoint和通用化支持FastFFN、FusedQKV助力大模型训推;
  • 主流模型持续支持更新,提供高效解决方案。

大模型精调对齐训推优化

模型新增

  • 新增Gemma模型 in #8082

    • google/gemma-7b
    • google/gemma-7b-it
    • google/gemma-2b
    • google/gemma-2b-it
  • 新增llama3模型 in #8307 #8371

    • meta-llama/Meta-Llama-3-8B
    • meta-llama/Meta-Llama-3-8B-Instruct
    • meta-llama/Meta-Llama-3-70B
    • meta-llama/Meta-Llama-3-70B-Instruct
  • 新增Qwen2模型 in #8338 #8584 #8601

    • Qwen/Qwen1.5-0.5B
    • Qwen/Qwen1.5-0.5B-Chat
    • Qwen/Qwen1.5-1.8B
    • Qwen/Qwen1.5-1.8B-Chat
    • Qwen/Qwen1.5-4B
    • Qwen/Qwen1.5-4B-Chat
    • Qwen/Qwen1.5-7B
    • Qwen/Qwen1.5-7B-Chat
    • Qwen/Qwen1.5-14B
    • Qwen/Qwen1.5-14B-Chat
    • Qwen/Qwen1.5-32B
    • Qwen/Qwen1.5-32B-Chat
    • Qwen/Qwen1.5-72B
    • Qwen/Qwen1.5-72B-Chat
    • Qwen/Qwen1.5-110B
    • Qwen/Qwen1.5-110B-Chat
    • Qwen/Qwen1.5-MoE-A2.7B
    • Qwen/Qwen1.5-MoE-A2.7B-Chat
    • Qwen/Qwen2-0.5B
    • Qwen/Qwen2-0.5B-Instruct
    • Qwen/Qwen2-1.5B
    • Qwen/Qwen2-1.5B-Instruct
    • Qwen/Qwen2-7B
    • Qwen/Qwen2-7B-Instruct
    • Qwen/Qwen2-72B
    • Qwen/Qwen2-72B-Instruct
    • Qwen/Qwen2-57B-A14B
    • Qwen/Qwen2-57B-A14B-Instruct

基础框架升级

  • 功能优化:

  • AutoParallel优化

    • llama支持recompute机制 in #8265
    • 适配llama3 in #8395
    • position_ids优化 in #8363
    • 支持流水线并行split_backward in #8479
    • 适配qwen in #8312
  • 分布式能力优化:

    • 修复流水线并行中enable_sharding_comm_overlap中参数错误问题 in #8333
    • MoE并行支持 in #8498 #8522
  • chat能力优化:

    • 增加Chat template in #8226
  • 其他

问题修复

  • 修复sharding数量小于100的bug in #8146
  • 修复TP/PP参数合并问题 in #8239
  • 修复tensor.shape与paddle.shape(tensor)不一致问题 in #8260
  • 修复fp16+delay_scale_loss_scale+sharding_stage1_overlap的bug in #8314
  • 增加pipelines运行文档及提示 in #8292 #8308 #8202 #8353
  • 修复text feature extraction任务中tokenizer输入 in #8331
  • 修复import error in #8332 #8367

结构调整

PaddleNLP文件结构调整 in #8609 #8613 #8605 #8614 #8617 #8626 #8618 #8625 #8619 #8629 #8601 #8627 #8666

What's Changed

New Contributors

Full Changelog: v2.8.1...v3.0.0-beta0