Skip to content

Version 0.5.3
Compare
Choose a tag to compare
@kohya-ss kohya-ss released this 30 Mar 12:46
· 1009 commits to main since this release
v0.5.3
b996f5a
This commit was created on GitHub.com and signed with GitHub’s verified signature. The key has expired.
GPG key ID: 4AEE18F83AFDEB23
Expired
Learn about vigilant mode.

Updates at 28 Mar. 2023, 2023/3/28:

  • Fix an issue that the training script crashes when max_data_loader_n_workers is 0.
  • max_data_loader_n_workers が0の時に学習スクリプトがエラーとなる不具合を修正しました。

Updates at 27 Mar. 2023, 2023/3/27:

  • Fix issues when --persistent_data_loader_workers is specified.

    • The batch members of the bucket are not shuffled.
    • --caption_dropout_every_n_epochs does not work.
    • These issues occurred because the epoch transition was not recognized correctly. Thanks to u-haru for reporting the issue.

  • Fix an issue that images are loaded twice in Windows environment.

  • Add Min-SNR Weighting strategy. Details are in #308. Thank you to AI-Casanova for this great work!

    • Add --min_snr_gamma option to training scripts, 5 is recommended by paper.

  • Add tag warmup. Details are in #322. Thanks to u-haru!

    • Add token_warmup_min and token_warmup_step to dataset settings.
    • Gradually increase the number of tokens from token_warmup_min to token_warmup_step.
    • For example, if token_warmup_min is 3 and token_warmup_step is 10, the first step will use the first 3 tokens, and the 10th step will use all tokens.

  • Fix a bug in resize_lora.py. Thanks to mgz-dev! #328

  • Add --debug_dataset option to step to the next step with S key and to the next epoch with E key.

  • Fix other bugs.

  • --persistent_data_loader_workers を指定した時の各種不具合を修正しました。

    • --caption_dropout_every_n_epochs が効かない。
    • バケットのバッチメンバーがシャッフルされない。
    • エポックの遷移が正しく認識されないために発生していました。ご指摘いただいたu-haru氏に感謝します。

  • Windows環境で画像が二重に読み込まれる不具合を修正しました。

  • Min-SNR Weighting strategyを追加しました。 詳細は #308 をご参照ください。AI-Casanova氏の素晴らしい貢献に感謝します。

    • --min_snr_gamma オプションを学習スクリプトに追加しました。論文では5が推奨されています。

  • タグのウォームアップを追加しました。詳細は #322 をご参照ください。u-haru氏に感謝します。

    • データセット設定に token_warmup_min と token_warmup_step を追加しました。
    • token_warmup_min で指定した数のトークン（カンマ区切りの文字列）から、token_warmup_step で指定したステップまで、段階的にトークンを増やしていきます。
    • たとえば token_warmup_minに 3 を、token_warmup_step に 10 を指定すると、最初のステップでは最初から3個のトークンが使われ、10ステップ目では全てのトークンが使われます。

  • resize_lora.py の不具合を修正しました。mgz-dev氏に感謝します。#328

  • --debug_dataset オプションで、Sキーで次のステップへ、Eキーで次のエポックへ進めるようにしました。

  • その他の不具合を修正しました。

Updates at 21 Mar. 2023, 2023/3/21:

  • Add --vae_batch_size for faster latents caching to each training script. This batches VAE calls.
    • Please start with2 or 4 depending on the size of VRAM.
  • Fix a number of training steps with --gradient_accumulation_steps and --max_train_epochs. Thanks to tsukimiya!
  • Extract parser setup to external scripts. Thanks to robertsmieja!
  • Fix an issue without .npz and with --full_path in training.
  • Support extensions with upper cases for images for not Windows environment.
  • Fix resize_lora.py to work with LoRA with dynamic rank (including conv_dim != network_dim). Thanks to toshiaki!
  • latentsのキャッシュを高速化する--vae_batch_size オプションを各学習スクリプトに追加しました。VAE呼び出しをバッチ化します。
    -VRAMサイズに応じて、2 か 4 程度から試してください。
  • --gradient_accumulation_steps と --max_train_epochs を指定した時、当該のepochで学習が止まらない不具合を修正しました。tsukimiya氏に感謝します。
  • 外部のスクリプト用に引数parserの構築が関数化されました。robertsmieja氏に感謝します。
  • 学習時、--full_path 指定時に .npz が存在しない場合の不具合を解消しました。
  • Windows以外の環境向けに、画像ファイルの大文字の拡張子をサポートしました。
  • resize_lora.py を dynamic rank （rankが各LoRAモジュールで異なる場合、conv_dim が network_dim と異なる場合も含む）の時に正しく動作しない不具合を修正しました。toshiaki氏に感謝します。
Assets 2
Loading