Skip to content

llm-jp/experiments

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

21 Commits
 
 
 
 

Repository files navigation

pretrain tasks

このリポジトリでは、事前学習に関するタスクをWG横断的に Issues で管理します。
Projects からは操作せず、可視化のためにのみ利用します。
各issueが実験管理番号として機能し、実験の詳細情報や関連リンクを管理します。
個別のツールやデータに関する Issue はそれぞれのレポジトリで管理しますが、必要に応じてこちらのレポジトリの Issue と紐づけてください。

このリポジトリにはファイルをpushしないでください。

だれでも Issue を立ててかまいません。
担当者(Assignee)には複数人の登録が可能ですが、監督者として必ずLLMCメンバーを含めてください。
担当者以外でも、関連情報など遠慮なくコメントに書き込んでください。

運用方法

  1. 新しい実験を始める場合、issueを作成してください。各issueは自動的に生成される番号(issue ID)を実験管理番号として使用します。
  2. issueには自動生成されるテンプレートを使用して、必要な情報を記載してください。
    1. 関連するラベル(pretrainevaluation、etc.)をつける。
    2. Projects を pretrain-tasks, Status を 未着手 に設定する。
  3. Issue の担当者が決まったら Assignee に設定し、Status を 割り当て済み に変更する。
    • 手の空いている人が自分で担当 Issue を決めて自身を Assignee に設定してもよいが、LLMCメンバーにメンションして一言報告する。
  4. 担当者は、Issue に着手したら Status を 開始確認中 に変更する。
  5. 監督者はノード使用数などを確認し、Status を 進行中 に変更する。
  6. 担当者は、Issue を完了したら Status を 完了検証中 に変更し、監督者に連絡する。目安は以下の通り。
    • コーパス構築:生成物が完了し、関連スクリプトが merge された段階
      • フィルタリングならフィルタ済み文書が生成物
    • 事前学習:学習が終了しGPUが空き、関連スクリプトが merge された段階
      • 評価まで Issue に含む場合、すべての評価が終了した段階 8. 監督者は、完了した Issue を確認し、修正や対応が必要なことがあればその指示を出し、問題がなければ Issue を完了に変更する。
  7. 完了した Issue はミーティングで確認した上でクローズ・アーカイブする。

About

Issue-Only Pretrain Task Management Repository

Resources

Stars

Watchers

Forks