Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

E2Eテスト失敗時にエビデンスを保存する #4564

Merged
merged 3 commits into from
Jun 22, 2020

Conversation

nanasess
Copy link
Contributor

@nanasess nanasess commented Jun 10, 2020

概要(Overview・Refs Issue)

E2Eテスト失敗時に以下のエビデンスを保存する

  • エラー画面のスクリーンショット
  • エラー画面の HTML ソース
  • var/log 以下のログ

方針(Policy)

Github Actions の upload-artifect を使用して、エビデンスをアップロードする

テスト(Test)

以下 Artifacts にファイルアップロードされるのを確認
スクリーンショット 2020-06-10 10 34 41

すべての job が終了しないとアップロードされないことに注意

マイナーバージョン互換性保持のための制限事項チェックリスト

  • 既存機能の仕様変更
  • フックポイントの呼び出しタイミングの変更
  • フックポイントのパラメータの削除・データ型の変更
  • twigファイルに渡しているパラメータの削除・データ型の変更
  • Serviceクラスの公開関数の、引数の削除・データ型の変更
  • 入出力ファイル(CSVなど)のフォーマット変更

レビュワー確認項目

  • 動作確認
  • コードレビュー
  • E2E/Unit テスト確認(テストの追加・変更が必要かどうか)
  • 互換性が保持されているか
  • セキュリティ上の問題がないか

@okazy
Copy link
Contributor

okazy commented Jun 11, 2020

実行が終わらないため再実行します。
念のため落ちていたテストをメモしておきます。

Annotations
 Check failure on line 1 in .github

@github-actions
github-actions
/ Codeception (ubuntu-18.04, 7.3, pgsql, admin01)

.github#L1
Process completed with exit code 1.
 Check failure on line 1 in .github

@github-actions
github-actions
/ Codeception (ubuntu-18.04, 7.3, pgsql, admin03)

.github#L1
Process completed with exit code 1.

@okazy
Copy link
Contributor

okazy commented Jun 11, 2020

失敗したE2Eのテスト結果とログをダウンロードして確認できました!
テスト失敗時の調査がかなり楽になりますね。

image

Copy link
Contributor

@okazy okazy left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

変更内容・動作ともに問題ないと思います。

nanasess added a commit to nanasess/ec-cube that referenced this pull request Jun 12, 2020
E2Eテスト失敗時にエビデンスを保存する
nanasess added a commit to nanasess/ec-cube that referenced this pull request Jun 12, 2020
E2Eテスト失敗時にエビデンスを保存する
@okazy okazy merged commit 6ad7b9f into EC-CUBE:4.0 Jun 22, 2020
@okazy
Copy link
Contributor

okazy commented Jun 22, 2020

ありがとうございます。マージしました。すごく便利になりますね!

@okazy okazy added the improvement 機能改善 label Jun 22, 2020
@okazy okazy added this to the 4.0.5 milestone Jun 22, 2020
@nanasess nanasess deleted the upload-evidence branch October 3, 2022 07:56
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
improvement 機能改善
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants