E2Eテストのカバレッジを計測する

[nanasess]

概要(Overview・Refs Issue)

• E2Eのカバレッジを計測する
• refs E2Eテストのカバレッジを取得する ec-cube2#455

方針(Policy)

• ユニットテストは phpdbg, E2Eテストは xdebug3 を使用する
• ユニットテストとE2Eテストの JOB を並列で実行し、マージして codecov.io へアップロードする

実装に関する補足(Appendix)

• localhost だと IPv6 で通信してしまい、無駄なリダイレクトが発生してカバレッジの取得が失敗するため IPv4 を使用する
• ポップアップ系のテストは動作しないためカバレッジから除外

テスト（Test)

codecov.io にてカバレッジ計測できるのを確認

相談（Discussion）

問題なさそうであれば 4.1 にもマージしたい

マイナーバージョン互換性保持のための制限事項チェックリスト

• 既存機能の仕様変更
• フックポイントの呼び出しタイミングの変更
• フックポイントのパラメータの削除・データ型の変更
• twigファイルに渡しているパラメータの削除・データ型の変更
• Serviceクラスの公開関数の、引数の削除・データ型の変更
• 入出力ファイル(CSVなど)のフォーマット変更

レビュワー確認項目

• 動作確認
• コードレビュー
• E2E/Unit テスト確認(テストの追加・変更が必要かどうか)
• 互換性が保持されているか
• セキュリティ上の問題がないか

[codecov-commenter]

Codecov Report

Merging #5016 (ad5ae26) into 4.1 (b51348f) will decrease coverage by 7.55%.
The diff coverage is n/a.

@@             Coverage Diff              @@
##                4.1    #5016      +/-   ##
============================================
- Coverage     75.63%   68.08%   -7.56%     
============================================
  Files           456      457       +1     
  Lines         21183    24972    +3789     
============================================
+ Hits          16022    17001     +979     
- Misses         5161     7971    +2810     

Flag	Coverage Δ
tests	68.08% <ø> (-7.56%)	⬇️

Flags with carried forward coverage won't be shown. Click here to find out more.

Impacted Files	Coverage Δ
src/Eccube/Form/Type/Admin/MailType.php	44.11% <0.00%> (-55.89%)	⬇️
src/Eccube/Form/Type/RepeatedEmailType.php	45.71% <0.00%> (-54.29%)	⬇️
src/Eccube/Form/Type/Admin/DeliveryType.php	46.57% <0.00%> (-53.43%)	⬇️
src/Eccube/Form/Type/KanaType.php	48.71% <0.00%> (-51.29%)	⬇️
src/Eccube/Form/Type/RepeatedPasswordType.php	50.00% <0.00%> (-50.00%)	⬇️
src/Eccube/Form/Type/Admin/ChangePasswordType.php	50.00% <0.00%> (-50.00%)	⬇️
src/Eccube/Form/Type/Admin/CsvImportType.php	51.85% <0.00%> (-48.15%)	⬇️
src/Eccube/Form/Type/Admin/ProductType.php	50.80% <0.00%> (-47.61%)	⬇️
src/Eccube/Form/Type/Admin/ClassCategoryType.php	52.94% <0.00%> (-47.06%)	⬇️
.../Eccube/Form/Type/Admin/SearchLoginHistoryType.php	53.33% <0.00%> (-46.67%)	⬇️
... and 260 more

---

Continue to review full report at Codecov.

Legend - Click here to learn more
Δ = absolute <relative> (impact), ø = not affected, ? = missing data
Powered by Codecov. Last update b51348f...ad5ae26. Read the comment docs.

[okazy]

カバレッジの確認方法メモ

1. codecov-commenter の Continue to review full report at Codecov. をクリック

2. Coverage Changes をクリック

3. ファイル名をクリックすると差分が確認できる

[okazy]

ありがとうございます！問題ありません。

[okazy]

ありがとうございます、マージしました。