レポート構成

TestRunnerCLI から実行したテスト結果は、"--autostart" オプションの指定の仕方により、次の 2 通りのフォルダ構成で出力されます。
"--autostart" オプションについてはコマンドラインリファレンスを参照してください。

--autostart=true の場合

TestRunnerCLI からテストスクリプトを実行すると自動でテストが開始・終了し、以下のフォルダ構成でテスト結果が出力されます。

📂<プロジェクトルート>
　📂Reports
　　📂TestRun_YYYYMMDD_hhmmss_XXXXXXXX (テストランフォルダ)
　　　📄Result.csv
　　　📂TestCase_0_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult.zip
　　　📂TestCase_1_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult.zip
　　　📂TestCase_2_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult.zip
　　　…
　　📂TestRun_YYYYMMDD_hhmmss_XXXXXXXX (テストランフォルダ)
　　 📄Result.csv
　　　…

--autostart=false の場合

TestRunnerCLI からテストスクリプトを実行しても自動でテストが開始・終了せず、テストスクリプト内から、テスト開始 API (start_test) とテスト終了 API (stop_test) を呼び出す必要があります。
テストスクリプト内でテスト開始・終了を複数回繰り返すことで、以下のフォルダ構成でテスト結果が出力されます。
テスト開始・終了 API についてはスクリプトリファレンスを参照してください。

📂<プロジェクトルート>
　📂Reports
　　📂TestRun_YYYYMMDD_hhmmss_XXXXXXXX (テストランフォルダ)
　　　📄Result.csv
　　　📂TestCase_0_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　📂TestCase_1_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　📂TestCase_2_YYYYMMDD_hhmmss (テストケースフォルダ)
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　　📄TestResult_xxxxxx.zip
　　　…
　　📂TestRun_YYYYMMDD_hhmmss_XXXXXXXX (テストランフォルダ)
　　 📄Result.csv
　　　…

テストランフォルダ

run コマンドを実行するたびに作成されます。フォルダ名は TestRun_<実行日時>_<ランダムな文字列> となります。

テストケースフォルダ

実行されたスクリプトファイルごとにフォルダが作成されます。フォルダ名は TestCase_<通し番号>_<実行日時> となります。

レポートファイル

実行されたスクリプトファイルごとにレポートファイルが作成されます。ファイル名は TestResult.zip もしくは TestResult_<任意の文字列>.zip となります。

Result.csv

run コマンド 1 回分の実行結果のサマリーが記録されるファイルです。

<プロジェクトルート>\Scripts にあるすべての .py ファイルの結果が記載されます。

カラム

Result
- テストスクリプトファイルの実行結果です。
StartDate
- 開始日時が記録されます。ステータス確定時の時刻が記録されます。
Path
- 実行したテストスクリプトファイルのパスです。

Result の詳細

PASS
- スクリプトの実行が完了しました。
FAILED
- スクリプトの実行が完了しませんでした。実行中にエラーがあった場合や assert で NG となった場合です。
CANCEL
- 前のテストスクリプトが失敗したため、実行されませんでした。 --continue オプションを使用していない場合のみ設定されます。
SKIP
- パターン検索に該当しなかった、実行対象外のスクリプトです。