IDEで実行したJUnitは2件通るのに、CIの mvn test は緑のまま、期待したテストの名前がログに出ません。翌日の変更で3,000円ちょうどのギフト包装が有料に戻っても、CIが判定を見つけられない状態です。
BUILD SUCCESS はMavenのビルドが成功したという表示です。今回の設定では、JUnitが0件のときも表示されます。まずテスト件数とクラス名を見てから、依存関係やコードに手を入れます。
この記事でわかること。GiftWrapFeeSpec が0件になる条件、-Dtest で同じクラスを実行する手順、改名後に通常実行で拾うことを確かめる方法を説明します。
記事と同じコードを実行する
JDK 17とMaven 3.9系で試せます。ZIPにはJavaの本体、テスト、pom.xml、READMEを収録しています。最初はテストが0件になる状態で、クラス指定と改名を順に試します。
mvn testが成功しても、テストが0件のことがある
このサンプルの仕様は、注文小計が2,999円なら包装料200円、3,000円なら無料です。テストには両方の条件があります。ZIPを展開して pom.xml と同じ場所から実行します。clean は、このサンプルの前回のコンパイル結果とレポートを削除してから比較するために付けています。
実行コマンドとログの抜粋
mvn clean test
[INFO] --- surefire:3.5.3:test (default-test) @ maven-junit-zero-tests-sample ---
[INFO] BUILD SUCCESS検証環境では GiftWrapFeeSpec.class が target/test-classes に作られ、Surefireの実行後は BUILD SUCCESS が出ました。一方、JUnitの実行件数を示す行と target/surefire-reports/TEST-*.xml はありませんでした。このサンプルの0件は、コンパイルされたテストクラスがあるのに、JUnitで走った結果がない状態です。プラグインの版や設定でログは異なるため、毎回 Tests run: 0 と出ることを前提にしません。
IDEが選んだテストクラスと、Mavenが既定条件で選ぶクラスは異なることがあります。IDEだけの成功を根拠にすると、CIが検出すべき回帰を見逃します。
まずSurefireの対象名と、コンパイル済みのクラス名を照合する
サンプルはJUnit Jupiter 5.12.2とSurefire 3.5.3を指定しています。src/test/java にクラスを置き、テストメソッドに @Test を付けても、通常実行でそのクラスが選ばれるとは限りません。今回のPOMには名前を上書きする includes や excludes を設定していません。
既定の命名パターンは、名前が Test から始まるもの、または Test、Tests、TestCase で終わるものです。GiftWrapFeeSpec はどのパターンにも一致しません。チームのPOMに独自ルールがある場合は、有効になっている includes・excludes と実際のクラス名を比べてください。
GiftWrapFeeSpec 既定名の条件に合わない 実行0件-Dtest=GiftWrapFeeSpec 同じクラス名を指定する 実行2件GiftWrapFeeTest 既定名の条件に合う 実行2件-Dtestで明示すると、同じクラスを2件実行できる
クラス名の選択が原因かを切り分けます。-Dtest は今回の調査用で、指定する名前は GiftWrapFeeSpec です。D は大文字です。手元の既定実行と同じモジュールのディレクトリで、次のコマンドを使います。
クラスを明示したときのログの抜粋
mvn -Dtest=GiftWrapFeeSpec clean test
[INFO] Running info.syachiku.giftwrap.GiftWrapFeeSpec
[INFO] Tests run: 2, Failures: 0, Errors: 0, Skipped: 0結果に GiftWrapFeeSpec と、Tests run: 2, Failures: 0, Errors: 0, Skipped: 0 が表示されます。明示実行で2件通れば、このサンプルではテスト本体とJUnit実行環境が動くところまで切り分けられます。MissingTest を指定すると No tests matching pattern "MissingTest" were executed! で失敗します。この違いは、既定の探索結果が0件の場合と、明示した名前に一致する対象がない場合で、Surefireの既定の扱いが違うためです。
存在しないクラスを明示したときのログの抜粋
mvn -Dtest=MissingTest clean test
No tests matching pattern "MissingTest" were executed!
[INFO] BUILD FAILURE実務の切り分けでは、target/test-classes にクラスがない場合は、名前の変更より先に、対象モジュールとテストソースの配置を見ます。Tests are skipped. が表示された場合は、CIの skipTests などの設定を確認します。明示実行も失敗する場合に、ログで指定名やJUnitの実行環境を確認します。
ファイル名とクラス名をTestにそろえ、通常実行で直ったか確かめる
src/test/java/info/syachiku/giftwrap/GiftWrapFeeSpec.java を GiftWrapFeeTest.java に変更し、宣言も class GiftWrapFeeTest にします。ファイル名を変えるだけでは、コンパイル結果のクラス名は変わりません。mvn clean test を実行すると、今度は明示指定なしで2件成功します。Running info.syachiku.giftwrap.GiftWrapFeeTest と件数の両方を確認します。
チームで *Spec を採用している場合は、個別ファイルを改名する前にPOMの規約を確認します。includes を調整するときは、*Spec だけを入れて従来の *Test を拾わなくなる変更に注意し、両方のクラスを通常実行で確認します。
2件のうち、3,000円ちょうどのテストが回帰を見つける
配布時のテスト名は GiftWrapFeeSpec です。試した後に改名した人は、もう一度別の場所にZIPを展開すると元の状態で比較できます。
GiftWrapFee.java(全文)
package info.syachiku.giftwrap;
public final class GiftWrapFee {
public int calculate(int subtotalYen) {
return subtotalYen >= 3000 ? 0 : 200;
}
}GiftWrapFeeSpec.java(全文)
package info.syachiku.giftwrap;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.assertEquals;
class GiftWrapFeeSpec {
private final GiftWrapFee fee = new GiftWrapFee();
@Test
void chargesFeeBelowThreshold() {
assertEquals(200, fee.calculate(2999));
}
@Test
void waivesFeeAtThreshold() {
assertEquals(0, fee.calculate(3000));
}
}pom.xml(全文)
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>info.syachiku</groupId>
<artifactId>maven-junit-zero-tests-sample</artifactId>
<version>1.0.0</version>
<properties>
<maven.compiler.release>17</maven.compiler.release>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>org.junit.jupiter</groupId>
<artifactId>junit-jupiter</artifactId>
<version>5.12.2</version>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
<version>3.3.1</version>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.14.1</version>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>3.5.3</version>
</plugin>
</plugins>
</build>
</project>未修正版の GiftWrapFee.java で、subtotalYen >= 3000 を subtotalYen > 3000 に変更します。2,999円では変化せず、3,000円ちょうどで料金が200円になります。
条件を変えたときのログの抜粋
mvn -Dtest=GiftWrapFeeSpec clean test
[ERROR] GiftWrapFeeSpec.waivesFeeAtThreshold:17 expected: <0> but was: <200>
[ERROR] Tests run: 2, Failures: 1, Errors: 0, Skipped: 0この変更をしても mvn clean test は0件のまま成功しました。mvn -Dtest=GiftWrapFeeSpec clean test では2件走り、waivesFeeAtThreshold の1件が失敗します。通常のCIで回帰を拾うには、調査用コマンドが通ったことに加え、改名したテストが既定の実行経路にも入ることを確認します。
CIではテスト件数と、期待するクラスが走ったことを確認する
テストが必ずあるモジュールでは mvn -DfailIfNoTests=true clean test で、今回のように実行対象が0件の状態を失敗にできます。未修正版を使うと No tests were executed! を確認できます。テストのない親モジュールや設定専用モジュールも含むCIでは、実行対象を先に確認してください。
他のテストが通る場合は、今回の GiftWrapFeeSpec だけが抜けてもこの設定では検出できません。テストをスキップする設定も別に確認が必要です。CIが出した target/surefire-reports のXMLで、対象クラスと期待した境界値のケース名を確かめます。
| 操作 | 未修正版 | 改名後 |
|---|---|---|
mvn clean test | 成功・実行0件 | 成功・実行2件 |
存在しない -Dtest を指定 | 失敗・名前に一致する対象なし | 同じ条件で失敗 |
-DfailIfNoTests=true を指定 | 失敗・テスト0件 | 成功・実行2件 |
レビュー例。「CIのログにはテスト名と件数が出ていません。既定の mvn test で GiftWrapFeeTest が2件実行され、3,000円ちょうどのケースがレポートに載るところまで確認してください。」
提出前に、普段のコマンドで対象クラスを確かめる
- 実行したモジュールは、テストクラスが入っているモジュールと同じか。
- コンパイル後のクラス名は、POMで有効なSurefireの選択ルールに合うか。
- 名前を明示しない通常実行のログとレポートに、対象クラスと期待するケースがあるか。
- 1件も実行されないと困るモジュールでは、0件をCIの失敗として扱っているか。
JUnitが動くことを確認したら、何を失敗させるべきかも決めます。『ソフトウェアテストの教科書』のテスト技法を使って、今回の3,000円のように結果が変わる境目と、前後の入力を選ぶ練習ができます。
ソフトウェアテストの教科書[増補改訂 第2版]
仕様から、試す入力と期待する結果を選べるようになる。
同値分割・境界値や条件の組合せなど、テストケースを選ぶ考え方を基礎から学ぶ1冊。何を試せばよいかわからない段階で選びます。
- 正常な値を1件試した後、追加するケースに迷う
- 入力と期待値を選んだ理由を説明したい
当サイトはAmazonアソシエイト・プログラムの参加者です。価格・在庫・配送条件はAmazonでご確認ください。
この記事とあわせて読みたい
まとめ
Mavenが成功しても、テストの件数とクラス名を確認します。今回の0件は、GiftWrapFeeSpec がSurefireの既定名に合わないためでした。-Dtest で2件走ることを確認し、ファイル名とクラス名を GiftWrapFeeTest にそろえた後は、明示指定なしのコマンドで2件走ることを確かめます。



