MavenでJUnitのテストが0件になり、実行対象を見直す記事のアイキャッチ

設計・テスト・レビュー

MavenでJUnitのテストが0件になる原因|Surefireのクラス名と-Dtestの確認

IDEで実行したJUnitは2件通るのに、CIの mvn test は緑のまま、期待したテストの名前がログに出ません。翌日の変更で3,000円ちょうどのギフト包装が有料に戻っても、CIが判定を見つけられない状態です。

BUILD SUCCESS はMavenのビルドが成功したという表示です。今回の設定では、JUnitが0件のときも表示されます。まずテスト件数とクラス名を見てから、依存関係やコードに手を入れます。

この記事でわかること。GiftWrapFeeSpec が0件になる条件、-Dtest で同じクラスを実行する手順、改名後に通常実行で拾うことを確かめる方法を説明します。

記事と同じコードを実行する

JDK 17とMaven 3.9系で試せます。ZIPにはJavaの本体、テスト、pom.xml、READMEを収録しています。最初はテストが0件になる状態で、クラス指定と改名を順に試します。

サンプルZIPをダウンロード GitHubでコード全文と実行手順を見る

mvn testが成功しても、テストが0件のことがある

このサンプルの仕様は、注文小計が2,999円なら包装料200円、3,000円なら無料です。テストには両方の条件があります。ZIPを展開して pom.xml と同じ場所から実行します。clean は、このサンプルの前回のコンパイル結果とレポートを削除してから比較するために付けています。

実行コマンドとログの抜粋

mvn clean test
[INFO] --- surefire:3.5.3:test (default-test) @ maven-junit-zero-tests-sample ---
[INFO] BUILD SUCCESS

検証環境では GiftWrapFeeSpec.class が target/test-classes に作られ、Surefireの実行後は BUILD SUCCESS が出ました。一方、JUnitの実行件数を示す行と target/surefire-reports/TEST-*.xml はありませんでした。このサンプルの0件は、コンパイルされたテストクラスがあるのに、JUnitで走った結果がない状態です。プラグインの版や設定でログは異なるため、毎回 Tests run: 0 と出ることを前提にしません。

IDEが選んだテストクラスと、Mavenが既定条件で選ぶクラスは異なることがあります。IDEだけの成功を根拠にすると、CIが検出すべき回帰を見逃します。

まずSurefireの対象名と、コンパイル済みのクラス名を照合する

サンプルはJUnit Jupiter 5.12.2とSurefire 3.5.3を指定しています。src/test/java にクラスを置き、テストメソッドに @Test を付けても、通常実行でそのクラスが選ばれるとは限りません。今回のPOMには名前を上書きする includes や excludes を設定していません。

既定の命名パターンは、名前が Test から始まるもの、または Test、Tests、TestCase で終わるものです。GiftWrapFeeSpec はどのパターンにも一致しません。チームのPOMに独自ルールがある場合は、有効になっている includes・excludes と実際のクラス名を比べてください。

同じJUnitテスト2件を、Surefireが選べるかで結果が変わる
通常実行 GiftWrapFeeSpec 既定名の条件に合わない 実行0件
明示実行 -Dtest=GiftWrapFeeSpec 同じクラス名を指定する 実行2件
改名後の通常実行 GiftWrapFeeTest 既定名の条件に合う 実行2件

-Dtestで明示すると、同じクラスを2件実行できる

クラス名の選択が原因かを切り分けます。-Dtest は今回の調査用で、指定する名前は GiftWrapFeeSpec です。D は大文字です。手元の既定実行と同じモジュールのディレクトリで、次のコマンドを使います。

クラスを明示したときのログの抜粋

mvn -Dtest=GiftWrapFeeSpec clean test
[INFO] Running info.syachiku.giftwrap.GiftWrapFeeSpec
[INFO] Tests run: 2, Failures: 0, Errors: 0, Skipped: 0

結果に GiftWrapFeeSpec と、Tests run: 2, Failures: 0, Errors: 0, Skipped: 0 が表示されます。明示実行で2件通れば、このサンプルではテスト本体とJUnit実行環境が動くところまで切り分けられます。MissingTest を指定すると No tests matching pattern "MissingTest" were executed! で失敗します。この違いは、既定の探索結果が0件の場合と、明示した名前に一致する対象がない場合で、Surefireの既定の扱いが違うためです。

存在しないクラスを明示したときのログの抜粋

mvn -Dtest=MissingTest clean test
No tests matching pattern "MissingTest" were executed!
[INFO] BUILD FAILURE

実務の切り分けでは、target/test-classes にクラスがない場合は、名前の変更より先に、対象モジュールとテストソースの配置を見ます。Tests are skipped. が表示された場合は、CIの skipTests などの設定を確認します。明示実行も失敗する場合に、ログで指定名やJUnitの実行環境を確認します。

ファイル名とクラス名をTestにそろえ、通常実行で直ったか確かめる

src/test/java/info/syachiku/giftwrap/GiftWrapFeeSpec.java を GiftWrapFeeTest.java に変更し、宣言も class GiftWrapFeeTest にします。ファイル名を変えるだけでは、コンパイル結果のクラス名は変わりません。mvn clean test を実行すると、今度は明示指定なしで2件成功します。Running info.syachiku.giftwrap.GiftWrapFeeTest と件数の両方を確認します。

チームで *Spec を採用している場合は、個別ファイルを改名する前にPOMの規約を確認します。includes を調整するときは、*Spec だけを入れて従来の *Test を拾わなくなる変更に注意し、両方のクラスを通常実行で確認します。

関連記事JUnit 5入門|Mavenで最初のテストを実行し、失敗を直す JUnitの実行設定から確認したい場合は、テストが成功したときと失敗したときの表示を、送料計算の例で比べられます。 記事を読む

2件のうち、3,000円ちょうどのテストが回帰を見つける

配布時のテスト名は GiftWrapFeeSpec です。試した後に改名した人は、もう一度別の場所にZIPを展開すると元の状態で比較できます。

GiftWrapFee.java(全文)

package info.syachiku.giftwrap;

public final class GiftWrapFee {
    public int calculate(int subtotalYen) {
        return subtotalYen >= 3000 ? 0 : 200;
    }
}
GiftWrapFeeSpec.java(全文)
package info.syachiku.giftwrap;

import org.junit.jupiter.api.Test;

import static org.junit.jupiter.api.Assertions.assertEquals;

class GiftWrapFeeSpec {
    private final GiftWrapFee fee = new GiftWrapFee();

    @Test
    void chargesFeeBelowThreshold() {
        assertEquals(200, fee.calculate(2999));
    }

    @Test
    void waivesFeeAtThreshold() {
        assertEquals(0, fee.calculate(3000));
    }
}
pom.xml(全文)
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>info.syachiku</groupId>
  <artifactId>maven-junit-zero-tests-sample</artifactId>
  <version>1.0.0</version>
  <properties>
    <maven.compiler.release>17</maven.compiler.release>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>
  <dependencies>
    <dependency>
      <groupId>org.junit.jupiter</groupId>
      <artifactId>junit-jupiter</artifactId>
      <version>5.12.2</version>
      <scope>test</scope>
    </dependency>
  </dependencies>
  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>3.3.1</version>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.14.1</version>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>3.5.3</version>
      </plugin>
    </plugins>
  </build>
</project>

未修正版の GiftWrapFee.java で、subtotalYen >= 3000 を subtotalYen > 3000 に変更します。2,999円では変化せず、3,000円ちょうどで料金が200円になります。

条件を変えたときのログの抜粋

mvn -Dtest=GiftWrapFeeSpec clean test
[ERROR]   GiftWrapFeeSpec.waivesFeeAtThreshold:17 expected: <0> but was: <200>
[ERROR] Tests run: 2, Failures: 1, Errors: 0, Skipped: 0

この変更をしても mvn clean test は0件のまま成功しました。mvn -Dtest=GiftWrapFeeSpec clean test では2件走り、waivesFeeAtThreshold の1件が失敗します。通常のCIで回帰を拾うには、調査用コマンドが通ったことに加え、改名したテストが既定の実行経路にも入ることを確認します。

CIではテスト件数と、期待するクラスが走ったことを確認する

テストが必ずあるモジュールでは mvn -DfailIfNoTests=true clean test で、今回のように実行対象が0件の状態を失敗にできます。未修正版を使うと No tests were executed! を確認できます。テストのない親モジュールや設定専用モジュールも含むCIでは、実行対象を先に確認してください。

他のテストが通る場合は、今回の GiftWrapFeeSpec だけが抜けてもこの設定では検出できません。テストをスキップする設定も別に確認が必要です。CIが出した target/surefire-reports のXMLで、対象クラスと期待した境界値のケース名を確かめます。

操作未修正版改名後
mvn clean test成功・実行0件成功・実行2件
存在しない -Dtest を指定失敗・名前に一致する対象なし同じ条件で失敗
-DfailIfNoTests=true を指定失敗・テスト0件成功・実行2件

レビュー例。「CIのログにはテスト名と件数が出ていません。既定の mvn test で GiftWrapFeeTest が2件実行され、3,000円ちょうどのケースがレポートに載るところまで確認してください。」

提出前に、普段のコマンドで対象クラスを確かめる

  • 実行したモジュールは、テストクラスが入っているモジュールと同じか。
  • コンパイル後のクラス名は、POMで有効なSurefireの選択ルールに合うか。
  • 名前を明示しない通常実行のログとレポートに、対象クラスと期待するケースがあるか。
  • 1件も実行されないと困るモジュールでは、0件をCIの失敗として扱っているか。

JUnitが動くことを確認したら、何を失敗させるべきかも決めます。『ソフトウェアテストの教科書』のテスト技法を使って、今回の3,000円のように結果が変わる境目と、前後の入力を選ぶ練習ができます。

書籍「ソフトウェアテストの教科書[増補改訂 第2版]」の表紙
書影:SBクリエイティブ
PR テストを学ぶ若手向け

ソフトウェアテストの教科書[増補改訂 第2版]

布施昌弘・江添智之・永井努・三堀雅也 著

仕様から、試す入力と期待する結果を選べるようになる。

同値分割・境界値や条件の組合せなど、テストケースを選ぶ考え方を基礎から学ぶ1冊。何を試せばよいかわからない段階で選びます。

  • 正常な値を1件試した後、追加するケースに迷う
  • 入力と期待値を選んだ理由を説明したい

当サイトはAmazonアソシエイト・プログラムの参加者です。価格・在庫・配送条件はAmazonでご確認ください。

関連記事テストケースの作り方|仕様・境界値・期待結果をJUnitと対応させる実例 今回の2,999円と3,000円のように、仕様を実際の入力と期待値へ落とす手順を学べます。 記事を読む 関連記事Javaのテスト入門におすすめの本|テストケースを選べる最初の1冊 テストの実行はできても、何を検証すべきか迷う場合に、コードと書籍から考える順番を紹介します。 記事を読む

まとめ

Mavenが成功しても、テストの件数とクラス名を確認します。今回の0件は、GiftWrapFeeSpec がSurefireの既定名に合わないためでした。-Dtest で2件走ることを確認し、ファイル名とクラス名を GiftWrapFeeTest にそろえた後は、明示指定なしのコマンドで2件走ることを確かめます。

参照資料。Surefireの対象と除外、Surefireのtestゴールと設定項目。

-設計・テスト・レビュー
-, ,