Как проверить исключение в Java Junit

Если тест пройден, это будет означать, что в вашем методе выбрано IllegalArgumentException.
В противном случае тест JUnit завершится неудачно, потому что здесь вы делаете утверждение, что выбрасывается исключение IllegalArgumentException:

@Test(expected = IllegalArgumentException.class)

Удалите @Test(expected = IllegalArgumentException.class), и вы увидите, что тест не прошел.

Отредактируйте, чтобы ответить на свой комментарий: почему я не вижу сообщения "Неверный номер"

Вы видите исключение с трассировкой стека в выводе (терминале), если исключение не обнаружено ни одним вызывающим объектом. Но, как я только что объяснил в своем комментарии, в вашем случае вы не видите исключения, потому что оно перехватывается JUnit (который является вызывающим объектом), поскольку вы использовали ожидаемый атрибут в аннотации @Test. Когда вы запускаете свой метод, бегун JUnit перехватывает ваш брошенный IllegalArgumentException, потому что бегун JUnit знает, что он должен проверить, было ли выброшено IllegalArgumentException.
JVM записывает исключение в вывод (поток ошибок в данном случае), только если исключение возвращается до вершины стека вызовов (это означает, что никто в исполняемом коде не поймал исключение)

Тест должен пройти, ваша логика верна. Ваш тест говорит, что он ожидает выброса исключения, и это действительно так. Junit перехватывает исключение, проверяет его и выполняет тест.

expected = IllegalArgumentException.class 

Удалите эту строку из аннотации @Test, и она начнет генерировать исключение.

Вы, кажется, спрашиваете, почему

public void validateState(String number) {
    if (!number.matches(...))
        throw new IllegalArgumentException("Invalid number");

    System.out.println("Invalid number");
}

не генерирует исключение И одновременно не выводит сообщение об ошибке.

Причина в том, что при возникновении исключения оно будет распространять операторы пропуска до тех пор, пока исключение не будет перехвачено во включающем try ... catch. В этом случае вызов println будет пропущен. Это нормальное поведение Java ...

Если вы хотите, чтобы исключение было сгенерировано и сообщение было напечатано, напишите это так:

public void validateState(String number) {
    if (!number.matches(...)) {
        System.out.println("Invalid number");
        throw new IllegalArgumentException("Invalid number");
    }
}