Значение X должено быть ДОСТАТОЧНО большое, чтобы надёжно видеть PASSED/FAILED.

Если при разных запусках ты получаешь разные результаты, это не тест а азартная игра. Увеличь X и перестань надеяться на удачу.

Вместо того чтобы запускать тест вручную 10 раз, стоило бы сделать X в десять раз больше.

Я всего лишь говорю об одном из двух преимуществ Монте-Карло подобных тестов: при каждом запуске теста (во время ежедневной сборки) генерируются новые комбинации параметров, которые могут привести к выполнению ранее неиспользовавшихся частей кода.

Про то, что автоматический тест может сгенерировать больше комбинаций за один запуск, чем могут написать программисты я и не говорю. Это вроде как очевидно.

Если ты не можешь оценить, сколько тебе нужно запусков теста, то этот тест не даёт тебе никакого позитивного результата.

Оценить-то я могу. Проблема только в том, что и вручную подобранные комбинации никакого вывода о надёжности или ненадёжности кода сделать не дают.

Вместо того чтобы запускать тест вручную 10 раз, стоило бы сделать X в десять раз больше.

Это получается знахарство и халтура.

Если ты не можешь оценить, сколько тебе нужно запусков теста, то этот тест не даёт тебе никакого позитивного результата. Сделано действие, написан код, но никакого вывода о надёжности или ненадёжности сделать нельзя. Пустая трата времени.

Если ты генерируешь на ходу 10 комбинаций, а я использую заранее сгенерированные 10 заготовок, результат будет один.

Ну это как раз то что надо.

Лежащая или медленная сеть будет ложным срабатыванием, которое никак не помогает, а только мешает.

Ну это как раз то что надо. То есть по-умолчанию проверяем на “все ОК”. Дальше пишем тесты на ожидаемые обломы и что должно происходить. Т.е. нет связи, код должен кинуть какой-нибудь ConnectionException, связь есть, но медленная должно прокинуться TimeoutException, есть связь и с таймаутами все ок, но нет прав на получение данных – кидаем AuthorizationException и т.д. и т.п. Ну а вообще конечно понятно, что для раскрытия темы одного поста мало . И этих всяких видов и способов тестирования можно накатать вагон и еще целый состав вагонов.

А пользы от случайности данных ни в каком случае никакой.

Не соглашусь. Случайность нужна как компромис между полным перебором всех вариантов и тестированием нескольких комбинация входных данных, выбранных вручную. Первый занимает очень много времени, второе не даёт нормального покрытия.

На самом деле можно было бы просто инициализировать Random фиксированым seed, но я бы не пытался сэкономить мегабайты ценой усложнения логики тестов. Чем проще тест, тем надёжнее.