Как записать историю тестов с TestNg?
У меня есть набор тестов api на основе java, которые я запускаю из Intellij IDEA. Некоторые тесты обычно терпят неудачу по одной и той же причине при каждом запуске теста. Некоторые тесты терпят неудачу реже. Я хочу запустить все тесты хотя бы сто раз, чтобы выяснить, какие тесты не прошли и каковы уникальные причины неудач каждого неудачного теста.
Вот пример отчета, который я хочу сделать для себя. Для каждого неудавшегося теста есть одна строка. Текст перед каждым двоеточием на самом деле является именем столбца.
failingTest: myTest, failureReason: Expected 200 but got 304, timesOccurred: 25/100, stackTrace: text.
failingTest: myTest, failureReason: 404 not found, timesOccurred: 5/100, stackTrace: text.
Итак, из вышесказанного мы видим, что myTest не удался в общей сложности 30/100 раз. Как проще всего создать такой отчет?
Спасибо.
Ответы 1
Самый простой способ сделать это - создать собственный репортер, реализовав org.testng.IReporter, который поддерживается базой данных, в которую вы добавляете результаты теста.
Если результат теста для определенного метода уже существует, обновите его счетчик выполнения, а также его счетчик успешных / неудачных попыток на основе результатов теста для каждой уникальной причины отказа.
Могу я вместо этого использовать что-нибудь вроде Дженкинса? Я не уверен, что он предоставляет всю необходимую мне статистику без дополнительной работы.