Поиск подходящих тестов для набора изменений
Мы используем Cobertura как инструмент покрытия кода. Тесты выполняются с помощью RFT-Rational Functional Tester (500 с лишним тестов). Запуск RFT занимает довольно много времени. Чтобы побудить разработчиков запускать тесты RFT, мы думаем об инструменте, способном перечислять тесты, охватывающие «набор изменений».
Подход примерно такой:
- На сервере интеграции запустите каждый тест rft, создайте базу данных для данных покрытия (файлы .ser для cobertura) по отдельным тестам
- для каждого набора изменений найдите тесты, просмотрев файлы .ser
- Обновите базу данных при повторном запуске тестов. По сути, база данных из прошлых запусков используется, чтобы «угадать» минимальный тест для текущего набора изменений.
Для начала мы можем рассматривать набор изменений как просто список файлов. Однако это могло быть изменение строки кода.
Любые комментарии? Какие-нибудь существующие инструменты с этой возможностью? Только что узнал, что IntelliJ 8 имеет эту функцию для тестов, выполняемых внутри (возможно, для модульных тестов)
Ответы 1
Текущее реализованное решение примерно (как в вопросе)
- Собирать файл ser для каждого теста
- Создайте базу данных затронутых классов и методов
Для заданного набора изменений сгенерируйте список методов и классов. Затем сверьте это с базой данных покрытия. Это дает приблизительное решение.
Работает разумно, а не на 100%. Таким образом, фильтрация применяется только к изменениям, внесенным в небольшую команду. Полный набор тестов запускается в основной ветке еженедельно