У нас есть большая тестовая кодовая база с более чем 1500 тестами для приложения Python/Django. Большинство тестов используют factory-boy
для генерации данных для моделей проекта.
В настоящее время мы используем nose
test runner, но открываем для перехода на py.test
.
Проблема заключается в том, что время от времени при запуске частей тестов, комбинации тестов мы сталкиваемся с непредвиденными неудачами тестирования, которые не воспроизводятся при выполнении всех тестов или этих тестов индивидуально.
Похоже, что тесты действительно связаны.
Вопрос: Можно ли автоматически определять все связанные тесты в проекте?
Мое текущее мышление заключается в том, чтобы запускать все тесты в разных случайных комбинациях или порядке и сообщать о сбоях, может ли nose
или py.test
помочь с этим?