Передача аргументов (для argparse) с помощью unittest обнаружить

foo - это проект Python с глубоким вложенным каталогом, включая файлы ~ 30 unittest в разных подкаталогах. Внутри foo setup.py я добавил пользовательскую команду "test" внутри

 python -m unittest discover foo '*test.py'

Обратите внимание, что в этом режиме unittest обнаружение.

Так как некоторые тесты очень медленные, я недавно решил, что тесты должны иметь "уровни". Ответ на этот вопрос очень хорошо объяснил, как получить unittest и argparse, чтобы хорошо работать друг с другом. Итак, теперь я могу запустить отдельный файл unittest, скажем foo/bar/_bar_test.py, с

python foo/bar/_bar_test.py --level=3

и выполняются только тесты уровня 3.

Проблема заключается в том, что я не могу понять, как передать пользовательский флаг (в этом случае "--level = 3" с помощью функции "Найти". Все, что я пытаюсь выполнить, например:

$ python -m unittest discover --level=3 foo '*test.py'
Usage: python -m unittest discover [options]

python -m unittest discover: error: no such option: --level

$ python -m --level=3 unittest discover foo '*test.py'
/usr/bin/python: No module named --level=3

Как я могу передать --level=3 отдельным unittests? Если возможно, я бы хотел избежать разделения тестов различного уровня на разные файлы.

Bounty Edit

В предрассветном (точном) решении предлагается использовать переменные системной среды. Это неплохо, но я ищу что-то более чистое.

Изменение тестового бегуна с несколькими файлами (т.е. python -m unittest find foo '* test.py') на что-то другое прекрасно, если:

  • Он позволяет генерировать единый отчет для нескольких файлов unittests.
  • Он может каким-то образом поддерживать несколько тестовых уровней (либо используя технику в вопросе, либо используя какой-то другой механизм).

ОТВЕТЫ

Ответ 1

Это не пропускает args, используя unittest discovery, но выполняет то, что вы пытаетесь сделать.

Это leveltest.py. Поместите его где-нибудь в путь поиска модуля (возможно, текущий каталог или сайт-пакеты):

import argparse
import sys
import unittest

# this part copied from unittest.__main__.py
if sys.argv[0].endswith("__main__.py"):
    import os.path
    # We change sys.argv[0] to make help message more useful
    # use executable without path, unquoted
    # (it just a hint anyway)
    # (if you have spaces in your executable you get what you deserve!)
    executable = os.path.basename(sys.executable)
    sys.argv[0] = executable + " -m leveltest"
    del os

def _id(obj):
    return obj

# decorator that assigns test levels to test cases (classes and methods)
def level(testlevel):
    if unittest.level < testlevel:
        return unittest.skip("test level too low.")
    return _id

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument('--level', type=int, default=3)
    ns, args = parser.parse_known_args(namespace=unittest)
    return ns, sys.argv[:1] + args

if __name__ == "__main__":
    ns, remaining_args = parse_args()

    # this invokes unittest when leveltest invoked with -m flag like:
    #    python -m leveltest --level=2 discover --verbose
    unittest.main(module=None, argv=remaining_args)

Вот как вы его используете в примере файла testproject.py:

import unittest
import leveltest

# This is needed before any uses of the @leveltest.level() decorator
#   to parse the "--level" command argument and set the test level when 
#   this test file is run directly with -m
if __name__ == "__main__":
    ns, remaining_args = leveltest.parse_args()

@leveltest.level(2)
class TestStringMethods(unittest.TestCase):

    @leveltest.level(5)
    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')

    @leveltest.level(3)
    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())

    @leveltest.level(4)
    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)

if __name__ == '__main__':
    # this invokes unittest when this file is executed with -m
    unittest.main(argv=remaining_args)

Затем вы можете запускать тесты, запуская testproject.py напрямую, например:

~roottwo\projects> python testproject.py --level 2 -v
test_isupper (__main__.TestStringMethods) ... skipped 'test level too low.'
test_split (__main__.TestStringMethods) ... skipped 'test level too low.'
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK (skipped=3)

~roottwo\projects> python testproject.py --level 3 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... skipped 'test level too low.'
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=2)

~roottwo\projects> python testproject.py --level 4 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=1)

~roottwo\projects> python testproject.py --level 5 -v
test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

Используя unittest discovery, например:

~roottwo\projects> python -m leveltest --level 2 -v
test_isupper (testproject.TestStringMethods) ... skipped 'test level too low.'
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.003s

OK (skipped=3)

~roottwo\projects> python -m leveltest --level 3 discover -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=2)

~roottwo\projects> python -m leveltest --level 4 -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... ok
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (skipped=1)

~roottwo\projects> python -m leveltest discover --level 5 -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... ok
test_upper (testproject.TestStringMethods) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK

Или, указав тестовые примеры для запуска, например:

~roottwo\projects>python -m leveltest --level 3 testproject -v
test_isupper (testproject.TestStringMethods) ... ok
test_split (testproject.TestStringMethods) ... skipped 'test level too low.'
test_upper (testproject.TestStringMethods) ... skipped 'test level too low.'

----------------------------------------------------------------------
Ran 3 tests in 0.002s

OK (skipped=2)

Ответ 2

Невозможно передать аргументы при использовании find. DiscoveringTestLoader класс от обнаружения, удаляет все несопоставимые файлы (исключает использование '* test.py --level = 3') и передает только имена файлов в unittest.TextTestRunner

Вероятно, только опция до сих пор использует переменные среды

LEVEL=3 python -m unittest discoverfoo '*test.py'

Ответ 3

Проблема заключается в том, что синтаксический анализатор unittest просто не понимает этот синтаксис. Поэтому вам необходимо удалить параметры перед вызовом unittest.

Простой способ сделать это - создать модуль-оболочку (скажем, my_unittest.py), который ищет ваши дополнительные параметры, вытесняет их из sys.argv, а затем вызывает основную запись в unittest.

Теперь для хорошего бита... Код для этой оболочки в основном такой же, как и код, который вы уже используете для одного файла! Вам просто нужно поместить его в отдельный файл.

EDIT: добавлен пример кода ниже по запросу...

Во-первых, новый файл для запуска UT (my_unittest.py):

import sys
import unittest
from parser import wrapper

if __name__ == '__main__':
    wrapper.parse_args()
    unittest.main(module=None, argv=sys.argv)

Теперь parser.py, который должен находиться в отдельном файле, чтобы не быть в модуле __main__ для работы глобальной ссылки:

import sys
import argparse
import unittest

class UnitTestParser(object):

    def __init__(self):
        self.args = None

    def parse_args(self):
        # Parse optional extra arguments
        parser = argparse.ArgumentParser()
        parser.add_argument('--level', type=int, default=0)
        ns, args = parser.parse_known_args()
        self.args = vars(ns)

        # Now set the sys.argv to the unittest_args (leaving sys.argv[0] alone)
        sys.argv[1:] = args

wrapper = UnitTestParser()

И, наконец, образец тестового примера (project_test.py), чтобы проверить правильность анализа параметров:

import unittest
from parser import wrapper

class TestMyProject(unittest.TestCase):

    def test_len(self):
        self.assertEqual(len(wrapper.args), 1)

    def test_level3(self):
        self.assertEqual(wrapper.args['level'], 3)

И теперь доказательство:

$ python -m my_unittest discover --level 3 . '*test.py'
..
----------------------------------------------------------------------
Ran 2 tests in 0.000s

OK