Как издеваться над космическими моделями/объектами Doc для модульных тестов?

На самом деле это отличный вопрос! Я бы сказал, что ваш инстинкт определенно прав: если все, что вам нужно, это объект Doc в заданном состоянии и с заданными аннотациями, всегда создавайте его вручную, где это возможно. И если вы не тестируете статистическую модель явно, не загружайте ее в свои модульные тесты. Это делает тесты медленными и вносит слишком много ненужной дисперсии. Это также очень соответствует философии модульного тестирования: вы хотите писать независимые тесты для одна вещь за раз (а не что-то одно плюс куча кода сторонних библиотек плюс статистическая модель).

Несколько общих советов и идей:

• Если возможно, всегда создавайте Doc вручную. Избегайте загрузки моделей или Language подклассов.
• Если вашему приложению или тесту специально не нужен doc.text, вы не устанавливаете придетсяspaces. Фактически, я не учитываю это примерно в 80% тестов, которые я пишу, потому что это действительно становится актуальным только тогда, когда вы снова собираете токены.
• Если вам нужно создать много объектов Doc в своем наборе тестов, вы можете рассмотреть возможность использования служебной функции, подобной get_doc помощник, которую мы используем в наборе тестов spaCy. (Эта функция также показывает вам, как отдельные аннотации устанавливаются вручную, если вам это нужно.)
• Используйте фикстуры (на уровне сеанса) для общих объектов, например Vocab. В зависимости от того, что вы тестируете, вы можете явно использовать словарь English. В наборе тестов spaCy мы делаем это, настроив en_vocab приспособление в файле conftest.py.
• Вместо того, чтобы устанавливать doc.ents в список кортежей, вы также можете сделать его списком Span объектов. Это выглядит немного проще, его легче читать, а в spaCy v2.1+ вы также можете передать строку в качестве метки:

def test_entities(en_vocab):
    doc = Doc(en_vocab, words=["Hello", "world"])
    doc.ents = [Span(doc, 0, 1, label = "ORG")]
    assert doc.ents[0].text == "Hello"

• Если вам нужно протестировать модель (например, в наборе тестов, который гарантирует, что ваши пользовательские модели загружаются и работают должным образом) или языковой класс, такой как English, поместите их в фикстуру на уровне сеанса. Это означает, что они будут загружаться только один раз за сеанс, а не один раз за тест. Языковые классы загружаются отложенно, и их загрузка также может занять некоторое время, в зависимости от содержащихся в них данных. Таким образом, вы хотите сделать это только один раз.

# Note: You probably don't have to do any of this, unless you're testing your
# own custom models or language classes.

@pytest.fixture(scope = "session")
def en_core_web_sm():
    return spacy.load("en_core_web_sm")

@pytest.fixture(scope = "session")
def en_lang_class():
    lang_cls = spacy.util.get_lang_class("en")
    return lang_cls()

def test(en_lang_class):
    doc = en_lang_class("Hello world")