en2zmax/see-smc-autotest
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
see-smc-autotest/README.md
Maksim Totmin 9b78a5a1bb first commit
2026-06-23 10:41:45 +07:00

1.8 KiB
Raw Blame History

SEE/SMC Autotests

Набор тестов для проверки моделей SEE (Semantic Entity Extraction) и SMC (Short Message Classification) после обновления.

Файлы

Файл Назначение
test_see_models.py Тест всех моделей SEE (entity + classifier)
test_smc_models.py Тест всех моделей SMC (classifier)
see_asserts.json Ожидаемые проверки для SEE (опционально)
smc_asserts.json Ожидаемые проверки для SMC (опционально)

Использование

Без проверок (только непустой ответ)

python3 test_see_models.py
python3 test_smc_models.py

С проверками по asserts

python3 test_see_models.py --asserts see_asserts.json
python3 test_smc_models.py --asserts smc_asserts.json

Другой сервер

python3 test_see_models.py --host 10.101.60.27 --port 6184
python3 test_smc_models.py --host 10.101.60.27 --port 6181

Формат asserts

{
  "asserts": [
    {
      "model": "fio",
      "text": "Иванов Иван Иванович",
      "checks": {
        "min_found": 1,
        "text_contains": "иван",
        "confidence_min": 0.3
      }
    }
  ]
}
  • model — имя модели (подстрока для поиска)
  • text — текст для запроса (опционально)
  • min_found — минимальное количество найденных сущностей/классов
  • text_contains — подстрока в тексте/классе первой сущности
  • calculated_contains — подстрока в calculated (только entity)
  • confidence_min — минимальный confidence