en2zmax/see-smc-autotest
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: исправлена терминология — ~hex это ID датасета, не хеш

Browse Source
This commit is contained in:
Maksim Totmin 2026-06-23 14:16:38 +07:00
parent 5ecdb71ae1
commit 8027d76508
1 changed files with 7 additions and 7 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

14
GUIDE.md
View File

@ -104,7 +104,7 @@ python3 test_see_models.py --host 10.101.60.25 --port 6184 -v
Из вывода ты видишь: Из вывода ты видишь:
- Какие модели работают (`✓ модель → результат`) - Какие модели работают (`✓ модель → результат`)
- Какие всегда пустые (`✗ модель → empty`) - Какие всегда пустые (`✗ модель → empty`)
- Какие есть хеш-варианты и бэкапы (у них тот же префикс, но с `~hash` или `-backup`) - Какие есть варианты с ID датасета и бэкапы (тот же префикс, но с `~ID` или `-backup`)
## Шаг 3: Создание asserts ## Шаг 3: Создание asserts
@ -113,7 +113,7 @@ python3 test_see_models.py --host 10.101.60.25 --port 6184 -v
| Тип модели | `min_found` | Почему | | Тип модели | `min_found` | Почему |
|------------|-------------|--------| |------------|-------------|--------|
| Базовая (без суффикса) | `1` | Должна всегда отвечать | | Базовая (без суффикса) | `1` | Должна всегда отвечать |
| Хеш-вариант (`~4f2d37c9...`) | `0` | Копия базы для тестирования, может не работать | | ID датасета (`~4f2d37c9...`) | `0` | Копия модели на другом датасете, может не работать |
| `-backup` | `0` | Бэкап, может не работать | | `-backup` | `0` | Бэкап, может не работать |
| `-planned` | `0` | Запланированная, ещё не готова | | `-planned` | `0` | Запланированная, ещё не готова |
| `-new` | `0` | Экспериментальная, может не работать | | `-new` | `0` | Экспериментальная, может не работать |
@ -195,7 +195,7 @@ SMC возвращает классы с полями `class` и `confidence`:
|-------------|-----------------| |-------------|-----------------|
| `✓ fio → Ф:"Иванов" И:"Иван" О:"Иванович"` | `{"model": "fio", "text": "Иванов Иван Иванович", "checks": {"min_found": 1, "calculated_contains": "Ф:", "confidence_min": 0.3}}` | | `✓ fio → Ф:"Иванов" И:"Иван" О:"Иванович"` | `{"model": "fio", "text": "Иванов Иван Иванович", "checks": {"min_found": 1, "calculated_contains": "Ф:", "confidence_min": 0.3}}` |
| `✓ weekday → пятница` | `{"model": "weekday", "checks": {"min_found": 1, "text_contains": "пятница"}}` | | `✓ weekday → пятница` | `{"model": "weekday", "checks": {"min_found": 1, "text_contains": "пятница"}}` |
| `✓ zags~ffb403 → ...` (хеш) | `{"model": "zags~ffb403", "checks": {"min_found": 0}}` | | `✓ zags~ffb403 → ...` (ID датасета) | `{"model": "zags~ffb403", "checks": {"min_found": 0}}` |
| `✗ fio2 → empty` | `{"model": "fio2", "checks": {"min_found": 0}}` | | `✗ fio2 → empty` | `{"model": "fio2", "checks": {"min_found": 0}}` |
### 3.5 Поле `text` в assert ### 3.5 Поле `text` в assert
@ -208,9 +208,9 @@ SMC возвращает классы с полями `class` и `confidence`:
**Когда НЕ указывать `text`:** **Когда НЕ указывать `text`:**
- `pick_text()` уже подбирает правильный текст - `pick_text()` уже подбирает правильный текст
- Для хеш-вариантов и бэкапов — используй тот же текст что у базовой модели (укажи явно, чтобы не зависеть от порядка `pick_text`) - Для вариантов с ID датасета и бэкапов — используй тот же текст что у базовой модели (укажи явно, чтобы не зависеть от порядка `pick_text`)
**Важно**: если указываешь `text` для хеш-варианта или бэкапа, используй тот же текст, что для базовой модели. Разные тексты могут не работать для копий. **Важно**: если указываешь `text` для варианта с ID датасета или бэкапа, используй тот же текст, что для базовой модели. Разные тексты могут не работать для копий.
Пример: Пример:
@ -281,7 +281,7 @@ python3 test_see_models.py --host 10.101.60.25 --port 6184 --asserts see_asserts
### Хеш-вариант работает без asserts, но с asserts — пустой ### Хеш-вариант работает без asserts, но с asserts — пустой
Это значит assert для хеш-варианта переопределяет `text` на неправильный. Убедись, что `text` совпадает с базовой моделью. Это значит assert для варианта с ID датасета переопределяет `text` на неправильный. Убедись, что `text` совпадает с базовой моделью.
## Полный пример: с нуля до готового набора ## Полный пример: с нуля до готового набора
@ -293,7 +293,7 @@ python3 test_see_models.py --host 10.10.10.10 --port 6184 -v
# 2. Вывод показывает 50 моделей. Создаём see_asserts.json: # 2. Вывод показывает 50 моделей. Создаём see_asserts.json:
# - Для каждой базовой модели → min_found: 1 + проверки из ответа # - Для каждой базовой модели → min_found: 1 + проверки из ответа
# - Для хеш-вариантов и бэкапов → min_found: 0 # - Для вариантов с ID датасета и бэкапов → min_found: 0
# - Для пустых → min_found: 0 # - Для пустых → min_found: 0
# 3. Запускаем с asserts # 3. Запускаем с asserts