Оцінка
Бенчмарки: план оцінювання
Як ми оцінюватимемо моделі на тестовому наборі BUDOVA. Запусків ще не було: результати опублікуємо з релізом базової моделі (після v1.0). Єдині числа на цій сторінці — цілі для нашої моделі.
Дорожня карта · результатів ще немає| Модель | NER F1 | Term acc. |
|---|---|---|
BUDOVA-XLM-R-base (наш)Domain-adapted XLM-R, LoRA fine-tune на BUDOVA (заплановано з релізом базової моделі) | ціль 0,891 | ціль 0,880 |
Liberta-UK-largeУкраїнська LM з supervised NER head | буде виміряно | буде виміряно |
XLM-R-large (zero-shot)Без fine-tune на BUDOVA | буде виміряно | буде виміряно |
mBERT-baseМультимовний бейслайн | буде виміряно | буде виміряно |
GPT-4o (few-shot)5-shot промпт, без fine-tune | буде виміряно | буде виміряно |
Випадковий бейслайнРівномірне призначення міток | буде виміряно | буде виміряно |
Сторонні моделі в таблиці — план порівняння, а не результати: жодну з них ще не запускали на тестовому наборі BUDOVA.
