Методологія якості
Згода анотаторів
Кожен запис датасету розмічається ≥3 незалежними анотаторами. Fleiss’ κ та pairwise span F1 публікуються з кожним релізом.
Випадки низької згоди
Ще немає merge-івЧекаємо на перший релізПісля першого merge-у датасет-entry з низькою згодою зʼявляться тут для перегляду — з голосами кожного анотатора і фінальним рішенням.
Згода в динаміці
Середня κ по тижнях і кількість записів, змерджених за кожен тиждень.
Ще немає merge-івЧекаємо на перший релізПоки замало історії — для тренду потрібно щонайменше два тижні merge-ів. Завітайте після наступного релізу.