Узгодженість анотаторів
Кожен фрагмент отримує три незалежні проходи розмітки, після чого — адʼюдикацію за опублікованими настановами та аудит одностайних записів. Показники нижче виміряно на незалежних проходах у поданому вигляді, до виправлень і адʼюдикації; де ці проходи не збереглися, примітки до таблиці документів пояснюють, що показано натомість. Експертна валідація ще попереду.
Як обчислюємо узгодженість — у настановахВипадки низької узгодженості
95 записів з κ < 0,6 · показано 8 найнижчихκ = −0,50 — це, наприклад, значення Fleiss κ для трьох проходів, коли один із них позначив фрагмент, а два інші залишили його без мітки.
Адʼюдиковані записи до списку не входять.
188 записів мають Cohen κ між проходами нижче 0,8 і ще не адʼюдиковані.
Узгодженість за документами
Fleiss κ у вікні сутностей і span F1 — середні за фрагментами документа, виміряні на незалежних проходах у поданому вигляді, до виправлень і адʼюдикації, якщо примітка не каже іншого. Склад анотаторів у кожного документа свій, тож показники різних документів напряму не порівнюються.
| Документ | Фрагментів | κ | Span F1 |
|---|---|---|---|
| ДБН В.2.6-98:20091 | 904 | 0,88 | 0,95 |
| ДБН Б.2.2-6:20132 | 199 | — | — |
| ДБН В.1.2-8:20213 | 89 | — | — |
| ДБН В.1.1-45:2017 | 367 | 0,92 | 0,97 |
| ДБН В.1.2-12:2026 | 133 | 0,98 | 0,99 |
| ДБН Б.2.2-1:2008 | 241 | 0,92 | 0,96 |
| ДБН В.2.6-220:2017 | 559 | 0,89 | 0,96 |
| ДБН В.1.1-25:2009 | 328 | 0,91 | 0,97 |
| ДБН В.1.2-7:2021 | 107 | 0,94 | 0,98 |
| Усі документи з показником | 2 639 | 0,90 | 0,96 |
- Виміряно на проходах у збереженому вигляді: цільове виправлення після анотації змінило 237 із 2 712 рішень, решта лишилися такими, як їх подали.
- Після анотації раунд виправлень вирівняв усі три проходи на кожному фрагменті (119 операцій над спанами у 42 фрагментах), а проходи в поданому вигляді не збереглися. Тому збережена узгодженість (1,00) описує вирівняний запис, а не згоду анотаторів. Виміряно до виправлення: κ 0,963, span F1 0,982.
- Документ свідомо не має єдиного показника: три його страти (пілот, хвиля 1, хвиля 2) вимірюють різне, а хвиля 2 — відтворюваність правил, а не незалежне судження. Проходи в поданому вигляді не збереглися; збережена узгодженість (1,00) описує вирівняний запис, а не згоду анотаторів.
Узгодженість у динаміці
Середня κ до адʼюдикації за тижнем, коли записи зведено, і кількість таких записів.
