Влияние умственного утомления, монотонности задач и перекоса данных на эффективность аннотаторов
Введение Существует две темы, о которых редко говорят, когда речь заходит об аннотировании данных. Во‑первых, аннотаторы — это не просто «инструменты», которые нужно обучать и чью работу следует неустанно контролировать; это обычные люди, такие же, как мы с вами: они могут уставать или отвлекаться. Во‑вторых, на их работу влияет сам набор данных, который мы им предлагаем. Я испытываю сострадание и глубокое уважение к аннотаторам, с которыми работаю каждый день, поэтому давно хотел затронуть эту тему, но не находил времени и ресурсов для полноценного исследования. С помощью ИИ и благодаря учёным, уже проделавшим основную работу, я могу хотя бы поделиться кратким обзором. ...