Amazon Connect Talent: оценки ИИ-интервью совпали с экспертами в 89,3%
Amazon в блоге AWS описала сервис Connect Talent, где ИИ проводит структурированные собеседования. По данным компании, его оценки совпали с решениями независимых экспертов в 89,3% случаев.
Компаниям с массовым наймом это способ проводить структурированные собеседования по единым критериям для конкретной роли. Соискателю полезно знать, на что опирается такой ИИ.
Коротко
- Видео, тон голоса и внешность в баллы не идут: оценивается расшифровка ответов.
- Если подтверждений навыка мало, сервис ставит пометку вместо балла.
- Вопросы и оценочные карты команда найма может править до начала интервью.
ИИ спрашивает и уточняет, а баллы ставит отдельный процесс
Сервис строит интервью вокруг навыков, нужных для роли, и составляет оценочные карты с признаками сильных сторон и поводов для опасений. После каждого ответа ИИ проверяет, хватает ли деталей, и при нехватке задаёт уточняющие вопросы.
Баллы интервьюер не ставит. Отдельный процесс находит в расшифровке проявленное поведение и приводит подтверждающие фрагменты. Балл от 1 до 5 считается по фиксированной формуле.
Психологи проверили вопросы и оценки: расхождения невелики
Независимая фирма психологов изучила черновой результат сервиса до правки людьми. По её оценке, 98% вопросов били в нужный навык, а 94% сигналов в картах измеряли его ясно.
Отдельно фирма разобрала 36 интервью и 252 сигнала. При ясных подтверждениях совпадение с экспертами дошло до 97,6%, по сигналам опасений составило 92,9%.
Каппа Коэна, мера согласия без случайных совпадений, равна 0,79. Это чуть ниже порога 0,81, за которым согласие считают почти полным.
Без уточняющих вопросов оценки получались заниженными
Компания сравнила оценки по первому ответу и по всему разговору. В предварительной проверке первые ответы давали баллы ниже до 1,14 на пятибалльной шкале, а полный разговор оказался ближе к экспертным оценкам.
Что это значит для вас
- Есть смысл рассказывать о конкретных действиях и измеримых результатах: ИИ уточняет именно их.
- Все цифры привела сама компания по внутренним и заказным проверкам.
Что делать
Пока ничего: следите за официальными данными AWS о цене и доступности сервиса.
Чего пока неизвестно
В основе не указаны цена сервиса, регионы доступности и порядок подключения. Данные об уточняющих вопросах компания называет предварительными.
Редакция «Применяй ИИ» · Как мы готовим новости