Ошибки по Фрейду: ИИ от Amazon перепутал политиков с преступниками

"Умная" система Rekognition, созданная компанией Amazon для распознавания лиц, не выдержала проверку, которую ей устроил Американский союз гражданских свобод.

Активисты "скормили" системе фотографии двадцати пяти тысяч преступников, а затем "натравили" обученный алгоритм на фотографии конгрессменов. Итог оказался забавным — ИИ идентифицировал двадцать восемь политиков в качестве преступников.

Если учесть тот факт, что система Rekognition позиционируется компанией Amazon как инструмент в том числе и для полиции, то цена подобных ошибок ИИ может быть очень высокой.

Члены Американского союза гражданских свобод, ответственные за проведение эксперимента, говорят, что использовали вполне стандартные настройки для ИИ — порог уверенности системы, в частности, был установлен на уровне восьмидесяти процентов.

"Они просто неправильно откалибровали алгоритм. Уверенность в восемьдесят процентов — это вполне нормальный показатель, если вы хотите распознавать, скажем, хот-доги на фотографиях с едой, но если речь идет об идентификации людей, то показатель должен быть выше — как минимум девяносто пять процентов", — прокомментировали инцидент представители Amazon.