Разпознаването на лица на Amazon фалшиво съпоставя 105 политици от САЩ и Обединеното кралство с полицейски снимки, но можете ли да се доверите на твърденията за точност?

През юли 2018 г. Американският съюз за граждански свободи проведе а тест използвайки инструмента за разпознаване на лица на Amazon, „Rekognition“, за да съпоставите снимки на членове на Конгреса на САЩ със снимки на хора, арестувани за престъпление. ACLU откри 28 фалшиви съвпадения, подчертавайки недостатъците на технологията за разпознаване на лица, която се предлага на правоприлагащите органи в цялата страна.

И така, стана ли по-добре?

Не много, според последния ни експеримент.

Любопитен дали и колко бързо се подобрява разпознаването на лица, Comparitech реши да проведе подобно проучване почти две години по-късно. Добавихме и политици от Обединеното кралство към микса, за общо 1959 законодатели.

Резултати

Разделихме резултатите между американски и британски политици. Но преди да обсъдим резултатите, нека първо прегледаме опорната точка, върху която се движат всички тези тестове: праговете на доверие.

Прагове на доверие

Когато две изображения се сравняват от Rekognition на Amazon, той не връща просто отговор „да“ или „не“. Вместо това резултатите се дават като проценти. Колкото по-висок е процентът, толкова по-уверено е разпознаването, че двете изображения са на едно и също лице.

ACLU използва настройките по подразбиране на Rekognition, които определят прага на достоверност на 80 процента.

Amazon смъмри констатациите на ACLU, като каза, че прагът е твърде нисък. Говорител на Amazon каза GCN тя трябва да бъде определена на най-малко 95 процента за целите на правоприлагането, и a блог пост на уебсайта на Amazon Web Services заяви, че трябва да бъде 99 процента. Въпреки това, а доклад на Gizmodo установиха, че определянето на тези прагове зависи от преценката на полицията и те не винаги използват препоръките на Amazon.

Повишаването на прага на доверие неизбежно води до по-малко фалшиви положителни резултати (неправилно съпоставяне на две снимки на различни хора), но също така и повече фалшиви негативи (неуспешно съпоставяне на две снимки на едно и също лице). За съжаление, не можем да измерим последното в този експеримент. Повече за това по-късно.

Свързахме се с ACLU и Amazon за коментар и ще актуализираме тази статия, ако получим записан отговор.

НАС

Наборът от данни за САЩ се състои от снимки на 430 депутати и 100 сенатори.

При 80 процента праг на доверие,Признаването неправилно съпостави средно 32 американски конгресменидо снимки на мушси в базата данни на арестите. Това е четири повече от експеримента на ACLU преди две години.

По тези стандарти разпознаването на лица на Amazon не се е подобрило и дори се представя по-зле от това, което ACLU постави преди две години.

Когато обаче увеличим прага до това, което Amazon препоръчва за правоприлагането,не открихме неправилни съвпадения при или над 95 процента увереност.ACLU не даде резултати при този праг през 2018 г., така че нямаме предишни резултати, с които можем да сравним.

Великобритания

Нашият набор от данни за Обединеното кралство се състои от 1429 политици: 632 членове на парламента и 797 членове на Камарата на лордовете. Съпоставихме ги със същите снимки на арести като американските политици.

При 80-процентов праг на достоверност Rekognition идентифицира погрешно средно 73 политици като снимки в базата данни за арести.

Процентът на фалшивите положителни резултати е по-нисък за британските политици (5 процента), отколкото за американските (13 процента), което може да означава, че британските политици изглеждат значително по-различно от техните колеги в САЩ, поне според Rekognition.

Когато повишихме прага на доверие до 95 процента, нямаше неправилни съвпадения.

Расови пристрастия

ACLU твърди, че при 80-процентов праг на достоверност технологията за разпознаване на лица на Amazon е расово предубедена, погрешно идентифицирайки небелите хора с по-висок процент, отколкото белите хора.

Нашите резултати подкрепят тази констатация. От 12-те политици, които са били погрешно идентифицирани при праг на доверие от 90 процента или по-висок, шестима не са били бели (както е показано на изображението в горната част на тази статия). Това означава, че половината от погрешно идентифицираните хора са цветнокожи, въпреки че небелите съставляват само около една пета от Конгреса на САЩ и една десета от парламента на Обединеното кралство.

Методика

Използвахме публично достъпни снимки на 430 американски представители, 100 американски сенатори, 632 членове на британския парламент и 797 членове на Камарата на лордовете.

Те бяха съпоставени с четири набора от 25 000 произволно избрани снимки на арест от Jailbase.com с помощта на Amazon Rekognition. Експериментът се повтаря веднъж за всеки набор и резултатите се осредняват заедно. Тъй като ACLU не публикува данните от своите тестове, не можахме да използваме абсолютно същата база данни със снимки на арест.

В някои случаи един политик е бил погрешно идентифициран повече от веднъж спрямо множество снимки. Това се счита за единичен фалшив положителен резултат.

Тази електронна таблица съдържа всички политици, които отговарят на или над 70 процента увереност, техните снимки и увереността, с която Rekognition ги съпоставя.

Защо не трябва да се доверявате на статистиката за точността на разпознаването на лица

Бъдете скептични всеки път, когато компания, инвестирала в разпознаване на лица, търгува с показатели за това колко добре работи. Статистиката често е непрозрачна и понякога направо подвеждаща.

Ето пример за това как статистиката за точността на разпознаване на лица може да бъде изопачена. В Обединеното кралство полицейските сили в Метрополитен твърдят, че тяхната технология за разпознаване на лица прави грешка само в един на всеки 1000 случая. Те достигнаха това число, като разделиха броя на неправилните съвпадения на общия брой хора, чиито лица бяха сканирани. Това повишава оценката за точност, като включва истински негативи - по-голямата част от изображенията, които изобщо не са съвпаднали.

За разлика от това, независими изследователи от университета в Есекс установиха, че технологията има процент грешки от 81 процента когато разделят броя на неправилните съвпадения на общия брой отчетени съвпадения. Докладът на университета е много по-в съответствие с начина, по който повечето хора разумно биха преценили точността, пренебрегвайки истинските негативи и фокусирайки се върху скоростта, с която отчетените съвпадения са верни.

А по-късно отчет установи, че полицията в Метрополитен използва разпознаване на лица на живо, за да сканира лицата на 8600 души без съгласие в Лондон. Резултатите бяха в съответствие с констатациите на университета в Есекс: едно правилно съвпадение, водещо до арест, и седем фалшиви положителни резултати.

Фалшиви отрицания

Още по-рядко се съобщава процентът на фалшивите негативи: две изображения на едно и също лице, които е трябвало да съпоставят, но не са. Като хипотетичен пример за тази грешка на практика, оборудвана с разпознаване на лица камера на летище не би успела да задейства предупреждение, когато види човек, който трябваше да разпознае. Друга форма на фалшиво отрицание би била невъзможността да се разпознае, че лице изобщо съществува в изображение.

За да измерим процента на фалшивите негативи, ще трябва да попълним нашата база данни с снимки на фотки с някои реални, но не идентични, снимки на политиците. Тъй като нашата цел беше да пресъздадем теста на ACLU, това беше извън обхвата на нашия експеримент.

Случаи на употреба в реалния свят

Нека също да разгледаме какво сравняваме: два комплекта хедшоти. Единият съдържа полицейски снимки, а другият - модифицирани портрети, но и двата предлагат ясен изглед на лицето на всеки човек на нивото на очите, обърнат към камерата.

Случаите на използване в реалния свят са много по-различни. Да вземем за пример видеонаблюдението. Полицията иска да сканира лица на кръстовище и да ги сравни с база данни с криминални снимки. Ето само няколко фактора, които допълнително мътят твърденията за това колко добре се представя разпознаването на лица в такава реална среда:

• Колко далеч е камерата от обекта?
• Под какъв ъгъл е насочена камерата към обекта?
• В каква посока е обърнат обектът?
• Обектът скрит ли е от други хора, предмети или време?
• Обектът носи ли грим, шапка или очила, или наскоро се е обръснал?
• Колко добри са камерата и обективът? Чисто ли е?
• Колко бързо се движи обектът? Размазани ли са?

Всички тези фактори и повече влияят върху точността и производителността на разпознаването на лица. Дори най-усъвършенстваният наличен софтуер за разпознаване на лица не може да компенсира лошо качество или неясни изображения.

Прекаленото доверие в разпознаването на лица може да доведе до фалшиви арести. През април 2019 г. например студент съди Apple след компанията софтуер за разпознаване на лица лъжливо го свързва с кражби в няколко магазина на Apple, което доведе до ареста му.

Използването на праг над 80% със сигурност подобрява резултатите. Но независимо дали сте съгласни с полицейското използване на разпознаване на лица или не, едно е сигурно: то не е готово да се използва за идентификация без човешки надзор. Amazon заявява в своята публикация в блога, „В сценарии за обществена безопасност и правоприлагане в реалния свят Amazon Rekognition се използва почти изключително, за да помогне за стесняване на полето и да позволи на хората експедитивно да преглеждат и обмислят опции, използвайки своята преценка (а не да вземат напълно автономни решения ).“