"Войната" започна с един-единствен туит през ноември 2019 г. в който Дейвид Хайнемайер Хансон, известен технологичен предприемач, нападна наскоро пуснатата кредитна карта на Apple, наричайки я „сексистка“ , защото предлага на жена му кредитен лимит 20 пъти по-нисък от неговия.
Твърденията се разпространиха като горски пожар, като Хансън подчерта, че изкуственият интелект – сега широко използван за вземане на решения за отпускане на заеми – е виновен . „Няма значение какви са намеренията на отделните представители на Apple, важно е какво прави АЛГОРИТЪМЪТ, на който са се доверили напълно. А това, което прави, е дискриминация.”
Въпреки че миналата година Apple и нейните застрахователи Goldman Sachs бяха окончателно оправдани от американските регулатори за нарушаване на правилата за справедливо кредитиране, това отново възобнови по-широк дебат около използването на AI в публичните и частните индустрии.
Политиците в Европейския съюз сега планират да въведат първия всеобхватен глобален закон за регулиране на Изкуствения интелект, тъй като институциите все повече автоматизират рутинните задачи в опит да повишат ефективността и в крайна сметка да намалят разходите.
Това законодателство, известно като Закона за изкуствения интелект, ще има последици отвъд границите на ЕС и подобно на Общия регламент за защита на данните на ЕС, ще се прилага за всяка институция, включително банките в Обединеното кралство, които обслужват клиенти от ЕС.
В зависимост от окончателния списък на ЕС с „високорискови“ употреби, ще бъдат въведни строги правила за това как AI се използва за филтриране на кандидатури за работа, университет или социални помощи или – в случай на кредитори – оценка на кредитоспособността на потенциалните кредитополучатели.
Служители на ЕС се надяват, че с допълнителен надзор и ограничения върху моделите, базирани на Изкуствен интелект, които могат да се използват, правилата ще ограничат своеобразната дискриминация, базирана на машини, която може да повлияе на решения, променящи живота, като например дали можете да си позволите жилищен или студентски заем .
„ИИ може да се използва за анализ на цялото ви финансово състояние, включително разходи, спестявания, други дългове, за да се стигне до по-цялостна картина“, казва Сара Коциански, независим консултант по финансови технологии пред Guardian. „Ако са проектирани правилно, такива системи могат да осигурят по-широк достъп до достъпни кредити.“
Но една от най-големите опасности е неволното пристрастие, при което алгоритмите в крайна сметка отказват заеми или сметки на определени групи, включително жени, мигранти или цветнокожи. Част от проблема е, че повечето AI модели могат да се учат само от исторически данни, които са им били подавани, което означава, че те ще научат на кой вид клиенти са били давани заеми преди това и кои клиенти са били маркирани като ненадеждни.
„Има опасност те да бъдат предубедени по отношение на това как изглежда „добрият“ кредитополучател“, казва още Коциански. „ Трябва да отбележим, че често се установява, че полът и етническата принадлежност играят роля в процесите на вземане на решения от ИИ въз основа на данните с които разполага "машината".
Някои модели са проектирани така, че да не отчитат така наречените защитени характеристики, което означава, че не са предназначени да отчитат влиянието на пол, раса, етническа принадлежност или увреждане. Но тези AI модели могат да дискриминират в резултат на анализ на други данни, като пощенски кодове, които могат да корелират с исторически необлагодетелствани групи, които никога преди това не са кандидатствали, обезпечавали или изплащали заеми или ипотеки.
Така, когато даден алгоритъм вземе решение, за човек е трудно да разбере как е стигнал до това заключение, което води до това, което обикновено се нарича синдром на „черната кутия“. Това означава, че банките, например, може да се затруднят да обяснят какво е можел да направи кандидатът по различен начин, за да отговаря на изискванията за заем или кредитна карта, или дали промяната на пола на кандидата от мъжки на женски може да доведе до различен резултат.
Законът за AI, който може да влезе в сила в края на 2024 г., ще бъде от полза за технологичните компании, които успеят да разработят "по-надеждни AI“ модели, които са съвместими с новите правила на ЕС. Дарко Матовски, главен изпълнителен директор и съосновател на базираната в Лондон стартираща компания за изкуствен интелект causaLens, вярва, че неговата фирма е сред тях.
Стартъпът, който стартира публично през януари 2021 г., вече е лицензирал технологията си за лицево разпознаване и редица банки са в процес на подписване на сделки с фирмата, още преди правилата на ЕС да влязат в сила. Предприемачът казва, че causaLens предлага по-усъвършенствана форма на AI, която избягва потенциални пристрастия чрез отчитане и контролиране на дискриминационни корелации в данните.
Той вярва, че разпространението на така наречените каузални AI модели като неговия собствен ще доведе до по-добри резултати за маргинализирани групи, които може да са пропуснали образователни и финансови възможности. Матовски твърди, че единственият начин за защита срещу потенциална дискриминация е да се използват защитени характеристики като увреждане, пол или раса като вход, но гарантира, че независимо от тези специфични входове, решението няма да се променя.
Въпреки че новите правила на ЕС вероятно ще бъдат голяма стъпка в ограничаването на пристрастията, базирани на машини, някои експерти, включително тези от института Ada Lovelace, настояват потребителите да имат правото да се оплакват и да търсят обезщетение, ако смятат, че са били поставени в неравностойно положение.
„Регламентът за изкуствен интелект трябва да гарантира, че хората ще бъдат подходящо защитени от вреда чрез одобряване или неодобряване на употребата на изкуствен интелект и, че ще има налични средства за правна защита, когато одобрените системи за изкуствен интелект работят неизправно или водят до вреда. Не можем да се преструваме, че одобрените AI системи винаги ще функционират перфектно", завършва експертът.