Бивш шеф на отдел за автономни коли катастрофира с Tesla с включен автопилот

Технологичният свят не пропусна иронията в ситуация в която Рафи Крикориан – човекът, който някога ръководеше отдела за автономно шофиране на Uber – катастрофира със своята Tesla Model X, докато използваше системата за автономно шофиране (FSD). Крикориан описа подробно как рутинно завиване наляво в жилищен квартал завърши с това, че колата му се е блъснала в бетонна стена. Макар семейството му да се измъкна невредимо, инцидентът поднови критичния дебат за „зловещата долина“ на полуавтономното шофиране.

Опитът на Крикориан подчертава феномен, който изследователите наричат „морална зона на деформация“. Подобно на физическата зона на деформация на колата, която е проектирана да абсорбира енергията от удара, човешкият шофьор в полуавтономна кола е позициониран да поеме правната и моралната отговорност, когато софтуерът се провали. Въпреки че системата изпълнява 99% от задачите по шофирането, човекът остава „официалният оператор“ – разграничение, което Tesla успешно е използвала, за да спечели множество съдебни дела.

Същността на проблема не е просто софтуерен бъг, а фундаментален конфликт с човешката психология. Експертите наричат това „намаляване на бдителността“. Когато една система работи перфектно в продължение на месеци, както е било с FSD на Крикориан, човешкият мозък естествено започва да се отпуска.

Колкото по-добра става технологията, толкова повече шофьорът ѝ се доверява. Това води до опасна среда, в която колата е достатъчно добра, за да накара шофьора да спре активно да „кара“, но не е достатъчно добра, за да се справи с 1% от крайните случаи, които водят до инциденти.

Човешката биология просто не е пригодена за мигновени прехвърляния на контрола. Проучвания показват, че разсеяният човек се нуждае от няколко секунди, за да възстанови ситуационната си осведоменост, да реши как да действа и да се намеси физически. В сценарий на катастрофа тези секунди не съществуват.

Настоящите закони в повечето щати на САЩ защитават производителите, като изискват от водача да държи ръцете си върху или близо до волана и очите си на пътя. Това гарантира, че производителят предоставя „инструмента“, но потребителят предоставя „преценката“.

Производителите твърдят, че тези километри в реалния свят са необходими за обучението на изкуствения интелект. Всяка намеса или катастрофа предоставя данни, които в крайна сметка правят системата по-безопасна. Въпреки това, както твърди Крикориан, това превръща ранните потребители в „сензори за безопасност“ за отдела за научноизследователска и развойна дейност на компанията.

Заключението на Крикориан е, че този неудобен междинен етап може да е неизбежна част от технологичната еволюция. За да достигне „Ниво 5“ (пълна автономност), системата първо трябва да премине през „Ниво 2“ и „Ниво 3“, където прехвърлянето на контрола от човек към машина е най-често и най-опасно. Парадоксът е, че с подобряването на софтуера способността на човека да остава нащрек намалява, което потенциално прави системата по-малко безопасна в краткосрочен план.