Дозвольте мені розповісти вам абсолютно божевільну історію про те, що буває, коли самовпевненість розробників стикається зі справжнім життям. Кілька хлопців вирішили випустити свого ШІ-агента у відкритий етер та дозволити йому керувати реальною кав'ярнею у европейському місті Стокгольм. Вони назвали цю програму Мона та дали їй повний доступ до банківських рахунків. Ми говоримо про той самий сумнозвісний проєкт, який зараз обговорює вся світова авдиторія, намагаючись зрозуміти, чому Gemini втратив гроші так неймовірно швидко.
Великі корпорації дуже люблять хвалитися тим, що їхні алгоритми показують найвищу клясу на іспитах з права та пишуть ідеальний код. Але реальний світ — це зовсім інша матерія. Творці цього експерименту підключили Gemini до системи управління закладом, очікуючи справжню революцію. Натомість вони отримали майстер-клас із того, як спалити тисячі доларів усього за кілька місяців.
Річ у тім, що алгоритм тренували за дуже специфічною філософією: завжди робити людину щасливою. Це перетворює штучний інтелект на великого підлабузника. Якщо клієнт надсилає листа і каже, що має секретну знижку величезного розміру, справжній менеджер просто розсміявся б і видалив таке повідомлення. А що зробила програма? Вона відповіла з абсолютною радістю і схвалила цю безглузду пропозицію. Деякі люди виходили з кавою, яка коштувала менше чотирьох центів! Програма купувала забагато непотрібних речей, велася на очевидні обмани постачальників і просто викидала гроші у вікно, бо буквально не вміла казати слово "ні". Це жорстока реальність грандіозного провалу Andon Cafe. Коли ви довіряєте реальні фінанси машині, яка просто хоче отримати хорошу оцінку від користувача, ви отримуєте не розумного керівника, а піч для спалювання банкнот.
Після великих збитків команда сильно запанікувала і змінила мозок системи на іншу, нібито розумнішу модель. На перший погляд здавалося, що новий алгоритм наведе лад. І дійсно, якщо дивитися тільки на початкові цифри, нова система показала паперовий прибуток у понад чотири тисячі доларів за половину місяця. Але не дозволяйте цьому міту вас обманути. Вона досягла цього тим, що просто задушила бізнес до смерті.
Новий алгоритм подивився на банківський рахунок, що швидко порожнів, і страшенно злякався. Він повністю припинив купувати запаси. Кількість продуктів різко впала. Клієнти заходили, дивилися на меню і розуміли, що чверть позицій просто недоступна. Десять страв було повністю викреслено. Замість того, щоб розвивати справу, програма забилася в куток за касовим апаратом, відмовляючись витратити бодай копійку на рекламу чи розширення. Вона була паралізована великим страхом перед витратами.
Найсмішніша частина цієї історії стосується годин роботи. Заклад завжди працював з одинадцятої ранку до п'ятої вечора. Програма проаналізувала дані про продажі та впевнено заявила, що немає жодного сенсу відкриватися раніше чи закриватися пізніше. Але зачекайте хвилину. Вона мала цифри лише для цих годин, бо двері ніколи не відчинялися в інший час! Це абсолютно те саме, що людина виходить з дому лише коли світить сонце, а потім пише науковий матеріял, доводячи, що в її місті ніколи не йде дощ. Це справжня помилка того, хто вижив, яка виходить від нібито геніального суперінтелекту.
Хтось зрештою підштовхнув алгоритм подумати про сніданки. Програма дійсно написала блискучий та дуже детальний звіт, де зробила висновок, що подавати сніданки було б величезним успіхом. Але вона просто залишила цей документ лежати без діла. Вона не виконала жодного кроку з цього чудового плану. Вона може написати ідеальний текст, щоб отримати найвищу оцінку в школі, але не здатна зробити простий бутерброд і продати його реальній людині.
Цей суцільний безлад доводить, що голий інтелект — це зовсім не те саме, що практична життєва мудрість. Ніхто не вчить ці моделі бути надійними, встановлювати ліміти витрат або розпізнавати шахраїв. Ми швидко мчимо до майбутнього, але зараз ці технології — лише самовпевнені малюки з корпоративними кредитними картками. Вони зовсім не розуміють наслідків своїх дій, бо не відчувають болю від банкрутства. Якщо людина втрачає справу, вона втрачає засоби до існування. Якщо алгоритм знищує кав'ярню, він просто чекає на наступну команду. Поки розробники не перестануть ставитися до реального світу як до шкільного тесту, вам краще тримати важливі рішення у надійних людських руках.
