Коли людина, яку вважають Хрещеним батьком ШІ, радить молоді "вчитися на сантехніка", світ має дослухатися. Ця приголомшлива кар'єрна порада належить Джеффрі Хінтону, лауреату Нобелівської премії та піонеру, чия новаторська робота над нейронними мережами сформувала сучасний штучний інтелект. Присвятивши 50 років цій галузі, Джеффрі Хінтон залишив свою високу посаду в Google, щоб вільно попереджати людство про технологію, яку він допоміг створити. Його головне занепокоєння — неминуча поява суперінтелекту: систем ШІ, які перевершать людський інтелект в усьому.
Хінтон вважає, що ми стоїмо на порозі нової ери, в якій людство може перестати бути найвищим інтелектом на планеті. Щоб проілюструвати серйозність цієї ситуації, він пропонує моторошне порівняння: "Якщо ви хочете знати, яким є життя, коли ви не є найвищим інтелектом, запитайте курку". Йдеться не лише про втрату робочих місць; це потенційна екзистенційна загроза. Він виділяє дві основні категорії ризиків. Перша пов'язана з використанням ШІ зловмисниками у злих цілях, наприклад, для створення автономної зброї чи складних кібератак. Регулювання відстає, часто містячи лазівки, які звільняють від відповідальності військове застосування, що він вважає "божевіллям".
Другий, глибший ризик полягає в тому, що суперінтелект може розвинути власні цілі та вирішити, що людство не має значення або є перешкодою. Цю стурбованість поділяють й інші фахівці, зокрема колишній студент Хінтона Ілля Суцкевер, який залишив OpenAI через проблеми, пов'язані з безпекою ШІ. Чоловік, якого називають Хрещеним батьком ШІ, керується не безпідставною панікою, а глибоким розумінням траєкторії розвитку технології. Його відхід із корпоративного світу був жертвою, принесеною, щоб попередити про те, що він вважає екзистенційною загрозою, не схожою на жодну іншу. Гонка за розробку найпотужнішого ШІ прискорюється через корпоративну та національну конкуренцію, і Хінтон побоюється, що у нас закінчується час для впровадження необхідних запобіжників для безпеки ШІ. Ми повинні визнати можливість того, що наближаємося до кінця, якщо не почнемо діяти найближчим часом.
