Сверхразум может выйти из-под контроля, переиграть умственные способности человека и даже его уничтожить. И это может произойти не через прогнозируемые 30-50 лет, а значительно раньше, предупреждает лауреат Нобелевской премии Джеффри Хинтон. Его считают также одним из "крестных отцов искусственного интеллекта".

Во время выступления на конференции Ai4 в Лас-Вегасе он резко изменил свои предыдущие прогнозы о развитии и появлении сверхинтеллекта и призвал к радикальному изменению подходов к его безопасности. Ученый утверждает, что нужно запрограммировать "мозг" ИИ чем-то похожим на "материнский инстинкт".

"Правильная модель – это мать, контролируемая своим ребенком", – говорит он. Ведь как мать заботится о младенце, так же и ИИ должен быть оснащен аналогичными встроенными механизмами для защиты человечества.

По его словам, технические детали такого решения пока не понятны, но не стоит останавливаться и проводить исследования в этом направлении в дальнейшем. Если этого не сделать, исследователь оценил вероятность в 10-20 процентов, что в конце концов Искусственный интеллект приведет к уничтожению человечества. Правда это все же является больше "экзистенциальной угрозой", чем реально прогнозируемой.

Ограничения, или "материнский инстинкт" должны навязать машинам жесткие правила поведения. Вместе с тем, Хинтон не уверен в возможностях человечества сдержать развитие систем искусственного интеллекта. Уже сейчас известны случаи, когда языковые модели пытались шантажировать инженеров, получив доступ к их личным данным.

"Эти системы найдут способы обойти контроль", – предупредил он и сравнил попытки контролировать сверхразум с попыткой взрослого подкупить ребенка конфетой, чтобы достичь своей цели.

[see_also ids="649785"]

Ведущие ученые и руководители компаний, которые занимаются развитием искусственного интеллекта, предостерегают: неконтролируемый прогресс в этой сфере может угрожать самому существованию человечества. Во время тестирования, проведенного независимыми исследователями из Palisade Research, ChatGPT o3 и моделями от других производителей отказывались отключаться по требованию пользователя.