Человек, который перевернул мир нейросетей: кто такой
Джеффри Хинтон

В начале октября Нобелевскую премию по физике получил британо-канадский ученый Джеффри Хинтон. Награду ему присудили за разработку, которая позволила совершить прорыв в мире нейросетей. Благодаря ей нейросети научились быстро самообучаться без вмешательства человека. В 2023 году он уволился из Google, чтобы иметь возможность открыто высказываться  — ученый сомневается в безопасности технологии, к созданию которой приложил руку.

Впервые свой метод, который может автономно определять свойства в массивах данных и таким образом выполнять идентификацию определенных элементов на изображениях, ученый описал почти 40 лет назад в совместной статье с Дэвидом Румельхартом и Рональдом Уильямсом «Learning representations by back-propagating errors». Сейчас метод используется, например, при обучении GPT-моделей, а также нейросетей, используемых в голосовых помощниках Siri и Google Assistent, системах распознавания лиц, таких как Apple ID, и системах компьютерного зрения, как у автопилота Tesla. Самого Хинтона заслуженно называют «крестным отцом искусственного интеллекта».

Зарождение нейросетей

Мозг человека и то, как он работает, всегда восхищали Хинтона. Во времена студенчества он попробовал себя в разных науках: физиологии, физике, философии. Но нашел себя в когнитивной психологии и в итоге получил степень по экспериментальной психологии в Кембриджском университете.

В 1972 году он поступил в Эдинбургский университет на PhD-программу по искусственному интеллекту. Его интересовали непопулярные тогда нейронные сети — компьютерные системы, которые имитировали структуру мозга. Интерес в научном сообществе к ним был настолько незначительный, что научный руководитель Хинтона пытался несколько раз отговорить его заниматься этой темой. Но будущего Нобелевского лауреата это не остановило.

Поcле получения PhD Хинтон переехал в США, в затем в Канаду и продолжил свои изыскания в области нейросетей. В Университете Торонто в середине 1980-х годов он разработал метод и предложил свой взгляд на обучение нейросетей. Его разработки Нобелевский комитет назвал «фундаментальными открытиями и изобретениями, которые сделали возможным машинное обучение с использованием искусственных нейронных сетей». В 2018 году Хинтон получил за них вместе с Йошуа Бенджио и Яном Лекуном премию Тьюринга (самая престижная премия по информатике, вручаемая Ассоциацией вычислительной техники за выдающийся научно-технический вклад в этой области) .

Новаторство и визионерство

Новаторство Джеффри Хинтона заключалось в нескольких ключевых идеях и разработках, которые радикально изменили подходы к созданию и обучению искусственных нейронных сетей:

1. Метод обратного распространения ошибки (backpropagation);

2. Глубокое обучение (deep learning);

3. Новые архитектуры нейронных сетей (Boltzmann Machines, Restricted Boltzmann Machines);

4. Модель AlexNet.

Они заложили основу для создания современных систем искусственного интеллекта. Что из себя представляют разработки Хинтона?

Алгоритм обратного распространения ошибки (backpropagation)

Тот самый метод, за который Хинтон получил премию Тьюринга. Его особенность заключается в том, что алгоритм позволяет нейронной сети учиться на своих ошибках и самостоятельно корректировать внутренние параметры без вмешательства человека. Такая автоматизация упрощает обучение нейронных сетей и повышает точность результата: сеть лучше справляется со сложными задачами. Например, распознавание изображений или обработка текста.

Глубокие нейросети используются в распознавании фото и видео (Facebook*, Google photos), обработке естественного языка (ChatGPT, Google translate, Alexa), самоуправляемых автомобилях (Tesla Autopilot, Waymo), медицинской диагностике (Google Health, IBM Watson Health ), рекомендательных системах (Netflix, YouTube).

Использование глубинных нейронных сетей (deep learning)

Такие сети состоят из нескольких слоев:

• Входной слой — слой, где нейросеть получает задачу;

• Скрытые слои — слои, в которых происходят вычисления;

• Выходной слой — слой, через который выдается результат.

На протяжении нескольких десятилетий такие нейросети считались неэффективными, потому что их было трудно обучать. Хинтон предложил использовать именно их для решения сложных задач. Например, для распознавания образов и обработки данных.

Идея глубокого обучения заключается в том, что сеть с большим количеством скрытых слоев способна выявлять сложные паттерны и абстракции в данных. Например, при распознавании изображений. Первые скрытые слои способны определять линии и контуры: сеть видит отдельные элементы, но еще не понимает, частью чего они являются. Средние скрытые слои способны распознать более сложные объекты — отдельные формы объектов. На этом этапе сеть будет понимать, какого типа объект изображен. На глубоких скрытых слоях она сопоставляет все найденные элементы и определяет, что же именно изображено.

Так Хинтон доказал, что увеличение числа слоев улучшает способность сети к обобщению информации и точности предсказаний. А также то, что использование алгоритма обратного распространения ошибки делает обучение глубоких нейронных сетей не просто возможным, но и эффективным.

Это был прорыв для 1980-х годов, он положил начало разработкам современных архитектур глубокого обучения.

Разработка машин Больцмана (Boltzmann Machines)

Еще одна разработка Хинтона — это машины Больцмана (Boltzmann Machines) — нейронные сети, которые могут обучаться без учителя и используются для моделирования вероятностных распределений. Такие нейросети состоят из двух слоев нейронов: видимых, которые представляют входные данные, и скрытых, которые помогают обнаруживать закономерности.

Когда сеть обучается, нейроны включаются или выключаются на основе вероятностей, связанных с их состоянием. Обновляя связи между нейронами, машины Больцмана могут находить скрытые связи и паттерны в данных без необходимости меток, что делает их полезными в задачах безнадзорного обучения.

Новаторство тут заключается в том, что эти модели могут эффективно решать задачи кластеризации, классификации и генерации новых данных, что особенно полезно в области рекомендательных систем, обработки изображений и генерации данных (например, создание новых изображений или звуков).

Создание модели AlexNet, DNN-research и Google

В 2012 году Джеффри Хинтон и двое его аспирантов — Алекс Крижевский и Илья Суцкевер, который впоследствии в составе команды OpenAI создал ChatGPT, — приняли участие в конкурсе ImageNet Large Scale Visual Recognition Challenge со своей моделью нейросети AlexNet. Основная цель этого соревнования — оценить алгоритмы компьютерного зрения на их способность правильно классифицировать и обнаруживать объекты на изображениях по 1000 заданных категорий. AlexNet показала рекордный на тот момент результат — ее уровень точности показал 84,6%. Это было на 10,8% выше предыдущего рекорда.

Победа модели Хинтона в ImageNet стала катализатором для широкого распространения технологий глубокого обучения. После этого большинство команд в следующих конкурсах начали применять методы глубокого обучения. Это привело к значительным улучшениям в точности распознавания изображений. А также привлекло внимание исследователей и индустрии к возможностям нейронных сетей.

В том же 2012 году Хинтон, Крижевский и Суцкевер основали компанию DNN-research, которая вскоре привлекла внимание таких гигантов, как Google, Microsoft, Baidu и DeepMind. В итоге Google сначала выделил компании грант на $600 000, а затем и купил ее за $44 000 000.

После сделки доктор Хинтон занял пост вице-президента в Google, совмещая это с университетскими исследованиями в Торонто. В Google он основал подразделение Google Brain — команду исследователей, занимавшуюся разработкой ИИ.

Нейросети и искусственный интеллект опасны для человечества

В 2023 году Хинтон уволился из корпорации и открыто встал на сторону тех, кто видит опасность в бесконтрольном развитии нейронных сетей и искусственного интеллекта для человечества. В интервью New York Times он поделился опасениями, что искусственный интеллект может попасть в плохие руки и, как минимум, наводнить интернет фальшивым контентом — фото, видео, аудио. И обычный человек «больше не сможет знать, что является правдой».

«Я пришел к выводу, что интеллект, который мы развиваем, сильно отличается от нашего собственного. Мы — биологические системы, а нейросети — цифровые. И главное различие в том, что у цифровых систем может быть много копий одного и того же набора весов, одной и той же модели мира. Все эти копии могут учиться по отдельности, но мгновенно делиться знаниями друг с другом. Представьте себе 10 000 человек. Всякий раз, когда один из них обучался чему-то, остальные получали это знание автоматически», — заявляет Хинтон. Он переживает, что со временем искусственный интеллект сможет заменить людей разных профессий, сейчас же он только дополняет их. «Я утешаю себя таким оправданием: если бы я этого не сделал, это сделал бы кто-то другой», — сказал Хинтон в интервью New York Times.

Выступая уже после вручения Нобелевской премии, он заявил, что горд тем, что Суцкевер сыграл ключевую роль в попытке увольнения Сэма Альтмана, основателя OpenAI, в 2023 году. Ученый пояснил, что Альтман гораздо меньше заботился о безопасности, чем о прибыли, что привело к его увольнению.

* деятельность на территории РФ запрещена