Как устроен ChatGPT? Отрывок из книги
Стивена Вольфрама

Стивен Вольфрам — удостоенный наград ученый и создатель программных систем, таких как Wolfram|Alpha. Его новая книга представляет собой подробное исследование принципов работы и потенциала одного из самых продвинутых языковых моделей, созданных OpenAI. В книге рассматриваются различные аспекты функционирования ChatGPT, включая технические детали, применение и потенциальные последствия. 

В России опубликована издательством  «Манн, Иванов и Фербер», «Большие Идеи» публикуют отрывок из нее.

Что делает ChatGPT и почему это работает?

Основная концепция ChatGPT довольно проста. Для начала загрузите в него огромную выборку из напи- санных текстов — из интернета, оцифрованных книг и так далее. Затем обучите нейронную сеть генерировать текст, который выглядит примерно так же. По- просите ChatGPT начать работу с определенного промпта, а затем продолжить генерировать текст, ко- торый похож на обучающий материал.

Как мы уже видели, реальная нейронная сеть в ChatGPT состоит из миллиарда простых элементов. Базовая работа нейронной сети также очень проста и заключается, по сути, в передаче входных данных, полученных из сгенерированного текста, однократно через всю сеть (без каких-либо циклов и так далее) для каждого нового слова (или части слова), которое она генерирует.

Примечательно, что благодаря этому процессу ChatGPT может создавать тексты, похожие на то, что уже есть в интернете, книгах и так далее. Это не просто связный человеческий текст — это сгенерированный текст, который следует данному промпту и использует контент, почерпнутый из интернета. У ChatGPT не всегда получается генерировать текст, который имеет реальный смысл (или соответствует правильным вычислениям), потому что (например, без доступа к вычислительным «сверхспособностям» Wolfram Alpha) он просто создает фразы, которые выглядят «правильно», основываясь на том, как все выглядело в его учебном материале.

Специфика ChatGPT сделала его весьма привлекательным инструментом. Но в конечном счете (по крайней мере, пока он не может использовать сторонние инструменты) ChatGPT просто извлекает некоторую связную нить текста из той «статистики общепринятого мнения», которую он накопил. Однако все равно удивительно, насколько его результаты похожи на че- ловеческие. И, как я уже говорил, это наводит на важную с научной точки зрения мысль: человеческий язык (и стоящие за ним модели мышления) намного проще, чем мы думали, и подчиняется определенным структурным законам. ChatGPT смог это понять. Гипотетически мы можем подтвердить это при помощи семантики, вычислительного языка и так далее.

Генерирование текста, которое осуществляет ChatGPT, впечатляет, и его результаты очень похожи на то, что способен сделать обычный человек. А раз так, то мо- жем ли мы утверждать, что ChatGPT работает подобно человеческому мозгу? В конце концов, лежащая в его основе структура искусственной нейронной сети была смоделирована на основе представлений о функционировании головного мозга. И кажется вполне вероятным, что, когда мы, люди, создаем текст, это похоже на то, как действует нейросеть.

Когда дело доходит до обучения, разница в «аппаратном обеспечении» мозга и современных компьютеров (а также, возможно, некоторые пока не развитые алгоритмические идеи) вынуждает ChatGPT использовать стратегию, которая, вероятно, несколько отличается от стратегии мозга (и в определенном смысле менее эффективна). Кроме того, в отличие от типичных алгоритмических вычислений, ChatGPT не имеет циклов и не делает повторных вычислений входных данных. И это неизбежно ограничивает его вычислительные возможности по сравнению с современными компьютерами и особенно по сравнению с мозгом.

Не совсем ясно, как это можно исправить и притом сохранить способность эффективно обучать систему. Но такие особенности, по-видимому, позволят ChatGPT в будущем выполнять еще больше задач, аналогичных тем, которые подвластны человеческому мозгу. Конеч- но, есть множество вещей, с которыми мозг справля- ется не так хорошо, — например, несводимые вычисления. И в этих случаях как мозгу, так и ChatGPT приходится искать внешние инструменты, такие как Wolfram Language.

Однако сейчас интересно посмотреть, чего ChatGPT уже добился. В каком-то смысле это отличный пример того, что большое количество простых вычислительных элементов может способствовать созданию замечатель- ных и неожиданных вещей. Однако это также лучший за последние две тысячи лет стимул понять фундаментальные характеристики и принципы той главной особенности человеческого бытия, которой является человеческий язык, и стоящих за ним мыслительных процессов.