Как устроен ChatGPT? Отрывок из книги
Стивена Вольфрама

Стивен Вольфрам — удостоенный наград ученый и создатель программных систем, таких как Wolfram|Alpha. Его новая книга представляет собой подробное исследование принципов работы и потенциала одного из самых продвинутых языковых моделей, созданных OpenAI. В книге рассматриваются различные аспекты функционирования ChatGPT, включая технические детали, применение и потенциальные последствия. 

В России опубликована издательством  «Манн, Иванов и Фербер», «Большие Идеи» публикуют отрывок из нее.

Что делает ChatGPT и почему это работает?

Основная концепция ChatGPT довольно проста. Для начала загрузите в него огромную выборку из напи- санных текстов — из интернета, оцифрованных книг и так далее. Затем обучите нейронную сеть генерировать текст, который выглядит примерно так же. По- просите ChatGPT начать работу с определенного промпта, а затем продолжить генерировать текст, ко- торый похож на обучающий материал.

Как мы уже видели, реальная нейронная сеть в ChatGPT состоит из миллиарда простых элементов. Базовая работа нейронной сети также очень проста и заключается, по сути, в передаче входных данных, полученных из сгенерированного текста, однократно через всю сеть (без каких-либо циклов и так далее) для каждого нового слова (или части слова), которое она генерирует.

Примечательно, что благодаря этому процессу ChatGPT может создавать тексты, похожие на то, что уже есть в интернете, книгах и так далее. Это не просто связный человеческий текст — это сгенерированный текст, который следует данному промпту и использует контент, почерпнутый из интернета. У ChatGPT не всегда получается генерировать текст, который имеет реальный смысл (или соответствует правильным вычислениям), потому что (например, без доступа к вычислительным «сверхспособностям» Wolfram Alpha) он просто создает фразы, которые выглядят «правильно», основываясь на том, как все выглядело в его учебном материале.