Как устроен ChatGPT? Отрывок из книги Стивена Вольфрама | Большие Идеи

・ Технологии

Как устроен ChatGPT? Отрывок из книги
Стивена Вольфрама

Книга предлагает глубокое понимание работы и возможностей ChatGPT, делая сложные технические концепции доступными для широкой аудитории

Как устроен ChatGPT? Отрывок из книги Стивена Вольфрама
Стивен Вольфрам / Фото: CNBT

читайте также

В полном уме

Елена Евграфова

Мал, да дорог: как заработать на любви покупателей к мини-упаковкам

Мэнни Пицциола,  Роб Уилсон

Что делать, если вас все время отвлекают

Софи Лерой,  Тереза Гломб

Казаться, а не быть: привычки лидера, которые губят компанию

Петр Меберт

Стивен Вольфрам — удостоенный наград ученый и создатель программных систем, таких как Wolfram|Alpha. Его новая книга представляет собой подробное исследование принципов работы и потенциала одного из самых продвинутых языковых моделей, созданных OpenAI. В книге рассматриваются различные аспекты функционирования ChatGPT, включая технические детали, применение и потенциальные последствия. 

В России опубликована издательством  «Манн, Иванов и Фербер», «Большие Идеи» публикуют отрывок из нее.

Что делает ChatGPT и почему это работает?

Основная концепция ChatGPT довольно проста. Для начала загрузите в него огромную выборку из напи- санных текстов — из интернета, оцифрованных книг и так далее. Затем обучите нейронную сеть генерировать текст, который выглядит примерно так же. По- просите ChatGPT начать работу с определенного промпта, а затем продолжить генерировать текст, ко- торый похож на обучающий материал.

Как мы уже видели, реальная нейронная сеть в ChatGPT состоит из миллиарда простых элементов. Базовая работа нейронной сети также очень проста и заключается, по сути, в передаче входных данных, полученных из сгенерированного текста, однократно через всю сеть (без каких-либо циклов и так далее) для каждого нового слова (или части слова), которое она генерирует.

Примечательно, что благодаря этому процессу ChatGPT может создавать тексты, похожие на то, что уже есть в интернете, книгах и так далее. Это не просто связный человеческий текст — это сгенерированный текст, который следует данному промпту и использует контент, почерпнутый из интернета. У ChatGPT не всегда получается генерировать текст, который имеет реальный смысл (или соответствует правильным вычислениям), потому что (например, без доступа к вычислительным «сверхспособностям» Wolfram Alpha) он просто создает фразы, которые выглядят «правильно», основываясь на том, как все выглядело в его учебном материале.