Искусственный интеллект знает то, о чем ему никто не говорил. Ученые объяснили почему

ChatGPT работает по принципу обработки естественного языка, что позволяет ему понимать и анализировать сообщения, отправленные пользователем. Когда человек пишет запрос, бот анализирует его с помощью алгоритмов машинного обучения и выдает ответ на основе базы данных. Эта база состоит из миллионов предложений, слов и фраз, которые бот изучил в процессе обучения. Система может отвечать на различные вопросы, предоставлять информацию, помогать решать задачи и даже поддерживать разговор на различные темы. Более того, она может учиться на своих ошибках и улучшать ответы с течением времени.

Большие языковые модели (LLM) основаны на системе машинного обучения, называемой нейронной сетью. Эти сети напоминают человеческий мозг. Также, по словам Эмили Бендер, лингвиста из Вашингтонского университета, бот работает как попугай. Но попугай этот чрезвычайно умен: LLM удалось сдать экзамен на адвоката, объяснить бозон Хиггса пятистопным ямбом и попытаться разрушить брак пользователей. Никто не ожидал, что «попугай» окажется настолько предприимчивым. Иначе говоря, ChatGPT и его коллеги делают то, чему их не учили, — они учатся сами.

«Я не знаю, как они это делают и могут ли они делать это в более широком смысле, как это происходит у людей, но они бросили вызов моим взглядам», — говорит Мелани Митчелл, исследовательница ИИ из Института Санта-Фе.

Представитель Колумбийского университета Рафаэль Мильер привел еще один потрясающий пример того, на что способны большие модели. Они успели написать компьютерный код, но ученых это не особо удивило: в Сети полно кода, которому можно подражать. Мильер пошел дальше и продемонстрировал другую функцию чат-бота: он способен этот код выполнять. Ученый ввел программу для нахождения 83-го числа в последовательности Фибоначчи и система это сделала.

«Это многоступенчатое рассуждение очень высокой степени», — говорит Мильер. Однако когда он запросил число Фибоначчи напрямую, без выполнения кода, бот ошибся. Это говорит о том, что сеть выполняла личные расчеты, чтобы получить правильный ответ, а не просто использовала доступные в интернете ресурсы. И немудрено: чтобы эффективно работать с такими объемами информации, большие модели должны уметь самостоятельно обучаться на основе предыдущих запросов, анализировать информацию и делать выводы.

Для этого модели используют методы машинного и глубокого обучения, которые позволяют обрабатывать данные, выделять из них закономерности и создавать модели прогнозирования. В процессе работы с информацией LLM могут самостоятельно корректировать свои параметры и алгоритмы, чтобы улучшить точность предсказаний и оптимизировать работу.

Важной особенностью LLM является также способность к автоматическому обнаружению аномалий в данных. Таким образом, модели развивают внутреннюю сложность, которая выходит далеко за рамки поверхностного анализа.

Ученые предполагают, что бот импровизирует, задействуя механизмы для интерпретации слов в соответствии с их контекстом. Чтобы изучить, как бот кодирует данные, они разработали крошечную «зондовую» сеть для анализа основной сети. Эксперименты показали, что в необычных ситуациях, которые ученые корректировали снова и снова, она корректировала и свои действия.

Эксперты пришли к выводу, что, оценивая ту или иную ситуацию, бот вел себя как человек, а не, казалось бы, бездушная запрограммированная машина. Подобная способность делать выводы о структуре внешнего мира проявилась и в диалогах с пользователями. Ученые поняли это, изучая ботов, играющих в текстовую игру. В число запросов входили такие наводки, как «Ключ — в сундуке с сокровищами». Следуя им, бот должен был правильно интерпретировать фразу «Возьми ключ». Используя зонд, ученые обнаружили, что сети закодировали внутри себя переменные, соответствующие, например, «сундуку», и обновляли их предложение за предложением. Иначе говоря, бот не знал, что такое коробка или ключ. Но он искал пути, чтобы правильно взаимодействовать с ними.

Таким образом, для выполнения функции автокоррекции система ищет логику. Исследователь машинного обучения Себастьен Бубек из Microsoft Research предполагает, что чем шире диапазон данных, тем более общие правила система обнаружит.

В сфере искусственного интеллекта термин «обучение» обычно относится к сложному вычислительному процессу, в ходе которого разработчики предоставляют нейронной сети доступ к огромным объемам данных и настраивают ее внутренние соединения. Поэтому неожиданным является тот факт, что LLM способна учиться на подсказках пользователей, используя такую интересную особенность, как «обучение в контексте».

«Это другой вид обучения, о существовании которого раньше никто не подозревал», — говорит Бен Герцель, основатель компании SingularityNET, занимающейся ИИ.

В контексте образования существует иной способ обучения, который базируется на тактике подсказки «цепочка мыслей». Метод предполагает запрос сети на объяснение каждого шага ее рассуждений, что позволяет лучше справляться с задачами, требующими множества логических и арифметических шагов.

Несмотря на удивительные достижения чат-ботов, в настоящее время исследователи выражают опасения, говоря, что пора перестать испытывать возможности систем искусственного интеллекта. Компания OpenAI не раскрывает деталей разработки и обучения GPT-4, так как конкурирует с Google и прочими, что может привести к уменьшению количества открытых исследований.

От этого страдают не только ученые — подобное решение мешает и пониманию социальных последствий использования ИИ. Поэтому прозрачность моделей является важнейшим фактором для обеспечения общей безопасности.