Результат за 23 часа: может ли искусственный интеллект написать за человека диплом?

На днях студент бакалавриата Александр Жадан рассказал в Twitter, что написал дипломную работу с помощью чат-бота ChatGPT и смог ее защитить. Подобное поведение в академической среде не ново. Технологии развились до такой степени, что теперь помогают исследователям анализировать и писать научные статьи, генерировать код и проводить мозговой штурм. Рассказываем, как Александру удалось задействовать чат-бот и почему ученые не против такого хода мыслей.

Когда близился момент сдачи выпускной квалификационной работы, Александр Жадан не хотел писать диплом самостоятельно или платить за его выполнение, поэтому решил использовать для подготовки чат-бота от OpenAI. Тему исследования он избрал «Анализ и совершенствование управления игровой компании».

По запросу студента бот написал план диплома, после чего тот отправился к научной руководительнице. План потребовали исправить на основе методички по написанию научных работ. Поэтому следующей задачей бота стало изучить необходимые материалы и адаптировать под него план. После нескольких попыток научная руководительница указала на повторяющиеся ошибки и поправила план самостоятельно. На этом этапе бот проявил себя слабо.

Чтобы написать введение и первую главу, Александр отправил боту основной запрос на английском языке, затем попросил добавить литературу. После перевода на русский получился текст объемом в 6200 символов. Чтобы сделать вывод по нескольким частям первой главы, студент скопировал последние абзацы каждой и попросил ChatGPT обобщить их.

Для второй и третьей глав необходимо было написать анализ и рекомендации для реальной компании. Как рассказывает Александр: «Диплом основывается на практике, поэтому пришлось писать про игровую компанию — с предложениями, внутренней информацией, анализами и расчетами. С первым и вторым изи, а для третьего и четвертого не супер». Для этого студент нашел похожую работу по другой компании, отправил ее боту и попросил изменить текст под свою тему.

В итоге на реализацию всей авантюры ушло 23 часа. Из них около 15 часов потребовалось на написание, и еще девять заняло редактирование.

Оригинальность диплома составила 82%. Научная руководительница и дипломная комиссия отмечали несвязность построения и нарушение логики русского языка. За работу автор получил оценку «удовлетворительно».

Александр делает следующий вывод: «Короче говоря, писать диплом с ChatGPT круто. Определенно нужно редактировать самому, но большинство машина выдает все сама. Если еще держать себя в руках, то и оценку можно хорошую получить».

LLM — это нейронные сети, которые обучены обработке больших объемов текста и, в частности, генерации языка. Исследовательская лаборатория OpenAI, помощью которой и воспользовался Александр, создала самую известную такую сеть, GPT-3, в 2020 году, обучив предсказывать следующий фрагмент текста на основе предыдущего. Ученые удивились, когда прочли труд сети, жутко похожий на написанный человеком. Теперь любой может использовать GPT-3 через интерфейс программирования OpenAI для создания текста на основе подсказок. Цены начинаются примерно с $0,0004 за 750 обработанных слов.

Некоторые уже используют GPT-3 почти каждый день для получения отзывов о тезисах статей. Бывает трудно увидеть недостатки в собственной рукописи. Порой некоторые предложения алгоритма оказываются бесполезными: нейросеть советует добавить информацию, которая уже включена в текст. Но другие кажутся более эффективными, например, предлагают сделать вопрос исследования более явным в начале аннотации.

Кто-то использует LLM для того, чтобы сделать текст более читабельным. Некоторые ученые дают подсказки GPT-3: например, используя ключевые слова, сгенерировать название статьи. Чтобы переписать проблемные разделы, можно использовать различных помощников по письму на базе искусственного интеллекта, пока не будет найдена лучшая версия документа.

Наиболее распространенное применение языковых моделей связано с поиском и обобщением литературы. Так, поисковая система AI2 Semantic Scholar охватывает около 200 млн статей, в основном из области биомедицины и компьютерных наук, и предоставляет их описания с использованием языковой модели. Если вкратце, этот ИИ суммирует исследовательские работы в одном предложении.

Существуют приложения, которые дополняют научные статьи. Например, когда пользователь щелкает цитату в тексте в Semantic Reader, появляется окно с информацией, раскрывающей ее идею. Так в искусственный интеллект внедряется в опыт чтения.

Что касается инструментов поиска, в 2021 году дебютировал Elicit. Если задать ему вопрос, например, «Как осознанность влияет на принятие решений?», он выведет таблицу из десяти статей. Пользователи могут попросить программное обеспечение заполнить столбцы содержимым, например, резюме идей и метаданными, а также информацией об участниках исследования, методологии и результатах.

ИИ также позволяет делать заметки, а затем обобщать их или превращать в реферат.

Есть приложения, выходящие за рамки генерации текста. В 2019 году, когда поисковая система перечисляла статьи, цитирующие целевую статью, она классифицировала их как поддерживающие, контрастирующие или иным образом упоминающие данный материал. Этот нюанс помогает людям определить ограничения или пробелы в литературе или их собственной работе.

Модели также сводят документы к компактным математическим представлениям. Организаторы конференции используют их для сопоставления представленных статей с рецензентами и рекомендации статей на основе пользовательской библиотеки.

Но могут ли языковые модели обеспечить более глубокое понимание или даже открытие? Как мы перейдем от того, что имеем, к объединению абстрактных, очень сложных научных понятий? Это открытый вопрос. Но LLM уже оказывают ощутимое влияние на исследования.

━━━━━

Анастасия Дегтярева