Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research добились значительного улучшения в качестве ответов, генерируемых ИИ. Согласно заявлению компании, улучшение достигает 15% по пяти различным ключевым показателям. Это открывает новые перспективы для виртуальных ассистентов, чат-ботов и других интеллектуальных систем, повышая их точность и эффективность.
Разработанная методика может быть успешно внедрена в разнообразные области, начиная от образовательных программ и заканчивая медицинской диагностикой. Результаты проведенного исследования были представлены на международной конференции по обучению представлениям (ICRL), проходившей в Сингапуре 24 апреля. Разработка уже находится в открытом доступе для дальнейшего изучения и применения.
В основу новой разработки легли усовершенствованные методы Trust Region, широко используемые в сфере искусственного интеллекта. Специалисты компании обратили внимание на то, что современные языковые модели, подвергаясь обучению на огромных массивах данных, зачастую сталкиваются с проблемой ухудшения качества работы в процессе длительной тренировки. В связи с этим был предложен инновационный метод, позволяющий эффективно контролировать обучение LLM.
В качестве примера приводится ситуация, когда модель, обученная генерировать вежливые ответы, может со временем отклониться от заданных параметров и выдавать исключительно вежливые ответы, лишенные содержательной составляющей. Для решения этой проблемы ученые из T-Bank AI Research предложили периодически обновлять «настройки по умолчанию» модели.
Этот метод позволяет модели фиксировать ключевые «ориентиры» в процессе обучения, что помогает избежать отклонений от заданного курса и быстрее достигать поставленной цели. В отличие от традиционных подходов, где модель использует фиксированные начальные параметры, методика Trust Region предусматривает динамическое изменение этой опорной точки двумя способами: посредством мягкого или жесткого обновления.
Практические эксперименты продемонстрировали, что подобные обновления способствуют формированию более понятных и безопасных ответов. В частности, модели, обученные с использованием Trust Region на задаче сокращения длинных текстов, показали улучшение качества на 10-15% по сравнению с традиционными методами. Было отмечено, что модели значительно меньше допускают ошибок при выполнении сложных задач и более точно следуют инструкциям, полученным от пользователя.
