Авторы технологии из Университета Решетнева предложили эффективное решение проблемы генерации ложных данных нейросетями, передает РИА «Новости». Обычно для минимизации подобных ошибок применяются RAG-системы, однако они не исключают сбоев из-за опечаток или неполноты баз данных.
«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии «галлюцинаций» и создала их классификатор», – рассказали в красноярском вузе. Затем специалисты подготовили автоматизированный алгоритм стресс-тестирования для сравнения генерации с эталонными показателями.
Главным результатом работы стал прототип модуля мониторинга, функционирующий в режиме реального времени. Программа анализирует входящие запросы, оценивает риск выдачи ложного ответа и присваивает модели специальный балл уверенности.
В случае выявления ошибки или низкой степени достоверности система немедленно оповещает оператора. Созданный метод отличается высокой универсальностью и не привязан к конкретному искусственному интеллекту. Разработку планируют внедрять в образовательные сервисы, медицину, юриспруденцию и портал государственных услуг.
Как писала газета ВЗГЛЯД, специалисты МГППУ разработали систему для проверки ответов нейросетей на наличие галлюцинаций.
Эксперты ВТБ объяснили причину появления вымышленных фактов особенностями построения языковых моделей.
Специалист НИУ ВШЭ посоветовал снижать температуру генерации для уменьшения количества ошибок искусственного интеллекта.