Сбер представил открытую ИИ-модель Pollux: 4 млрд параметров для оценки ответов нейросетей

Сбер представил открытую ИИ-модель Pollux: 4 млрд параметров для оценки ответов нейросетей
Сбербанк представил открытую ИИ-модель Pollux с 4 млрд параметров, которая оценивает качество ответов нейросетей по критериям, заданным самим пользователем. Модель работает с русским и английским языками, разбирает многоходовые диалоги, RAG-системы и последовательности вызовов инструментов ИИ-агентами, а ее оценки в экспериментах лучше совпадали с экспертными, чем у моделей с сотнями миллиардов параметров. Код и демо доступны на GitHub.
В этой статье:

Зачем нужна отдельная модель-судья

Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков объяснил, почему для такой задачи понадобилось отдельное решение.

Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи — по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах ее оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше.

Что умеет Pollux

  • Содержит 4 млрд параметров и распространяется как открытая модель-судья.
  • Оценивает ответы нейросетей на русском и английском языках по критериям и шкалам, которые определяет пользователь.
  • Анализирует многоходовые диалоги.
  • Разбирает результаты работы систем с использованием внешних источников информации (RAG).
  • Проверяет последовательности вызовов инструментов ИИ-агентами.

Модель можно запускать локально, а разработанные для нее подробные критерии оценки и набор данных с экспертной разметкой открыты для исследователей.

Что это дает

Ожидается, что разработка ускорит выявление ошибок в ответах нейросетей, а также повысит качество и безопасность систем искусственного интеллекта. Код и демо Pollux уже доступны на GitHub.

Стоит напомнить, что ранее Сбер запустил бесплатную платформу для создания ИИ-агентов без программирования — GigaPlatform AI Studio, а также экспериментальные ИИ-сервисы для образования — Zoobr и Narra.

Источник: SEOnews — Все материалы

Оставить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Скопировано