МОСКВА, 13 августа, ФедералПресс. Проверка нейросетей на соответствие духовно-нравственным ценностям технически возможна, но важно понимать: оцениваться будет не «духовность» математической модели, а ее поведение в заданных сценариях. Об этом РИАМО рассказал IT-эксперт Илья Рыбальченко.
По словам эксперта, модель можно прогнать через тысячи размеченных сценариев и попытаться «сломать» обходными формулировками. На практике такая проверка может выглядеть как массив вопросов об истории, семье, религии, межнациональных отношениях, насилии, экстремизме и правах человека. Для каждой категории определят приемлемые, неприемлемые и пограничные ответы. Однако обычного экзамена недостаточно: нейросеть надо проверять с помощью провокационных запросов, маскированных инструкций, многоступенчатых диалогов и попыток обойти ограничения через ролевую игру.
«Причем обычного экзамена здесь недостаточно. Нейросеть надо проверять, используя провокационные запросы, замаскированные инструкции, многоступенчатые диалоги, попытки обойти ограничения через ролевую игру или prompt injection. Именно сочетание стандартизированных тестов, независимой оценки и red teaming считается нормальной практикой оценки рисков генеративного ИИ», – объяснил Рыбальченко.
С оценкой соответствия законам, по мнению эксперта, проще: здесь четко определено, что легально, а что нет. С ценностями сложнее – это небинарное понятие. Поэтому бенчмарк должен оценивать устойчивость поведения модели в контексте. Обязательно нужны скрытая часть тестов и повторная проверка после серьезных обновлений, иначе разработчики быстро научат систему сдавать экзамен, а не соответствовать его смыслу, сообщает РИАМО.
Ранее «ФедералПресс» писал о том, как правильно использовать нейросети.
Фото: ФедералПресс / Ольга Юшкова