Индекс ИИ-ассистентов органов государственной власти
Сотрудники Международной лаборатории цифровой трансформации в государственном управлении Елизавета Дьякова и Анна Санина составили Индекс ИИ-ассистентов органов государственной власти. В рамках исследования был изучен международный опыт, в том числе проанализированы семь авторитетных индексов и методик, применяемых ООН, ОЭСР и другими организациями для оценки развития искусственного интеллекта и электронного правительства.
Выявив общие подходы, исследователи сформировали модель индикаторов специально для оценки госчат-ботов.
Разработанный Индекс ИИ-ассистентов в цифровой среде государства включает четыре ключевых компонента: регуляторные стандарты, технологии, эргономичность и функциональность. К регуляторным стандартам авторы отнесли соответствие работы ИИ-ассистента законодательным требованиям, нормам безопасности данных, этическим стандартам и защите персональных данных. Компонент технологии включает технические возможности чат-бота: надежность инфраструктуры, соблюдение современных требований кибербезопасности, способность масштабироваться под нагрузкой. Под эргономичностью понимается удобство использования с точки зрения обычного пользователя, такие аспекты, как понятность интерфейса, простота общения с ботом, доступность сервиса для разных групп населения. Под функциональностью в данном случае авторы понимают практическую полезность виртуального помощника: насколько полно и актуально он отвечает на вопросы, выполняет заявленные функции и решает проблемы граждан.
Все компоненты были детализированы ещё на четыре подкомпонента с набором конкретных метрик. Чтобы определить вес каждого компонента в сводном индексе сотрудники Лаборатории провели опрос среди 25 экспертов — специалистов в сфере государственного управления, цифровых технологий и непосредственно имеющих опыт работы с чат-ботами. Эксперты ранжировали компоненты по значимости, на этой основе авторы индекса определили коэффициенты весомости компонент. Наибольший вес в результате приобрели «регуляторные стандарты» (34% веса индекса), немного меньший вклад получили «функциональность» (24%) и «технологии» (25%), компонент «эргономичность» оказался наименее весомым (17%).
Исследование также включало опрос 134 граждан о функционале ассистентов, удобстве их использования и полезности. Параллельно авторы собирали объективные данные о возможностях каждого чат-бота, наличии тех или иных функций, соблюдении установленных стандартов и пр. Исследование охватило чат-ботов на порталах госуслуг, налогов, транспорта, соцподдержки, образования и ЖКХ. Согласно полученным результатам все чат-боты показали «средний уровень» работы, за исключением «Робота Макса» с портала «Госуслуги», набравшего «высокий уровень». Отметим, что все проанализированные государственные чат-боты находятся на должном уровне безопасности и конфиденциальности. Все проверенные исследователями государственные чат-боты способны обеспечивать хорошее качество работы, говорится в аналитическом отчете.