Дискриминационный потенциал алгоритмов
Аннотация
Несмотря на известные преимущества алгоритмов перед человеком, даже алгоритмы, контролируемые человеком, способны наносить управленческий вред. В отличие от детерминированных систем, основанных на правилах, системы машинного обучения, управляемые данными, являются вероятностными и основываются на статистике. Это значит, что управленческое решение в отношении гражданина становится вероятностным, что увеличивает в том числе дискриминационные риски. В качестве ключевой категории для понимания дискриминационного потенциала алгоритмов в литературе используется косвенная дискриминация, которая фокусируется на последствиях норм, критериев и практик, которые могут не быть непосредственно дискриминационными (они применяются ко всем без исключения), но оказывают дифференцированное воздействие на лиц из «защищенных» групп. При этом привлечение к ответственности за косвенную дискриминацию — довольно сложный процесс, требующий соблюдения многих условий; не только алгоритмическую, но и обычную косвенную дискриминацию бывает трудно установить. Одновременно нужно отметить возможность использования алгоритмов же для обнаружения дискриминации.
Ключевые слова
Тип | Статья |
Издание | Административное право и процесс № 02/2025 |
Страницы | 55-58 |
DOI | 10.18572/2071-1166-2025-2-55-58 |
Уже стала довольно привычной фраза о том, что алгоритмы и принимаемые ими решения вносят ощутимый вклад в решение управленческих проблем. Они способны устранить произвол и непоследовательность людей — государственных служащих, принимающих решения. У них несопоставимая с человеком продуктивность — человек не в состоянии обработать огромные объемы данных в сроки, сопоставимые с теми, за которые справляется алгоритм. Все это (при налаженном процессе) требует гораздо меньших затрат, что при расстановке государственных приоритетов имеет далеко не последнее значение. Поэтому часто автоматизированное принятие решений представляется как инструмент повышения точности и эффективности — как с точки зрения содержания и качества решений (на выходе получаем более качественные решения, основанные на данных), так и с точки зрения процесса принятия решений (он более быстрый, экономичный, более информированный, свободный от человеческих ошибок или халатности, произвола или предрассудков).
При упоминании алгоритмов далеко не всегда уточняется, какие именно имеются в виду. Между тем их градация хоть и основана на технических свойствах, но имеет прямые управленческие последствия. Базовый, отправной вид — так называемые простые алгоритмы (аналоговый автоматизированный алгоритм), которые выполняют жестко формализованный процесс. Именно этот классический вид алгоритмов представляется нам в виде «доброго» и послушного помощника в решении четко поставленной задачи. Однако в современную эпоху, когда алгоритмы используются в технологиях искусственного интеллекта, они становятся уже не такими послушными. Слабый, или узкий, ИИ (Artificial Narrow Intelligence) выполняет низко формализованный узкий круг задач: обработка текста на естественном языке, машинное обучение, экспертные системы, виртуальные агенты (чат-боты и виртуальные помощники), системы рекомендаций. Здесь степень контроля человека остается высокой. Сильный, или общий, ИИ (Artificial General Intelligence) выполняет неформализованный неограниченный круг задач, его результаты неотличимы от человеческого мышления. У такого ИИ возможны автономные отклонения и частичный выход из-под человеческого контроля. К счастью, пока суждения по этому поводу гипотетические, поскольку сильный ИИ только разрабатывается. Наконец, супер-ИИ (Artificial Super Intelligence) выполняет полностью автономные задачи, кратно превосходит человеческий интеллект, обладает собственными формами мотивации и морали. Такой ИИ самостоятелен и практически неподконтролен человеку. Его тоже пока не создали. Более того, в 2023 г. было опубликовано открытое письмо, подписанное крупнейшими экспертами ИТ-отрасли, включая Илона Маска, призывающее временно остановить разработки в сфере ИИ во всем мире, пока не будут достигнуты договоренности о возможностях обретения контроля над ним и его регулирования.
Так или иначе, на текущий момент широкое распространение получили технологии автоматизации процессов, а технологии слабого ИИ уже интенсивно внедряются. Эти так называемые узкие алгоритмы (так как их работа ограничена решением «узкой» задачи) используются и в государственном управлении. Но даже узкие алгоритмы, контролируемые человеком, способны наносить управленческий вред. В отличие от детерминированных систем, основанных на правилах, системы машинного обучения, управляемые данными, являются вероятностными и пытаются решать проблемы путем выявления информационных закономерностей при анализе больших данных. Это значит, что управленческое решение в отношении гражданина становится вероятностным, что увеличивает в том числе дискриминационные риски. Напомним сразу уже известный по литературе красноречивый пример. В Нидерландах муниципалитеты использовали систему Systeem Risico Indicatie (SyRi) для более эффективного выявления мошенничества в сфере социального обеспечения. Система работала на данных, характеризующих индикаторы риска из существующих государственных систем, таких как налоги, медицинское страхование, место жительства, образование, чтобы определить, какие получатели имеют более высокий риск мошенничества или неправомерного использования социальных пособий. Сама система не принимает никаких решений, а дает рекомендации госслужащим для проведения дальнейших расследований. Различные организации выступили против использования, утверждая, что это вызывает слишком много нарушений конфиденциальности и является дискриминационным по отношению к бедным и уязвимым гражданам. Критике также подверглись отсутствие прозрачности внутренней работы системы и невозможность пострадавших людей узнать, что их данные были использованы. После судебного разбирательства в начале 2020 г. суд постановил, что использование SyRi не соответствует ст. 8 ЕСПЧ. Указывалось, что коллективная, экономическая выгода от предотвращения мошенничества менее весома, чем социальный интерес неприкосновенности частной жизни. В итоге использование этой системы было отменено судом.