Платформа Discord совершила массовые ошибки и запретила около 8200 пользователей за размещение абсолютно невинных изображений, включая сетки. Это событие вызывает интерес, так как открывает дискуссию о том, как современные технологии могут ошибаться в определении опасного контента.
На платформе Discord, как и на многих других онлайн-службах, действуют системы безопасности, автоматически выявляющие и помечающие неподобающее, незаконное и иное вредоносное содержимое. Однако в последнее время данная система дала сбой, в результате чего тысячи пользователей были ошибочно забанены.
Пользователи Discord начали активно жаловаться на своем сайте о том, что они стали жертвами ошибочных блокировок за размещение совершенно безобидных изображений, содержащих сетки. Речь идет как об изображениях шахматных досок, текстурах игр, так и о скриншотах инвентарей из видеоигр.
Согласно данным, около 8,000 пользователей Discord были забанены с мая за публикацию таких безобидных изображений, которые системы автоматической модерации контента определили как нарушения. Представители Discord сообщили, что около 200 пользователей стали жертвами неправильных банов в последние выходные, но все они были восстановлены.
Тем не менее, это происшествие вызывает много вопросов о технологиях, которые используются для распознавания и фильтрации изображения. Discord объясняет, что их системы помечают контент на основе анализа и сопоставления с известными вредными материалами. Недостатком данной системы оказалась возможность появления ложных срабатываний, что и произошло в данном случае.
Представители компании признали, что ошибка в системе повлияла на возможность восстановления аккаунтов, что и стало причиной блокировок.
Возможно, такие инциденты побудят компанию пересмотреть свои алгоритмы и усилить защитные механизмы, чтобы избежать наказания пользователей, которые не нарушают правила.

