Компания OpenAI представила новый инструмент классификации изображений, который анализирует визуальные признаки, чтобы выявлять ранее не обнаруженные материалы с сексуальным насилием над детьми. Система выставляет оценки, по которым модераторы понимают, какие изображения проверять в первую очередь.
По словам компании, это первый широко доступный классификатор, который даёт отдельный сигнал о подобных материалах, созданных искусственным интеллектом. Проверенные организации смогут пользоваться им бесплатно.
Блокировка в ChatGPT на 24 часа

Кроме того, в ChatGPT появятся предупреждения, которые будут прерывать попытки найти такой контент. Пользователю объяснят, что подобные материалы причиняют вред, даже если они созданы искусственным интеллектом.
Отмеченный диалог будет удалён, а доступ пользователя к ChatGPT приостановят на 24 часа; в это время ему предложат помощь специалистов. При повторных нарушениях возможны более длительные ограничения, удаление аккаунта или передача информации властям.
Компания сообщила, что разработала этот подход вместе с организациями, которые борются с насилием над детьми, и академическими консультантами.