Компанії Google, OpenAI, Roblox та Discord оголосили про створення некомерційної організації Robust Open Online Safety Tools (ROOST), у межах якої надаватимуть іншим компаніям безоплатні відкриті ШІ-інструменти для виявлення та сповіщення про матеріали сексуального насильства над дітьми.
Засновники ROOST не лише надають фінансову підтримку, а й діляться власними технологіями та експертизою для проєкту. Організація планує створити «спільноту практик» для вдосконалення системи модерації контенту, включно з навчальними наборами даних для ШІ та виявлення прогалин у безпеці.
Одним із можливих рішень буде впровадження модераційних систем на основі API, які компанії зможуть інтегрувати у свої платформи. Discord, наприклад, спиратиметься на досвід співпраці з Meta та Google у межах проєкту Lantern, який працює над поліпшенням обміну інформацією про загрози. Roblox також планує відкрити свій ШІ-модуль, який виявляє нецензурну лексику, расизм, булінг та інший шкідливий контент у голосових повідомленнях.
Головна мета ROOST — зробити ключові технології безпеки більш доступними для компаній, щоб вони могли ефективніше боротися з онлайн-загрозами. За словами Еріка Шмідта, колишнього генерального директора Google і одного з партнерів-засновників ROOST, ініціатива спрямована на «прискорення інновацій у сфері онлайн-безпеки дітей». Організація буде використовувати великі мовні моделі штучного інтелекту та інтегрувати наявні інструменти в єдине рішення, пишеThe Verge.
Анонс ROOST з’явився на тлі дискусій щодо безпеки дітей у соціальних мережах і на онлайн-платформах. За даними американського Національного центру зниклих та експлуатованих дітей, ймовірні випадки експлуатації дітей в інтернеті зросли на 12% з 2022 по 2023 рік.
Зокрема, Roblox неодноразово критикували за недостатній рівень захисту дітей від сексуальної експлуатації та неприйнятного контенту. У 2022 році компанії Roblox і Discord були згадані в судовому позові. Йшлося про те, що платформи не змогли забезпечити належний контроль над онлайн-комунікацією між дітьми та дорослими.