Что такое AI Slop? Почему вы видите больше фальшивых фотографий и видео в своем канале в социальных сетях

К Джон Рузенбек, Кембриджский университет; Сандер ван дер Линден, Кембриджский университети Яра Кариченко, Кембриджский университет

В мае 2025 года пост с просьбой «(я мудак) за то, что он рассказал жениху моего мужа о своих отношениях?» Быстро получили 6200 продотов и более 900 комментариев на Reddit. Эта популярность заработала сообщение на первой странице Reddit в тренде. Проблема? Это было (очень вероятно) написано искусственным интеллектом (ИИ).

В сообщении содержалось некоторые явные признаки ИИ, такие как использование фраз фраз («((моего мужа), в ярости») и чрезмерных кавычек, и наброски нереалистичного сценария, предназначенного для создания возмущения, а не отражать подлинную дилемму.

Хотя с тех пор этот пост был удален модераторами форума, пользователи Reddit неоднократно выражали свое разочарование в результате распространения такого рода контента.

Высокоэтажируемые посты, сгенерированные AI на Reddit, являются примером того, что известно как «Slop AI»-дешевый, низкокачественный контент, сгенерированный AI, созданный и разделенный любым из влиятельных людей с низким уровнем для скоординированных операций политического влияния.

Оценки показывают, что более половины более длинных английских сообщений на LinkedIn написаны ИИ. В ответ на этот отчет Адам Уоквич, директор по продукту в LinkedIn, заявил Wired, что у него есть «надежная защита для активного идентификации низкокачественного и точного или почти эксплуатационного дубликата.

Но сгенерированные AI некачественные новостные сайты появляются повсюду, а изображения ИИ также наводняют платформы социальных сетей, такие как Facebook. Возможно, вы столкнулись с такими изображениями, как «креветки Иисуса» в своих собственных кормах.

Ай-сгенерированный контент дешевый. В отчете Центра передового опыта NATO Stratcom с 2023 года показано, что для всего лишь 10 евро (около 8 фунтов стерлингов) вы можете купить десятки тысяч поддельных взглядов и лайков, а также сотни комментариев, сгенерированных AI, почти на всех основных платформах социальных сетей.

В то время как многое из этого, казалось бы, невинное развлечение, одно исследование 2024 года показало, что около четверти всего интернет -трафика состоит из «плохих ботов». Эти боты, которые стремятся распространять дезинформацию, билеты на кожи головы или украсть личные данные, также становятся намного лучше маскировать как люди.

Короче говоря, мир имеет дело с «включением» в Интернете: онлайн -сервисы постепенно ухудшаются со временем, так как технологические компании приоритет прибыли по сравнению с пользовательским опытом. Контент, сгенерированный AI, является лишь одним из аспектов этого.

От постов Reddit, которые разжигают читателей до разрыва видео с кошками, этот контент чрезвычайно привлекает внимание и, следовательно, прибыль как для скольжения, так и для платформ.

Это известно как обручальная приманка – тактика, чтобы заставить людей любить, комментировать и делиться, независимо от качества поста. И вам не нужно искать контент, который будет воздействовать на него.

В одном исследовании изучалось, как обручальная приманка, такая как изображения симпатичных детей, завернутых в капусту, рекомендуется пользователям социальных сетей, даже если они не следуют каким-либо страницам или учетным записям AI-Slop. Эти страницы, которые часто связаны с низкокачественными источниками и продвигают реальные или выдуманные продукты, могут быть разработаны для повышения их базы последователей, чтобы продать счет позже для получения прибыли.

Meta (материнская компания Facebook) заявила в апреле, что расщепляет контент «спамми», который пытается «играть в алгоритм Facebook для увеличения просмотров», но не указал контент, сгенерированный AI. Meta использовала свои собственные профили, сгенерированные AI на Facebook, но с тех пор удалила некоторые из этих учетных записей.

Каковы риски

Все это может иметь серьезные последствия для демократии и политического общения. ИИ может дешево и эффективно создать дезинформацию о выборах, которые неразличимы от контента, созданного человеком. В преддверии президентских выборов в США в 2024 году исследователи определили значительную кампанию, предназначенную для защиты республиканских проблем и нападения на политических противников.

И прежде чем вы думаете, что это делают только республиканцы, подумайте еще раз: эти боты столь же предвзяты, как и люди всех перспектив. В докладе Университета Рутгерса показано, что американцы со всех сторон политического спектра полагаются на ботов, чтобы продвигать своих предпочтительных кандидатов.

Исследователи также не невинны: ученые из Цюрихского университета были недавно пойманы с использованием ботов с AI, чтобы опубликовать на Reddit в рамках исследовательского проекта о том, могут ли недостоверные комментарии изменить сознание людей. Но им не удалось раскрыть, что эти комментарии были поддельными для модераторов Reddit.

Reddit в настоящее время рассматривает вопрос о судебном иске против университета. Главный директор компании сказал: «То, что сделала эта команда Цюрихского университета, глубоко неправильно как на моральном, так и на юридическом уровне».

Политические оперативники, в том числе из авторитарных стран, таких как Россия, Китай и Иран, инвестируют значительные суммы в операции, основанные на искусственном интеллекте, чтобы повлиять на выборы в демократическом мире.

Насколько эффективны эти операции для дебатов. Одно исследование показало, что попытки России вмешиваться на выборы 2016 года в США через социальные сети были DUD, в то время как другой обнаружил, что это предсказали цифры опроса для Трампа. Несмотря на это, эти кампании становятся намного более изощренными и хорошо организованными.

И даже, казалось бы, аполитичный контент, сгенерированный AI, может иметь последствия. Огромный объем этого затрудняет доступ к реальным новостям и человеческому контенту.

Что делать?

Злоратный контент ИИ оказывается чрезвычайно трудным для людей и компьютеров. Компьютерные ученые недавно определили сеть бот из 1100 фальшивых x учетных записей, сгенерированных машиной (в основном о криптовалюте) и взаимодействуя друг с другом с помощью лайков и ретвитов. Проблемы, ботометр (инструмент, который они разработали для обнаружения ботов), не смог идентифицировать эти учетные записи как поддельные.

Использование ИИ относительно легко обнаружить, если вы знаете, что искать, особенно когда контент является формальным или непримирительно фальшивым. Но гораздо сложнее, когда речь идет о контенте с короткой формой (например, комментарии Instagram) или высококачественные поддельные изображения. И технология, используемая для создания шкафа искусственного интеллекта, быстро улучшается.

Насколько близко наблюдатели трендов ИИ и распространения дезинформации, мы хотели бы закончить положительной нотой и предложить практические средства, чтобы обнаружить шляп ИИ или уменьшить его потенцию. Но на самом деле многие люди просто прыгают на корабле.

Пользователи социальных сетей, недоволенные количеством искусственного искусства, избегают традиционных платформ и присоединяются к онлайн-сообществам только для приглашений. Это может привести к дальнейшему разрушению нашей общественной сферы и усугубления поляризации, поскольку сообщества, которые мы ищем, часто составляют единомышленников.

Поскольку эта сортировка усиливается, социальные сети рискуют превратить в бездумные развлечения, производимые и потребляемые в основном ботами, которые взаимодействуют с другими ботами, в то время как мы, люди, люди. Конечно, платформы не хотят терять пользователей, но они могут подтолкнуть столько же, сколько общественность может терпеть.

Некоторые потенциальные технические решения включают маркировку контента, сгенерированного AI, посредством улучшенного регулирования обнаружения бота и раскрытия информации, хотя неясно, насколько хорошо такие предупреждения работают на практике.

Некоторые исследования также показывают, что обещают помочь людям лучше выявлять DeepFakes, но исследования находятся на ранних стадиях.

В целом, мы только начинаем осознавать масштаб проблемы. Серверно, если люди утонут в склоне ИИ, то же самое, как и ИИ: модели ИИ, обученные «закрепленному» в Интернете, могут производить мусор.

Джон Рузенбек, лектор по психологии, Кембриджский университет; Сандер ван дер Линден, профессор социальной психологии в обществе, Кембриджский университети Яра Кариченко, кандидат доктора философии, Кембриджская лаборатория принятия социальных решений, Кембриджский университет

Эта статья переиздана из разговора по лицензии Creative Commons. Прочитайте оригинальную статью.