Детектор ИИ объяснил, но все еще ошибочный
Детектор ИИ объяснил, но все еще ошибочный Подчеркивает растущую зависимость от инструментов обнаружения написания искусственного интеллекта в таких областях, как образование, средства массовой информации и найм. Поскольку сгенерированный AI контент становится более плавным, платформы, такие как Gptzero и Turnitin, пытаются классифицировать письменность на основе лингвистических шаблонов. Эта статья разбивает, как одна система обнаружения функционирует внутри, анализирует его точность и сравнивает ее с другими ведущими инструментами. Хотя функции прозрачности предлагают некоторую видимость, эксперты предупреждают, что нынешние детекторы ИИ подвержены ошибкам, с серьезными последствиями, если они используются в качестве единственной основы для решений, влияющих на академические, профессиональные или творческие результаты.
Ключевые выводы
- Детекторы ИИ используют такие показатели, как недоумение и взрывость для оценки авторства.
- Ложные позитивы и негативы остаются обычным явлением, особенно с коротким или стилистически отредактированным контентом.
- В некоторых инструментах появляются оценки доверия и обоснования, но эти улучшения не устраняют основные слабости.
- Этические проблемы возникают, когда учреждения используют некорректные инструменты для принятия эффективных решений.
Как работают детекторы написания искусственного интеллекта
Системы обнаружения используют обработку естественного языка (NLP) для анализа вероятностных характеристик текста. Следующие факторы являются общими показателями:
- Недоумение: Отражает, насколько предсказуемо представлено предложение. ИИ имеет тенденцию производить более плавные, более предсказуемые формулировки, что приводит к более низким показателям недоумения.
- Впрыскивание: Измерение изменений в структуре предложения. Человеческие авторы с большей вероятностью смешивают длинные и короткие предложения, в отличие от многих инструментов искусственного интеллекта.
- Энтропия: Захватывает случайность в языковых моделях. ИИ часто оценивает меньше по энтропии из -за структурированной выходной генерации.
Эти метрики обнаруживают, но окончательная классификация зависит от специфических для инструмента пороговых значений. Авторский ответ с использованием дисциплинированной структуры или четкого языка может вызвать ложный позитив просто потому, что он имитирует структурированный ритм ИИ.
Функции прозрачности: некоторый прогресс, продолжительные пробелы
Одна проверка ИИ недавно добавила две функции, направленные на разъяснение его решений:
- Оценки доверия: Они указывают на то, насколько определенным является инструмент в его классификации, предлагаемый в процентах или диапазонах вероятностей.
- Обоснование классификации: Каждое решение теперь включает в себя короткое объяснение, такое как сходство в длине предложения или высокая лексическая повторяемость.
Эти дополнения способствуют прозрачности. Тем не менее, пользователи отметили, что объяснения не имеют контекстной глубины и часто повторяют общие рассуждения. Это уменьшает их ценность для более сложного или отредактированного контента, где контекст и намерение являются важными маркерами.
Тестирование детекторов: реальное vs, сгенерированное AI, написание
Чтобы измерить производительность, исследователи собрали 20 образцов из следующих категорий:
- Эссе, написанные студентами
- Записи в блоге, сгенерированные с использованием CHATGPT
- Начатки на рабочем месте от человеческих стажеров и Catgpt
- Опубликованные редакционные статьи опытными писателями
Это обеспечило разнообразный пул данных. Результаты показали серьезные несоответствия:
- Несколько статей, сгенерированных AI, были оценены как написанные человеком из-за разнообразных структур предложений или сдвигов тона.
- Короткие и формальные человеческие тексты, такие как испытательные ответы, были неправильно помечены как сгенерированные AI.
- Смешанные тексты с человеческими изменениями над проектами ИИ были самыми трудными для классификации.
Изменчивость производительности между образцами предполагает, что до тех пор, пока не будут разработаны более надежные методы обнаружения, эти инструменты не должны использоваться отдельно в критических сценариях.
Взгляд на топ -детекторы написания искусственного интеллекта
| Инструмент | Оценка точности* | Прозрачность | Вариант использования | Бесплатно/оплачен |
|---|---|---|---|---|
| Gptzero | 70% | Умеренный (этикетки и уверенность) | Образование, публикация | Бесплатные/профессиональные планы |
| Поворот | 65% | Низкий (черный ящик) | Академические проверки плагиата | Оплаченный |
| Классификатор Openai | 52% | Минимальный | Экспериментальное, общее использование | Бесплатно |
| Copyleaks | 75% | Хорошо (отчеты и объяснения) | Маркетинг, HR, академический | Бесплатная ограниченная/оплаченная |
| Уинстон Ай | 78% | Умеренный | Агентство, журналистика | БЕСПЛАТНАЯ пробная/оплаченная |
*Оценки точности основаны на внутреннем сравнительном анализе с использованием смешанной выборки из 20 контент.
Где используется обнаружение ИИ
Приложения этих инструментов охватывают несколько секторов:
- Образование: Использование инструментов в школах растет. Некоторые студенты столкнулись с дисциплинарными действиями, основанными исключительно на результатах детектора, хотя в настоящее время некоторые учреждения требуют дополнительных доказательств из -за растущей озабоченности по поводу ложных срабатываний.
- Набор: Работодатели проверяют заявки на работу с использованием инструментов обнаружения. Ошибки уже появились, например, неправильно отбросить сильных кандидатов на основе жесткого или формального письма.
- Издательский: Редакторы и средства массовой информации проверяют фрилансерские материалы на признаки искусственного интеллекта. Писатели выразили разочарование после того, как были подозреваны в проступках для использования инструментов с усилением автоматизации, таких как шашки по орфографии.
Такие варианты использования усиливают риски дискриминационной предвзятости, особенно по сравнению с некоренными английскими писателями, чьи языковые модели могут расходиться с алгоритмическими ожиданиями.
Эксперты весят: риски и ответственность
Мы взяли интервью у профессионалов в отношении ключевых отраслей, чтобы понять более широкие последствия обнаружения контента искусственного интеллекта.
Доктор Лина Хуангэксперт по вычислительной лингвистике, объяснил: «Оценки обнаружения предполагают статистическое сходство с ИИ, а не доказательство использования. Эти инструменты интерпретируют, а не являются окончательными».
Майкл Рейнорсотрудник по соблюдению кадров, отметил: «Отклоненное резюме, основанное на неисправном судебном процессе, может несправедливо устранить сильные таланты. Ручной обзор необходим».
Джессика ОуэнсАдминистратор школы, поделился: «Мы рассматриваем инструменты обнаружения искусственного интеллекта как часть более широкой картины. Мы никогда не дисциплинируем без подтверждения доказательств».
Обратная связь из этих секторов подтверждает идею о том, что обнаружение искусственного интеллекта склонно к неверному толкованию без человеческого надзора.
FAQ: Что вы должны знать
Может ли Turnitin обнаружить написание CHATGPT?
Turnitin может обнаруживать шаблоны, общие для выходов CHATGPT. Классификация варьируется в зависимости от сложности и длины написания. Некоторые отчеты содержат доверительные оценки, но прямые объяснения обычно отсутствуют.
Насколько точно эти инструменты?
Точность обычно варьируется от 60 до 80 процентов. Короткие ответы и гибридный контент снижают точность инструментов.
Какой бесплатный инструмент работает лучше всего?
Gptzero и классификатор OpenAI бесплатны, но имеют смешанную надежность. Уинстон ИИ и CopyLeaks предлагают краткосрочный бесплатный доступ с более высокими классификациями и лучшими инструментами обратной связи.
Является ли обнаружение искусственного интеллекта достаточно зрелым для критического использования?
Еще нет. Многие системы все еще находятся в разработке или бета -этапах. Дополнительная проверка остается необходимой, прежде чем полагаться на них для решений об образовании или занятости.
Последние мысли
Детекторы письма ИИ полагаются на алгоритмы, основанные на вероятности, которые имеют тенденцию упрощать выражение человека. Их растущее использование в школах, отделениях персонала и медиа -организациях кажется многообещающим, но остаются системные недостатки. Лучшая политика заключается в том, чтобы соединить автоматическое понимание с анализом человека, пока технологии не продвинутся дальше. Для тех, кто заинтересован в возникающих проблемах, стоящих перед этими технологиями, понимание состязательных атак в машинном обучении или растущая угроза дезинформации и манипуляции ИИ может предложить полезную перспективу. Эти риски подчеркивают, почему тщательное изучение должно оставаться приоритетом во всех отраслях, изучающих инструменты обнаружения искусственного интеллекта.
Ссылки
Бриньольфссон, Эрик и Эндрю Макафи. Второй машинный возраст: работа, прогресс и процветание во время блестящих технологийПолем WW Norton & Company, 2016.
Маркус, Гэри и Эрнест Дэвис. Перезагрузка ИИ: создание искусственного интеллекта, которому мы можем доверятьПолем Винтаж, 2019.
Рассел, Стюарт. Совместимый с человеком: искусственный интеллект и проблема контроляПолем Викинг, 2019.
Уэбб, Эми. Большая девять: как Tech Titans и их мыслительные машины могли деформировать человечествоПолем Publicaffairs, 2019.
Рассказывание, Даниэль. ИИ: бурная история поиска искусственного интеллектаПолем Основные книги, 1993.
