Новий інструмент, який використовує штучний інтелект, допоможе перевірити, чи був текст написаний людиною чи штучним інтелектом. Його творці хочуть, щоб технологія допомагала, напр. вчителям визначити, чи виконав учень роботу самостійно. – Це інструмент для людей, які знають його обмеження, – попереджає експерт.
Chat GPT, штучний інтелект, створений організацією OpenAI, який генерує текстові відповіді, став темою обговорення останніми тижнями. Одне з найпоширеніших питань – чи замінять нові технології журналістів. Інше: чи автоматизує це роботу програмістів. Деякі коментатори також зазначили, що Chat GPT може загрожувати системі освіти, оскільки дозволить учням шахраювати в безпрецедентних масштабах.
31 січня OpenAI представила AI Text Classifier – інструмент, який визначав, чи написаний текст людиною, чи згенерований комп’ютером. Проте проведені тести показали, що новий класифікатор правильно ідентифікував лише 26 відсотків. Згідно з повідомленням, опублікованим на веб-сайті OpenAI, тексти, згенеровані штучним інтелектом, «імовірно написані ШІ».
ДИВІТЬСЯ ТАКОЖ: Штучний інтелект став сьогоденням
Експерт: Це інструмент для людей, які знають його межі
– Відсоток неправильно визначених текстів робить цей інструмент дуже обмеженим. Для вчителів це залишається непотрібним. «Це інструмент для людей, які знають його обмеження», — говорить Мацей Обарскі, науковий співробітник TVN Warner Bros. Discovery, в інтерв’ю порталу TVN24.pl. Він додає, що основною метою розробки цієї технології є можливість фільтрації текстів, створених машиною в майбутньому, «щоб наступні покоління мовних моделей навчалися не з текстів, створених штучним інтелектом».
За словами творців, класифікатор може стати в нагоді вчителямShutterstock
Крім того, Обарскі звертає увагу на дані самого виробника, опубліковані з новою моделлю у вівторок. Вони показують, що штучний інтелект з точністю в дев’ять відсотків (у категорії «ймовірно створений штучним інтелектом») і 21 відсоток (у категорії «можливо створений штучним інтелектом») дійшов висновку, що текст був створений штучним інтелектом, хоча він був створені людиною.
Як зазначає експерт, це означає, що вчитель, який використовує AI Text Classifier у класі з 30 осіб, у якому жоден із учнів не використовував штучний інтелект, несправедливо оцінить у середньому двох-трьох учнів, припускаючи, що він керуватиметься лише категорія «імовірно створена ШІ». Якби він також керувався категорією «можливо створений штучним інтелектом», він би несправедливо поставився до ще шести студентів, тобто близько дев’яти загалом.
Сумніви викликають і дані, представлені OpenAI. Організація не оприлюднила метод їх розробки; наприклад, невідомо, яким мовам навчався класифікатор, крім англійської.
ДИВІТЬСЯ ТАКОЖ: У кого забере штучний інтелект? Ці 10 професій особливо ризиковані
OpenAI про недоліки нового класифікатора
За словами розробників, новий інструмент «дуже ненадійний» для коротких текстів менше тисячі символів, але довші тексти також можуть бути неправильно класифіковані. Вони визнають, що AI Text Classifier частіше помиляється з текстами, написаними дітьми і не англійською мовою, тому що «він навчався в основному на англійському контенті, написаному дорослими». «Наш класифікатор не є повністю надійним», — заявили його творці в релізі, підкресливши, що він «набагато надійніший» при аналізі текстів, створених новішими системами штучного інтелекту. Як вони додали, AI Text Classifier є загальнодоступним для відгуків про корисність «недосконалих інструментів, таких як цей».
ДИВІТЬСЯ ТАКОЖ: Штучний інтелект “омолодить” Тома Генкса. Роберт Земекіс використає її в новому фільмі
Творці AI Text Classifier очікують, що методи, які ускладнюють виявлення текстів, написаних ШІ, швидко поширюватимуться. «Класифікатори, такі як наш, можна оновлювати та перенавчати на основі успішних атак, але незрозуміло, наскільки ефективним буде їх виявлення в довгостроковій перспективі», — зазначили вони.
Робота над інструментом для вчителя
У повідомленні фахівці OpenAI повідомили, що їм відомо про те, що серед викладачів триває дискусія щодо проблеми перевірки авторства текстів. Як зазначили вони, хоча при складанні списку обмежень нової технології вони зосередилися на тих, хто займається освітою, вони очікують, що класифікатор «матиме вплив на журналістів, дослідників дезінформації та інші групи». «Ми працюємо з вчителями в США, щоб дізнатися, що вони бачать у своїх класах, і обговорити можливості та обмеження ChatGPT», — додали вони.
ChatGPTТ. Шнайдер / Shutterstock
Як зазначає портал CNBC, це не перший інструмент для перевірки того, чи був текст написаний штучним інтелектом: студент Прінстонського університету Едвард Тіан на початку січня оголосив, що створив «інструмент для вчителів» під назвою GPTZero. Сама OpenAI вже створила класифікатор у 2019 році, який, однак, був «менш складним», ніж ChatGPT. У компанії вже тоді заявили, що ідентифікація автора тексту на основі його змісту буде «довгостроковою проблемою».
ДИВІТЬСЯ ТАКОЖ: Штучний інтелект склав іспити з права та бізнесу в університетах. Вона також робила “дивовижні помилки”
Основне джерело фото: Shutterstock
