Про це повідомляє “Kreschatic” з посиланням на The Conversation
Попри популярність ідей про інтеграцію штучного інтелекту в освіту, реальні експерименти з такими інструментами в університетських курсах виявляють критичні проблеми. Індивідуалізоване навчання, яке обіцяє ШІ, нерідко стикається з технічними похибками, неточностями у відповідях та необхідністю ручного контролю з боку викладачів. Саме це продемонструвало дослідження австралійських науковців, які спробували використати освітній чат-бот у курсі кримінального права.
Технологія під назвою SmartTest була створена як гнучкий інструмент для підтримки викладачів. Його основна мета — допомогти студентам через запитання, приклади відповідей та швидкий зворотний зв’язок. Однак у реальних умовах виявилося, що навіть зі спеціальними налаштуваннями цей бот не завжди виконує свою роль належно. У багатьох випадках система не лише давала неточну інформацію, але й вводила студентів в оману.
Тестування у реальних умовах
Інструмент SmartTest був випробуваний протягом п’яти окремих сесій на курсі з кримінального права в Університеті Вуллонгонга. Участь у тестах брали в середньому 35 студентів, які працювали з ботом на власних пристроях упродовж 10 хвилин. У перших трьох циклах бот взаємодіяв із короткими гіпотетичними сценаріями, у яких потрібно було визначити юридичну відповідальність персонажів. Наступні два цикли включали простіші питання з чіткими відповідями.
Результати показали, що при складніших завданнях між 40% і 54% відповідей чат-бота містили помилки або викривлення. При переході до коротких відповідей цей показник знизився до 6–27%. Проте навіть у найкращих випадках бот іноді підтверджував неправильну відповідь студента, що потенційно підсилювало помилкові уявлення.
Ціна точності — людські зусилля
Однією з найнеочікуваніших проблем стало те, скільки зусиль вимагала підготовка до роботи з чат-ботом. Щоб отримати хоч якусь якість відповіді, викладачі були змушені вручну створювати промти, перевіряти реакції та коригувати логіку діалогів. Замість того, щоб зекономити час, інструмент забирав його ще більше. Цей парадокс став ключовим викликом для команди розробників.
Інша проблема — відсутність передбачуваності. Ідентичні питання в однакових умовах призводили до різних відповідей. У деяких випадках бот демонстрував глибоке розуміння предмету, а в інших — заплутував студента невірними або непослідовними відповідями.
Нові моделі — не завжди кращі
Для перевірки, чи новіші версії ШІ покращують ситуацію, дослідники замінили ядро чат-бота на модель ChatGPT-4.5, яка вийшла у 2025 році. Повторне тестування із завданнями, що викликали помилки в попередній версії, не показало суттєвого покращення. В окремих випадках нова модель навіть надавала менш корисні відповіді, ніж попередня.
Це свідчить про те, що оновлення до новішої моделі ШІ автоматично не гарантує покращення результатів. Надійність у навчальному процесі вимагає стабільності, якої ці інструменти поки що не забезпечують навіть у найновіших версіях.
Реакція студентів на інструмент
Студенти, які брали участь у дослідженні, позитивно відгукнулись на можливість отримувати миттєвий фідбек. Вони відзначали, що формат спілкування з ботом допомагав зменшити тривожність, а сам процес був комфортнішим для висловлення сумнівів. Однак цей ефект мав зворотній бік — помилкові відповіді іноді ще більше заплутували матеріал.
Лише 27% студентів заявили, що вважають за краще отримувати зворотний зв’язок від ШІ, ніж чекати день або більше на відповідь викладача. Близько половини обрали б людську відповідь навіть із затримкою, решта не визначились. Це демонструє, що довіра до цифрових інструментів у навчанні все ще обмежена.
Межі використання в освітньому процесі
Використання генеративного ШІ може бути корисним у ситуаціях з низькими ризиками, наприклад, для попереднього самостійного вивчення тем. Але в контексті академічного викладання та правових дисциплін, де точність і чіткість мають вирішальне значення, такий інструмент поки що не здатен повноцінно замінити живе спілкування з викладачем.
Результати дослідження підкреслюють необхідність уважної оцінки кожного інструменту перед його впровадженням в освітнє середовище. Навіть за сприятливих умов ШІ не завжди забезпечує стабільність і правильність, необхідні для якісного навчання.
Нагадаємо, раніше ми писали про те, як пінг-понг-робот MIT готує прорив у сфері динамічної робототехніки.
