Про це повідомляє “Kreschatic” з посиланням на The Conversation
Нещодавно проведене дослідження показало, що штучний інтелект (ШІ) здатен з високою точністю визначати расову приналежність людини за результатами серцевих сканувань, не отримуючи жодної явної інформації про расу. Цей феномен ставить під сумнів уявлення про об’єктивність ШІ та порушує важливе питання: чи є такі системи нейтральними, чи вони лише відтворюють існуючі в суспільстві упередження.
ШІ, що використовується в медицині, вже довів свою ефективність в аналізі різноманітних медичних зображень, таких як рентгенівські знімки та МРТ. Однак, як показує нове дослідження, такі системи можуть також виявляти соціальні категорії, включаючи расові ознаки, навіть якщо ці характеристики не є частиною навчального набору даних. Ця ситуація викликає занепокоєння з приводу того, як технології, що стають все більш поширеними в медичній сфері, можуть посилювати існуючі соціальні нерівності.
ШІ не є нейтральним
Однією з головних проблем є те, що ШІ навчається на реальних даних, які вже відображають соціальні нерівності. Якщо навчальний набір даних в основному містить зображення, зроблені пацієнтами з білою шкірою, модель може не бути ефективною при обробці сканів людей з іншими типами шкіри. Дослідження показали, що у випадках, коли навчальні дані не є збалансованими, ШІ може не помічати захворювання у людей з темною шкірою, що спричиняє помилки в діагностиці.
Такі упередження можуть виникати навіть у випадках, коли система не була спеціально налаштована для виявлення расових ознак. Один із механізмів, що допомагає ШІ робити прогнози, це так звані “шорткати” — коли система використовує непрямі сигнали, які не пов’язані з основним завданням, але є легшими для виявлення. Наприклад, ШІ може помилково визначити расу людини за допомогою факторів, таких як товщина підшкірного жиру, а не безпосередньо аналізуючи самі серцеві зображення.
Рішення для усунення упереджень
Зважаючи на важливість таких технологій у медицині, необхідно вжити заходів для мінімізації упереджень у роботі ШІ. Одним із можливих рішень є розширення та диверсифікація навчальних даних. Створення більш репрезентативних наборів даних, які включають різноманітні групи пацієнтів, може допомогти покращити точність і справедливість результатів без шкоди для ефективності.
Крім того, важливо побудувати більшу прозорість в роботі таких систем. Використання технології “пояснюваного ШІ”, що дозволяє лікарям і пацієнтам зрозуміти, на яких саме елементах зображення базуються висновки системи, може знизити ризик помилкових діагнозів. Ці заходи допоможуть зменшити негативний вплив соціальних упереджень, які можуть проникати в процеси автоматизованої діагностики.
Що буде далі
Існуючі медичні ШІ-системи можуть бути потужними інструментами, але необхідно приділяти більше уваги тому, як ці системи навчаться працювати без підсилення расових і соціальних упереджень, що мають реальні наслідки для життя людей.
Нагадаємо, раніше ми писали про те, що ITER завершує ключовий етап розробки магніту.
