Дослідження Salesforce AI Research виявило серйозні проблеми у роботі поширених сервісів штучного інтелекту. За словами автора роботи Пранава Нараяна Венкита, інструменти Perplexity, You.com та Microsoft Bing Chat демонструють упередженість, надмірну впевненість у власних відповідях та ненадійність у подачі фактів. Значна частина тверджень цих систем не підтверджується джерелами, пише «Kreschatic».
За результатами перевірки приблизно третина відповідей популярних сервісів не мала підтвердження у наведених матеріалах. Для GPT-4.5 від OpenAI цей показник був ще вищим і сягнув 47%. Для оцінки було створено спеціальний інструмент DeepTRACE, який перевірив понад 300 запитів за вісьмома параметрами, серед яких точність цитування, рівень упередженості та надмірна самовпевненість.
Аналіз продемонстрував, що під час дебатних тем ШІ-системи схильні формувати ефект «ехокамери», повторюючи однобокі твердження без альтернативних точок зору. Часто вони посилалися на вигадані або неперевірені дані. Рівень точності цитування різнився від 40% до 80%, що підтвердила незалежна експертна перевірка результатів.
Автори дослідження наголосили, що представлений аудит пропонує нову методологію для системної перевірки таких сервісів. Водночас результати, опубліковані на arXiv, свідчать: попри зручність, штучний інтелект залишається далеким від безпечного та надійного інструменту для роботи з інформацією.
Нагадаємо, раніше ми писали про те, що Meta представила смартокуляри з екраном – Ray-Ban Display.
