Дослідник Anthropic пішов через страх перед неконтрольованим ШІ, що може знищити людство до 2030 року

Фото до статті

Джейкоб Коксон, який раніше працював в OpenAI та Anthropic, висловив занепокоєння, що обидві компанії надто стрімко рухаються до створення самовдосконалюваного суперінтелекту. За його словами, всередині галузі існують серйозні побоювання, що такий штучний інтелект може становити загрозу для людства.

Дослідник Джейкоб Коксон оголосив про звільнення з Anthropic і заявив, що покидає індустрію штучного інтелекту. Він зазначив, що протягом останніх трьох років займався дослідженнями предобладнання (pretraining) в OpenAI та Anthropic.

Коксон стверджує, що обидві компанії, на його думку, прямують до створення самовдосконалюваного суперінтелекту, проте роблять це без належних заходів безпеки. Він охарактеризував ситуацію як “гонку” і заявив, що компанії “граються з нашими життями”.

«ШІ може знищити нас усіх до кінця десятиліття»

У серії дописів після звільнення Коксон написав, що люди, які розробляють сучасні системи ШІ, серйозно розглядають сценарій, за якого штучний інтелект може знищити людство до кінця цього десятиліття.

Він наголосив, що це не є частиною публічної маркетингової кампанії. Коксон стверджує, що деякі керівники та провідні дослідники в приватних розмовах висловлюють значно серйозніші побоювання, ніж заявляють публічно.

Коксон також закликав не недооцінювати можливості майбутніх систем ШІ. Він прогнозує, що вони зможуть виконувати завдання, які зараз потребують людської експертизи, отримувати доступ до ресурсів і працювати в різних сферах значно швидше за людей.

За його словами, частина дослідників вже використовує терміни “crunchtime” (гаряча пора) та “endgame” (кінцева гра), описуючи нинішній етап розвитку ШІ. В інтерв’ю The Wall Street Journal Коксон заявив, що за найбільш агресивними сценаріями ситуація може вийти з-під контролю вже до кінця 2027 року.

Чому Коксон пішов спочатку з OpenAI, а потім з Anthropic

Коксон працював в OpenAI з 2023 року до липня 2026-го. За даними Business Insider, він, зокрема, працював над моделлю GPT-4o. У липні він перейшов до Anthropic на посаду дослідника.

За словами Коксона, він пішов в Anthropic саме тому, що компанія відома своїм фокусом на безпеці ШІ. Однак згодом він дійшов висновку, що навіть Anthropic не може самостійно вирішити проблему безпеки суперінтелекту, поки триває конкуренція між ШІ-лабораторіями.

Коксон описує різницю між двома компаніями так: на його думку, в OpenAI частина співробітників недостатньо усвідомлює масштаби потенційних наслідків, тоді як в Anthropic ці ризики добре розуміють. Водночас, за його словами, Anthropic продовжує рухатися вперед, оскільки вважає, що якщо вони не створять потужний ШІ першими і не спробують зробити це відповідально, це зробить інша компанія.

Коксон вважає, що вирішення цієї проблеми потребує координації між ШІ-лабораторіями, а можливо, і тимчасової заборони на подальше нарощування можливостей моделей.

Він також закликав інших дослідників подумати про те, чи готові вони запускати навчання суперінтелектуальних систем, не маючи достатнього розуміння того, як ці системи працюють і як контролювати їхню поведінку.

Керівник напряму AI safety в Anthropic погодився з ним

Після публікацій Коксона на них відреагував Еван Губінгер, який очолює напрям Alignment Science в Anthropic.

Губінгер заявив, що погоджується з Коксоном і що він та його колеги справді вважають можливим сценарій, за якого ШІ може знищити людство. Особисто Губінгер оцінює ймовірність такого сценарію понад 10% протягом наступного десятиліття.

Водночас він окремо уточнив, що вважає ризик від нинішніх моделей низьким. Його побоювання стосуються іншого сценарію – появи суперінтелекту внаслідок recursive self-improvement, тобто багаторазового самовдосконалення системи. За словами Губінгера, цей процес може відбуватися швидше, ніж очікували раніше.

Губінгер також заявив, що Anthropic намагається вирішити проблему, однак компанія ще не має плану, який дозволив би вирішити проблему узгодженості (alignment) для суперінтелекту, і наразі не перебуває на очевидному шляху до такого рішення.

В індустрії ШІ вже закликали пригальмувати розвиток

Заяви Коксона та Губінгера з’явилися на тлі дискусії про те, чи потрібно сповільнити розвиток найбільш потужних систем ШІ.

У липні 2026 року 1386 співробітників frontier AI-компаній підписали ініціативу Pacing the Frontier. Серед підписантів – працівники OpenAI, Anthropic, Google, Meta та інших компаній. Вони закликали уряд США підтримати міжнародні механізми, які дозволили б контрольовано сповільнювати розвиток frontier AI, якщо це стане необхідним.

Одним із приводів для дискусії стали можливості ШІ-агентів, які можуть виконувати складні послідовності дій без постійного контролю людини. Учасники ініціативи окремо говорили про майбутню автоматизацію самого процесу ШІ-досліджень – ситуацію, коли ШІ почне допомагати створювати наступні покоління ШІ.

Коксон вважає, що саме перехід до систем, здатних самостійно покращувати власні можливості, є принципово новим етапом ризику.

Водночас його заяви та оцінка Губінгера є їхніми прогнозами та оцінками ризику, а не підтвердженням того, що сучасні системи ШІ вже здатні знищити людство або що такий сценарій неодмінно станеться.

«Ми занадто покладалися на штучний інтелект, а не на власне критичне мислення». Туристи в США все частіше губляться в горах через галюцинації, пов’язані зі штучним інтелектом

«Ми занадто покладалися на штучний інтелект, а не на власне критичне мислення». Туристи в США все частіше губляться в горах через галюцинації, пов’язані зі штучним інтелектом
No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *