ChatGPT спечели Международната олимпиада по математика

"OpenAI постигна днес важен етап, който мнозина смятаха, че ще бъде достигнат след години - постижението е за златен медал на IMO за 2025 г." /б.р. Международната математическа олимпиада/ с LLM /б.р. съкращение от Large Language Model - Голям езиков модел - вид модел на изкуствен интелект (ИИ), който е обучен върху огромни количества текстови данни, за да разбира и генерира език, подобно на човек/ при същите времеви ограничения като хората, без инструменти.

Това написа в linkedin Ноам Браун, научен сътрудник в изследователската лаборатория за изкуствен интелект OpenAI.

"Обикновено за тези резултати от ИИ, като например в Go/Dota/Poker/Diplomacy, изследователите прекарват години в създаване на ИИ, който овладява една тясна област и не прави почти нищо друго. Но това не е специфичен за IMO модел. Това е LLM по разсъждение, който включва нови експериментални техники с общо предназначение", пише Браун.

Ето и останалата част от изложението му.

"И така, какво е различното? Разработихме нови техники, които правят LLM много по-добри в трудно проверими задачи. Задачите на олимпиадата бяха перфектното предизвикателство за това: доказателствата са дълги страници и отнемат на експертите часове за оценяване. Сравнете това с AIME, където отговорите са просто цяло число от 0 до 999.

Също така, този модел мисли "дълго" време. o1 мисли секунди. Deep Research - минути. Този мисли с часове. Важно е, че е и по-ефективен в мисленето си. И има много място за по-нататъшно повишаване на изчислителните способности и ефективността по време на теста.

Струва си да се замислим колко бърз е бил напредъкът на ИИ, особено в математиката. През 2024 г. лабораториите за ИИ използваха математика в началното училище (GSM8K) като оценка в своите модели. Оттогава сме наситили гимназиалния бенчмарк MATH, след това AIME и сега сме на ниво златен медал от Международната математическа олимпиада.

Накъде ни води всичко това? Колкото и бърз да е бил досегашният напредък на ИИ, напълно очаквам тенденцията да продължи. Важно е, че мисля, че сме близо до това ИИ да допринесе съществено за научните открития. Има голяма разлика между ИИ малко под най-високите човешки постижения и малко над тях.

Това беше екипно усилие, водено от Александър Вей. Той поде изследователска идея, в която малцина вярваха, и я използва, за да постигне резултат, който много малко хора смятаха за възможен. Това също не би било възможно без години изследвания и инженерни работи на много хора в OpenAI и по-широката общност на ИИ.

Когато работите в подобна лаборатория, обикновено знаете къде са граничните възможности месеци преди всички останали. Но този резултат е съвсем нов, използващ наскоро разработени техники. Беше изненада дори за много от изследователи в OpenAI. Днес всеки може да види къде е границата.

Решихме правилно 5 от 6 задачи, което е постижение на ниво златен медал за тазгодишното състезание", завършва Браун.

Ако искате да разгледате, решенията му на задачите от олимпиадата, те са публично достъпни тук