TG Archive

Топові нейромережі не склали ЗНО

Команда українських дослідників [розробила](https://arxiv.org/html/2411.14647v1) ZNOVision — перший мультимодальний тест із ЗНО для ШІ-моделей. У ньому зібрані завдання з 13 шкільних предметів, включаючи завдання з картинками та схемами. Тест перевіряє не тільки знання української мови, а й розуміння візуального контексту.

Жодна модель не подолала поріг у 70%. Найкращий результат показав Gemini Pro — 67,5%. GPT-4o — лише 47%.

Особливо погано ШІ справлялися з візуальними питаннями — не розпізнавали український текст на зображеннях, ігнорували одиниці виміру і втрачали частину умов.

[Tokensales](https://t.me/+yP6YeA5Gqys4MGMy) | [News](https://incrypted.com/news/) | [WaitingRoom](https://t.me/+77eyIROiwnU1MzIy)

👁 2.5K56Оригінал