Вплив параметрів текстових документів на точність роботи мультимодальної моделі GPT-4 vision у завданнях розпізнавання тексту

2025

Науковий вісник НЛТУ України, Vol 35, Iss 2 (2025)

Проаналізовано вплив параметрів текстових документів на ефективність мовної мультимодальної моделі GPT-4 Vision, яку активно застосовують для цифровізації документів зі складною структурою. Досліджено залежність точності роботи моделі від таких факторів, як розмір шрифту, фізичний розмір документа (кількість сторінок формату А4) та загальний обсяг тексту (кількість символів). Особливу увагу приділено проблемі генерування моделлю некоректної інформації ("галюцинацій"), яка залишається істотним недоліком цього підходу до цифровізації текстів. Розроблено п'ять експериментальних наборів PDF-документів із варіативними параметрами шрифту, обсягу тексту та кількості сторінок, що дало змогу оцінити вплив кожного з факторів окремо й у їхніх комбінаціях. Для кількісного оцінювання частоти появи галюцинацій застосовано метрику точності ROUGE-L. Встановлено, що частота виникнення галюцинацій значно зростає у документах, які містять понад 5000 символів тексту зі шрифтом в 14 pt або більш ніж дві сторінки формату А4. Наприклад, для чотиристорінкового документа з обсягом тексту близько 12000 символів значення метрики ROUGE-L становило 0,51, тоді як для аналогічного за обсягом тексту, компактно розташованого на одній сторінці за рахунок зменшення розміру шрифту до 6 pt, показник точності був значно вищим (ROUGE-L = 0,87). Це свідчить про значний вплив фізичних параметрів документа на точність роботи мультимодальних моделей. Розроблено практичні рекомендації щодо раціонального використання моделі GPT-4 Vision для цифровізації складних документів: мінімальний рекомендований розмір шрифту – 6 pt; максимальний обсяг тексту – до 5000 символів або не більше двох сторінок за одне оброблення; потреба мінімізації пустих ділянок шляхом видалення зайвих полів і порожніх сторінок. Отримані результати мають практичну цінність для подальшого вдосконалення алгоритмів цифровізації документів зі складною структурою та для підвищення надійності роботи мультимодальних моделей. Запропоновану методику оцінювання впливу параметрів текстових документів на точність роботи моделі GPT-4 Vision можна використати для наступного дослідження, спрямованого на зменшення частоти виникнення галюцинацій у завданнях автоматизованого розпізнавання тексту.

article

English
Polish
Russian
Ukrainian

Ukrainian National Forestry University, 2025.

частота появи галюцинацій, розпізнавання символів, цифровізація документів, великі мовні моделі, Forestry, SD1-669.5