Застосування новітньої моделі TabPFN для класифікації табличних даних

Анотація

На сьогодні табличні дані залишаються найпоширенішою формою представлення інформації — вони повсюдно використовуються в таких галузях, як медицина, фінанси, виробництво, економіка, державне управління та кліматологія. Тому проблема розроблення нових методів класифікації та регресійного аналізу табличних наборів даних залишається надзвичайно актуальною. Хоча методи глибокого навчання здійснили справжню революцію в аналізі вихідних даних у таких сферах, як комп’ютерний зір і обробка природної мови, табличні дані становлять унікальний набір викликів, що не дозволяє традиційним нейромережевим моделям бути безпосередньо ефективними. У нашому дослідженні розглядається новітня модель TabPFN v2 (Tabular Prior-Data Fitted Network), розроблена компанією Prior Labs, яка обіцяє забезпечити високу точність прогнозування на малих і середніх вибірках без потреби в трудомісткому налаштуванні гіперпараметрів і попередній обробці даних. TabPFN є генеративною моделлю - трансформером, що використовує ті самі механізми, що забезпечили видатні успіхі великих мовних моделей, для створення потужного алгоритму прогнозування табличних даних. Модель попередньо навчена на великому корпусі різноманітних синтетичних табличних наборів даних і застосовує навчання в контексті (in-context learning) з двонаправленим механізмом уваги для подолання ключових обмежень існуючих моделей глибокого навчання під час аналізу даних, організованих у вигляді рядків і стовпців. Застосовуючи TabPFN до реального завдання класифікації записів про постачання виробничих матеріалів для оцінювання ризиків, ми з’ясували, що за умови використання в межах її визначених обмежень ця модель може перевершувати визнані найсучасніші рішення, засновані на градієнтному бустингу над деревами рішень. Ми також дослідили доступні в TabPFN можливості оптимізації та провели експерименти з нашими реальними даними. Загалом, TabPFN є яскравим прикладом того, як принципи моделейтрансформерів можуть бути успішно адаптовані для аналізу табличних даних. Хоча TabPFN не є універсальним рішенням, вона безперечно варта того, щоб бути включеною до інструментарію аналізу табличних даних