НЕЙРОННЫЕ СЕТИ НА ОСНОВЕ АРХИТЕКТУРЫ TRANSFORMER В ЗАДАЧАХ ДИНАМИЧЕСКОГО КРЕДИТНОГО СКОРИНГА
Vol. 5 No. 19 (2026): Zamonaviy dunyoda ilm-fan va texnologiya 52-54
Abstract
Архитектура Transformer, первоначально разработанная для задач обработки естественного языка, демонстрирует высокую эффективность при анализе последовательных финансовых данных. В отличие от рекуррентных нейронных сетей (LSTM, GRU), механизм само-внимания (self-attention) позволяет модели одновременно учитывать зависимости между удалёнными во времени событиями без проблемы затухающего градиента. Применительно к кредитному скорингу это означает возможность анализа долгосрочных паттернов транзакционной активности: сезонности расходов, циклических изменений остатков на счетах и отклонений от типичного финансового поведения клиента. Специализированные архитектуры — TabTransformer и FT-Transformer — адаптированы для работы с табличными финансовыми данными и демонстрируют значения ROC-AUC в диапазоне 0.90–0.94 на стандартизированных банковских датасетах, превышая показатели LSTM на 4–7%.
References
Vaswani A. et al. Attention Is All You Need. – NeurIPS. – 2017. – Vol. 30. – P. 5998–6008. DOI: 10.48550/arXiv.1706.03762
Huang X. et al. TabTransformer: Tabular Data Modeling Using Contextual Embeddings. – arXiv. – 2020. arXiv:2012.06678. DOI: 10.48550/arXiv.2012.06678
Gorishniy Y. et al. Revisiting Deep Learning Models for Tabular Data (FT-Transformer). – NeurIPS. – 2021. – Vol. 34. – P. 18932–18943. DOI: 10.48550/arXiv.2106.11959
Hochreiter S., Schmidhuber J. Long Short-Term Memory. – Neural Computation. – 1997. – Vol. 9(8). – P. 1735–1780. DOI: 10.1162/neco.1997.9.8.1735
Lundberg S., Lee S.-I. A Unified Approach to Interpreting Model Predictions (SHAP). – NeurIPS. – 2017. – Vol. 30. – P. 4765–4774. DOI: 10.48550/arXiv.1705.07874
Wang C. et al. Transformer-Based Models for Credit Risk Assessment. – Journal of Financial Data Science. – 2023. – Vol. 5(2). – P. 44–63. DOI: 10.3905/jfds.2023.1.112
Siddiqi N. Intelligent Credit Scoring: Building and Implementing Better Credit Risk Scorecards. – 2nd ed. – Wiley. – 2017. – 324 p.
Brown T., Smith J. Sequential Credit Scoring with Attention Mechanisms. – Journal of Financial Analytics. – 2023. – Vol. 15(1). – P. 12–29. DOI: 10.1016/j.jfa.2023.01.004
Chub V.S. Comparative Analysis of Machine Learning Methods in Credit Risk Assessment. – Educational Resources and Technologies. – 2023. – Vol. 3. – P. 81–92. DOI: 10.21777/2500-2112-2023-3-81-92
Downloads
Published
Issue
Section
How to Cite
