Choosing Validation Methods for Agent-Based Models: A Practical Framework

Артем Сердюк

doi:10.18523/2617-9067.2025.8.4-15

Автор(и)

Артем Сердюк Національний університет «Києво-Могилянська академія», Україна https://orcid.org/0000-0002-0060-1311

DOI:

https://doi.org/10.18523/2617-9067.2025.8.4-15

Ключові слова:

агентне моделювання, валідація моделей, обчислювальні соціальні науки, генеративні соціальні науки, соціальна складність, складні системи, невизначеність, українське суспільство

Анотація

Агентне моделювання виникло як обчислювальний підхід для вивчення складних соціальних явищ через дослідження взаємодії агентів на мікрорівні, проте практика валідації моделей залишається непослідовною.
У статті запропоновано практичний підхід для вибору методів валідації. За допомогою обчислювального експерименту автор проаналізував 76 сценаріїв валідації, які охоплюють шість цілей моделювання (пояснення явищ, валідація теорії, генерація гіпотез, обмеження результатів, комунікація висновків, навчання), чотири рівні спостережуваності (багаті дані, часткові або зашумлені дані, лише проксі-дані, відсутність спостережуваності) та чотири етапи розроблення (концептуальний, імплементація, вдосконалення, фінальна валідація).
Кластерний аналіз виявив три категорії методів валідації: універсальні методи (візуалізація, експертне оцінювання, структурні перевірки), які використовуються широко і незалежно від контексту; контекстно-залежні методи (аналітика даних, каузальний аналіз), застосування яких залежить від наявності даних; та спеціалізовані методи (емпірична валідація, IGSS, аналіз чутливості, бутстрепінг, семплінг, докінг), які потребують специфічних умов. Аналіз крайових сценаріїв виявив два основні обмеження, які впливають на вибір методів валідації: обмеження спостережуваності та обмеження етапу розроблення. На основі цих висновків розроблено практичний підхід вибору методу валідації агентної моделі на основі контексту: 1) оцінювання контексту; 2) застосування універсальних методів у всіх випадках; 3) вибір контекстно-залежних методів за етапом розроблення; 4) додавання спеціалізованих методів на основі контексту; 5) визнання компромісів та документування обмежень.
Застосування підходу, запропонованого Керол Адам (Carole Adam) і Бенуа Году (Benoit Gaudou) до моделі евакуації під час лісових пожеж, продемонструвало його цінність. Аналіз виявив як успішні стратегії валідації, використані авторами (систематичний якісний аналіз, структурна валідація), так і прогалини в їхньому підході (бракує експертного оцінювання, рольових ігор, відкладений аналіз чутливості).
Результати дослідження свідчать, що ефективна валідація моделей агентного моделювання вимагає систематичного оцінювання контекстуальних обмежень, що допомагає дослідникам обирати найбільш відповідні методи валідації розроблених агентних моделей.

Біографія автора

Артем Сердюк, Національний університет «Києво-Могилянська академія»

аспірант кафедри соціології Національного університету «Києво-Могилянська академія»

a.serdiuk@ukma.edu.ua

Посилання

Adam, C., & Gaudou, B. (2017). Modelling Human Behaviours in Disasters from Interviews: Application to Melbourne Bushfires. Journal of Artificial Societies and Social Simulation, 20(3), 12. https://doi.org/10.18564/jasss.3395
Ahrweiler, P., & Gilbert, N. (2005). Caffè Nero: The Evaluation of Social Simulation. Journal of Artificial Societies and Social Simulation, 8(4), 1–14. https://www.jasss.org/8/4/14.html
Barlas, Y., & Carpenter, S. (1990). Philosophical roots of model validation: Two paradigms. System Dynamics Review, 6(2), 148–166.
Collins, A., Koehler, M., & Lynch, C. (2024). Methods That Support the Validation of Agent-Based Models: An Overview and Discussion. Journal of Artificial Societies and Social Simulation, 27(1), 11. https://doi.org/10.18564/jasss.5258
Dean, J. S., Gumerman, G. J., Epstein, J. M., Axtell, R. L., Swedlund, A. C., Parker, M. T., & McCarroll, S. (2000). Understanding Anasazi culture change through agent-based modeling. In T. A. Kohler & G. J. Gumerman (Eds.), Dynamics in Human and Primate Societies: Agent-Based Modelling of Social and Spatial Processes (pp. 179–205). Oxford University Press.
Epstein, J. M. (2006). Generative social science: Studies in agentbased computational modeling. Princeton University Press.
Epstein, J. M. (2008). Why Model? Journal of Artificial Societies and Social Simulation, 11(4), 12. https://www.jasss.org/11/4/12.html
Epstein, J. M. (2023). Inverse generative social science: Backward to the future. Journal of Artificial Societies and Social Simulation, 26(2), 9. https://doi.org/10.18564/jasss.5083
Epstein, J. M., & Axtell, R. (1996). Growing artificial societies: Social science from the bottom up. MIT Press.
Gilbert, N., Ahrweiler, P., Barbrook-Johnson, P., Narasimhan, K. P., & Wilkinson, H. (2018). Computational Modelling of Public Policy: Reflections on Practice. Journal of Artificial Societies and Social Simulation, 21(1), 14. http://jasss.soc.surrey.ac.uk/21/1/14.html. http://dx.doi.org/10.18564/jasss.3669
Gräbner, C. (2017). How to relate models to reality? An epistemological framework for the validation and verification of computational models. Journal of Artificial Societies and Social Simulation, 21(3), 8. https://www.jasss.org/21/3/8.html
Grimm, V., Berger, U., Bastiansen, F., Eliassen, S., Ginot, V., Giske, J., Goss-Custard, J., Grand, T., Heinz, S. K., Huse, G., Huth, A., Jepsen, J. U., Jørgensen, C., Mooij, W. M., Müller, B., Pe’er, G., Piou, C., Railsback, S. F., Robbins, A. M.… DeAngelis, D. L. (2006). A standard protocol for describing individual-based and agent-based models. Ecological Modelling, 198(1–2), 115–126. https://doi.org/10.1016/j.ecolmodel.2006.04.023
Humphreys, P. (2009). The philosophical novelty of computer simulation methods. Synthese, 169(3), 615–626. https://doi.org/10.1007/s11229-008-9435-2
Lee, J.-S., Filatova, T., Ligmann-Zielinska, A., Hassani-Mahmooei, B., Stonedahl, F., Lorscheid, I., Voinov, A., Polhill, J. G., Sun, Z., & Parker, D. C. (2015). The Complexities of Agent-Based Modeling Output Analysis. Journal of Artificial Societies and Social Simulation, 18(4), 4. https://doi.org/10.18564/jasss.2897
Lorig, F., Johansson, E., & Davidsson, P. (2021). Agent-based social simulation of the Covid-19 pandemic: A systematic review. Journal of Artificial Societies and Social Simulation, 24(3), Article 5. https://doi.org/10.18564/jasss.4601
Morrison, M., & Morgan, M. S. (1999). Models as mediating instruments. In M. S. Morgan & M. Morrison (Eds.), Models as mediators: Perspectives on natural and social science (pp. 10–37). Cambridge University Press.
Paniotto, V. I., & Hrushetskyi, A. M. (2013). Chy shche ne vmerlo modeliuvannia? Istoriia sotsialnoho modeliuvannia v Ukraini ta ahentno-oriientovanyi pidkhid na prykladi prohnozuvannia movnoi sytuatsii v Ukraini. In Ye. I. Holovakha & T. Ya. Liubova (Eds.), Suchasni metody zboru i analizu danykh v sotsiolohii: Materialy VI Mizhnarodnykh sotsiolohichnykh chytan pamiati N. V. Paninoi (pp. 23–47). Institute of Sociology of the National Academy of Sciences of Ukraine [in Ukrainian].
Pearl, J. (2009). Causality: Models, reasoning, and inference (2nd ed.). Cambridge University Press.
Prosperi, M., Guo, Y., Sperrin, M., Koopman, J. S., Min, J. S., He, X., Rich, S., Wang, M., Buchan, I. E., & Bian, J. (2020). Causal inference and counterfactual prediction in machine learning for actionable healthcare. Nature Machine Intelligence, 2(7), 369–375. https://doi.org/10.1038/s42256-020-0197-y
Pugachova, O. (2019). Agent-based Simulation of Revenue Policy. NaUKMA Research Papers. Sociology, 2, 16–22. https://doi.org/10.18523/2617-9067.2019.2.16-22 [in Ukrainian].
Pugachova, O. (2021). Modelling COVID-19 epidemic and its social consequences. NaUKMA Research Papers. Sociology, 4, 18–27. https://doi.org/10.18523/2617-9067.2021.4.18-27 [in Ukrainian].
Reiss, J. (2011). A plea for (good) simulations: Nudging economics toward an experimental science. Simulation & Gaming, 42(2), 243–264.
Sargent, R. G. (2010). Verification and validation of simulation models. Proceedings of the 2010 Winter Simulation Conference (pp. 166–183). Baltimore, MD, USA. https://doi.org/10.1109/WSC.2010.5679166
Schelling, T. C. (1971). Dynamic models of segregation. The Journal of Mathematical Sociology, 1(2), 143–186. https://doi.org/10.1080/0022250X.1971.9989794
Serdyuk, A. (2025). Policy responses and organizational adaptation of Ukrainian universities during the full-scale Russian invasion: An agent-based approach. In T. Nahorniak & I. Zaichenko (Eds.), Mizhdystsyplinarni ekspertyzy dlia vidnovlennia i rozvytku Ukrainy: zbirnyk materialiv mizhnarodnoi naukovo-praktychnoi konferentsii (m. Kyiv, 5 chervnia 2025 r.) (pp. 216–221). National University of Kyiv-Mohyla Academy. https://doi.org/10.5281/zenodo.16421646
Simon, H. A. (1996). The Sciences of the Artificial (3rd ed.). MIT Press.
Squazzoni, F., Polhill, J. G., Edmonds, B., Ahrweiler, P., Antosz, P., Scholz, G., Chappin, É., Borit, M., Verhagen, H., Giardini, F., & Gilbert, N. (2020). Computational models that matter during a global pandemic outbreak: A call to action. Journal of Artificial Societies and Social Simulation, 23(2), Article 10. https://doi.org/10.18564/jasss.4298
Vengrina, I. (2012). Language dynamics via simulation methods. NaUKMA Research Papers. Sociology, 135, 19–24. https://ekmair.ukma.edu.ua/server/api/core/bitstreams/abe50615-8f4b-4259-bbd6-0009431e9a8d/content [in Ukrainian].
Wasserman, S., & Faust, K. (1994). Social network analysis: Methods and applications. Cambridge University Press.