В прошлую пятницу, 13 сентября, по всей Украине перестал работать процессинг платежей «ПриватБанка». Клиенты банка не могли осуществлять денежные переводы в онлайне, а также расплачиваться в магазинах и торговых сетях с использованием POS-терминалов банка.
Сбои наблюдались до конца дня, а их отголоски — и на выходных. С понедельника процессинг работает стабильно.
В разгар коллапса платежей в банке сообщили, что сбой случился из-за аварии. После устранения ее причин, специалисты банка долгое время вручную обрабатывали скопившуюся очередь из непроведенных транзакций.
Сегодня руководитель ecommerce-проектов «ПриватБанка» Кристина Кармазина опубликовала в Facebook более развернутое описание событий. По ее словам, в системе образовался мощный «затор» из транзакций: многим зачислили пенсии, зарплаты и другие выплаты и банк не справился с потоком.
Она также описала хронологию событий и реакцию на них сотрудников банка. Работы по восстановлению процессинга велись до конца дня вторника, 17 сентября.
AIN.UA публикует ее комментарий целиком.
Почему сломался процессинг «ПриватБанка»
Пятница — это пиковый день для транзакционной нагрузки. Идут зачисления на карту, много трат в POS-терминалах на земле и в интернете.
Процессинг нагружен по полной. Мы оптимизируем запросы постоянно.
Представьте, что процессинг — это труба, по которой проходят транзакции с карт банка и с торговых точек по чужим картам — это многосторонний поток. В пиковые моменты любое «спотыкание» или образование минимального «затора» приводит к реверсам (возвратам транзакций) в системе.
Реверсы — это сущность, которая влияет на производительность, т.к. реверсы в системе имеют приоритет.
Это похоже на снежный ком. Представьте: идет многосторонний поток, образовалась небольшое накопление транзакций, пошел возврат потоков, реверсы проходят — но не проходят новые транзакции в потоке и становятся в очередь на реверс.
Для процессинга многих тысяч транзакций в минуту — это норма. Если в какую-то минуту поток увеличивается — начинаются реверсы. В нагруженный день в онлайне отработать «затор» и все накопленные реверсы нереально. Представили этот ужас?
И вот в пятницу 13-го зашли целевые пополнения, пенсия и выплаты — очень много зашло в самый час пик. И количество транзакций превысило норму в пик нагрузки.
Хронология событий
- В 17:32 начался «затор».
- До 19:23 работало с переменным успехом.
- Реверсы накапливаются, поток транзакций не проходит.
- В 19:23 приняли решение выключить ВСЕ: движения по нашим картам, наши POSы, наши банкоматы, наш интернет-эквайринг. Цель — минимизировать поток, провести целевые зачисления, вырулить реверсы. Процессинг — это живой организм, который возвращали к жизни последовательно.
- В 21:00 — включили банкоматы.
- В 21:08 — включили наши карты в банкоматах и POS других банков.
- В 22:48 — закончили проведение целевых платежей.
- В 23:00 — восстановили полноценную работу e-сommerce.
- В 23:11 — восстановили полную работоспособность всех комплексов «ПриватБанка».
- С субботы по вторник включительно команда анализировала проблемные транзакции, продолжали что-то возвращать на карты, что-то допроводить. К концу вторника e-сommerce разрулили, остались POS.
Источник: ain.ua