――それは一大事ですね！

堀江：更新プログラムの適用など、システムの構成を変更する時には、適用対象とは別の環境で事前にテスト行い、問題が起きないことを確認します。この案件でも、もちろんそれは実施していました。

理想的には適用対象のシステム構成と全く同じ環境でテストを行いたいのですが、様々な制約条件から、ほぼ同じだけれど完全に同じではない環境でテストせざるを得ない状況もしばしばあります。そういう場合、最終的な適用対象の「システム構成固有の条件」で発生する不具合をテストで検出できないこともあるのです。

今回の不具合はまさにそのパターンでした。
この案件の場合、丸一日かけて全台に更新プログラムを適用したので、最初の一台で不具合が表れてから一日以内に全ての機器に同じ不具合が発生する可能性が極めて高い状況でした。

復旧方法は、一台ずつ更新プログラム適用前の状態に戻すという比較的シンプルな内容でしたが、24時間という時間の制約がある中での対応だったので、かなり焦りましたね。

――山内さんはいかがですか？

山内：機器で異常が発生したらアラートで知らせる「監視システム」を作っていたときのことです。システムが完成し、いざカットオーバーというとき、エラーを発生させてアラートが上がるかテストをしたのですが、一向にアラートが上がらず…。監視ルームで青ざめました。

カットオーバーは延期になったのですが、監視すべき機器自体は既に本番化されていたので、きちんと機器が動作しているかチェックしないといけません。そこで、監視システムの不具合原因が判明するまで、24時間のシフトが組まれて、人間が「エラーログが書き込まれるファイル」をじっと見つめて異常が発生していないか、監視することになりました。

当時はまだ経験が浅くて、自力では原因がわからず、ベテランの方が解決してくれるのを見ているだけだったんですよね。人手の監視は1日くらいで解除されましたが、いたたまれない気持ちになったことを今でも覚えています。