NTT ComのEnterprise CloudはOpenStack技術、SDN技術を採用したハイブリッドグラウドサービスです。他社クラウドを含む、多岐にわたるIT基盤を統一的に可視化し、セキュアで効率的な運用管理を実現できることが特長となっています。さらに世界11拠点にデータセンターを展開し、データの保存先を選べることも強みの1つです。

　しかしNTT Comの小山和邦氏は、Enterprise Cloudのサービス規模が拡大するにつれて、徐々に看過できない問題が、現場で生じてきたと語ります。

「これまでは、監視システムからの警報通知を受けた場合、オペレーターが手順書を参照し、復旧措置をするという人手による対応を行ってきました。

　しかし、サービス拡大による設備数の増加に比例して、故障件数も増加してしまいました。さらに、サービスメニューも増えたため、手順書が5,000ページにも達していました。このような背景の中、従来のやり方では運用が回らない状況になっていました」

　同社は当初、オペレーターの増員や保守プロセスの改善ツール開発による効率化といった対策で、この窮地を乗り越えてきました。しかし、規模拡大が続く状況では焼け石に水で、いずれ人手の対応では限界を迎えることは明らかでした。

「そこで、規模が拡大しても稼働が増えないような仕組み作りを考えました。故障発生から復旧まで、運用保守の全プロセスを自動化する『ゼロタッチオペレーション』の仕組みを作ることを目標に定めたのです」（小山氏）

　小山氏はゼロタッチオペレーションを実現するためには、クラウドプラットフォームに2つの重要な機能があると指摘します。1つは、10以上のオペレーションシステムと連携できる機能、2つ目が、警報情報・構成情報・機器情報などのそれぞれ異なる形式を持つ、膨大なデータを一元管理できる機能です。

　いくつかのクラウドプラットフォームを比較した結果、この2つの条件を満たしたのが、ServiceNowでした。

「弊社が導入したのが、『ServiceNow ITOM（ITオペレーションマネジメント）』です。操作性、拡張性、保守性の高さも、私たちの希望と合致しました」

　ServiceNowを活用した、人手を介さない「ゼロタッチオペレーション」を実現するために、小山氏は以下の4点に留意したといいます。

　1つ目は「手順の整理」です。5,000ページにもおよぶ手順書を、そのままシステムに投入するわけにはいきません。開発の効率化を図るため、最初に手順の分類を行いました。

「サーバー、ストレージ、ネットワークといった項目ごとに、単純な故障と複雑な故障に分類しました。復旧パターンを整理・分類し、共通項をまとめることで開発工数を減らすように心がけました」

　2つ目は「データインポートの容易化」です。ゼロタッチオペレーションシステムを開発するにあたり、運用に必要な膨大なデータをCMDB（構成管理データベース）にインポートする必要がありました。しかし、データには取り込みやすいデータとそうではないデータがあったといいます。

「システムがそのまま読めるデータは取り込みやすいのですが、問題は人間だけが読めるデータです。たとえばエクセルで管理されたデータなどは、読みやすいようセルを統合し、色分けを行っている場合がありますが、そのままシステムに取り込むことは困難です。そこで変換ツールを活用することで、インポートを行いました」

　3つ目は「オープンソースの活用による開発の簡易化」です。

「本来であれば、ServiceNowとEnterprise Cloudをダイレクトに接続すればいいのですが、それを実現するには、多くの開発工数がかかることがわかりました。そこでServiceNowとEnterprise Cloudとのつなぎにオープンソースの構成管理ツール「Ansible」を活用し、開発の簡易化、工期短縮を図りました」

　4つ目は「運用保守で培った知見の導入」です。

　複数のシステムを操作することによる誤操作を回避する機能、大規模故障時の暴走抑止機能、復旧措置が失敗してもリトライする機能などは、長年の運用から学んだノウハウをシステム化したものです。

「たとえばサーバーのリブート（再起動）で復旧しないケースでも、少し時間をおいてリトライすると立ち上がることがあります。これはサーバーのステータスが変化することで起こる事象ですが、“ゼロタッチオペレーション“システムにも、そうした知見を組み込んでいます」

　ゼロタッチオペレーションに向けて開発されたシステムでは、本来オペレーターが対応していた領域を、そのままServiceNowに置き換えた構成になっています。

「自動復旧処理の流れは次のようになります。Enterprise Cloudで故障が発生すると、監視システムが警報を検知し、APIでタスク管理をするための『チケット』を作成します。これによりワークフローが起動し、復旧開始のログを監視システムに書き込みます。

　その後、ワークフローと、CMDBに格納した運用に必要なデータを連携することで、故障に最適な復旧方法を選定。構成管理ツールを介して復旧対応を行い、完了後に警報を削除します」

　自動復旧オペレーションシステムの開発に要した時間は、約3カ月。2018年10月より実稼働していて、導入から7カ月ほどでかなり大きな成果を上げているようです。

「運用実績としては、現時点で1,700件のプロセスが自動復旧処理できています。オペレーターであれば15分～30分かかっていた平均プロセス復旧時間も、1分に短縮できました。さらに、チケットを管理するシステムに自動的にログが残せることで、問題の管理・ノウハウの蓄積もできるようになっています。」

　このような実績・効果に加えて、今回の現場主導の取り組みで得た“気づき”もありました。

「今回の成功要因としては、まず運用保守の日々の苦労を最も理解している現場主導で行ったことが挙げられます。“日ごろの苦労を改善しよう！”という現場の問題意識が、取り組みの推進力になったと実感しています。

　もう一つは導入の順序です。

　最初は導入スピードの速い単純な故障復旧から開発を始め、運用実績を重ねることで社内認知度を上げ、その後、徐々に複雑なものへと移行しています。私たちにとっても、この小さな成功体験の積み重ねが次の開発のモチベーションにつながっています」

　同社ではEnterprise Cloudに関して、今後もより複雑な故障の自動化や、被疑個所の特定による警報集約、工事の完全自動化、問題管理による予防保全など、自動化の領域を拡大していく予定です。

　小山氏の説明からもわかるように、ServiceNowを有効に活用するためにはいくつかのハードルがあります。今回の「ゼロタッチオペレーション」の事例では保守運用のノウハウに加え、現場の問題意識が成功要因の1つとなりました。

　ServiceNowを利用して、何をどう解決したいのか。現場サイドで思い描いておくことが、導入を成功させる要諦といえるかもしれません。