ExabeamがGrafana Cloudで2,000万のアクティブタイムシリーズのインサイトと管理を得た方法

誰も移行を楽しむことはありませんが、時にはそれが必要なときにやってくるものです。

サイバーセキュリティのリーダーであるExabeamは、この経験に非常に馴染みがあります。昨年、チームは別のオブザーバビリティプラットフォームと、自社ホストのモニタリングインフラを運用していましたが、その限界に達していました。オンプレミスのスタックは50万のタイムシリーズメトリクスに対応しており、Exabeamの次世代アプリの追加により、その数はすぐに倍増しました。

幸運にも、同社はオンプレミス環境からクラウドへの移行と、全てのオブザーバビリティ作業を1つのプラットフォームに統合する会社全体の取り組みの一環として、すでにGrafana Cloudへの移行計画を進めていました。4か月にわたる期間で、エンジニアたちはレガシースタックをホストされたGrafanaに移行しながら、顧客向けにローカル環境を維持するという繊細な作業を行いました。また、移行プロセス中にリリースが続く中で、Grafana Cloud内の制限やクォータを継続的に再設定し、オブザーバビリティデータの消費を増やさなければなりませんでした。

彼らはすべてを独自に行ったわけではありません。「Grafanaは私たちの使用状況を把握し、制限を設定し、カーディナリティの調整を手伝ってくれたので、知見によって初めから本当に改善されました」と、ExabeamのリードSREであるYonit Lustigは言います。現在、Grafana Cloudには2000万以上のアクティブなタイムシリーズと、Exabeamシステムのほぼすべてを追跡するために使用される数百のダッシュボードが存在しています。

不適合なオブザーバビリティツールを使用している状態

Exabeamには複数の提供物があり、その中にはセキュリティ分析ツールや、クラウドのスケールを活用するために設計されたクラウドネイティブセキュリティ情報およびイベント管理（SIEM）プラットフォームが含まれています。彼らは、DNS、ファイアウォール、クラウドインフラストラクチャおよびアプリケーションをサポートする何百もの異なるベンダーや製品から、ペタバイトのログとイベントを取り込みます。そのデータは正規化、解析、分析され、ユーザーの行動をモデル化し、Exabeamの顧客にインサイトを提供します。これらの2つの主要アプリケーションは、それぞれが独自のオブザーバビリティ要件を持つ100以上のマイクロサービスのフリートによって支えられています。

「サービスがダウンしているか、期待されるSLOに達していない場合に、リアルタイムのアラート、デバッグ、調査を確実に行いたいのです」と、ExabeamのテクニカルアーキテクトであるDinesh Maheshwari氏は言います。「それについてのアラートを受け取り、それをすべて測定する必要があります。」

苦戦しているオブザーバビリティスタックではそれを行うのは難しいです。その労力を消すために、Exabeamはクラウドファーストのアプローチに転換し、クラウドネイティブソリューションへの移行を開始しました。しかし、1つ条件がありました。Exabeamのエンジニアは、少なくとも一時的にはHadoopやMongoDBなどの市販ソフトウェアと連携するように設計された古いシステムも考慮し、顧客に一貫した体験を提供する必要がありました。

レガシーツールを管理する一方で、Google Cloud StorageやCloud Spannerなどのクラウドネイティブサービスに順応する必要もありました。これらのサービスは異なるオブザーバビリティアプローチを必要とするため、既存のオンプレミスのオブザーバビリティツールも再評価し、最終的にはすべてのオブザーバビリティ作業を1つのツールに統合する必要があると判断しました。

多くのコストをかけながらも、二つの問題を一度に解決

Exabeamは、急成長する顧客、メトリクス、およびログに対応するために、十分なパワーと柔軟性を備えた単一プラットフォームへの移行を検討するために、概念実証実験を実施しました。

また、分散型のクラウドネイティブアプリケーション向けに構築されたソリューションも必要でした。

古いスタックで他のオブザーバビリティツールを使用していた経験はあったものの、そのツールは新しいクラウドネイティブプラットフォームへの増加するデータフローを制御するための適切なレバーを欠いていると感じていました。その結果、実際には使用されないデータの一部を送信するための費用を支払っており、それがコストに追加されていました。これをGrafana Labsとの経験と比較すると、Grafana Cloudで予期せぬメトリクスの急増に直面した際、Grafana Labsのチームは問題のトラブルシューティングを行い、最終的にコストの最適化を支援してくれました。その結果、Exabeamのオブザーバビリティコストは劇的に削減されました。Maheshwari氏は「コストがどのように計算されるかについての透明性と可視性がはるかに向上しました」と述べています。

コスト以外にも、Exabeamのエンジニアは、UIがクリーンで整理されており直感的であるため、Grafana Cloudの使用をすぐに受け入れました。さらに重要なのは、オープンで構成可能なクラウドプラットフォームが、Exabeamチームの広範なニーズに妥協なく対応できることを証明したことです。

現在、Grafana Cloud MetricsやGrafana Cloud Logs、Kubernetes MonitoringやAWS CloudWatchを含む少なくとも8つの異なるデータソースと4つのGrafana Cloud統合を活用した完全管理型のGrafana Cloudスタックを使用しており、Maheshwari氏は「Grafanaは私たちが構築したいものをサポートし続けてくれる」と述べています。

目を見開いて

一部のオブザーバビリティプラットフォームはシンプルさを追求して設計されていますが、多面的なシステムの微妙な違いを掘り下げる必要があるデータドリブンな組織にとっては、それでは不十分です。

Exabeamのエンジニアにとって、Grafana Cloudは生産性を向上させ、生活を楽にするソリューションとして新たな視点をもたらしました。Lustig氏は現在、インフラストラクチャを使用するエンジニアの管理とサポートに費やす時間が一日のうちの10％だけだと述べており、チーム全体がすぐにGrafanaでのアラート設定や他のエンジニアリングツールとの接続に慣れ親しんでいます。ダッシュボードを一日中監視する代わりに、問題が発生した際にはGrafanaで素早く評価できるため、トラブルシューティングが容易になりました。

これは、クラウドのマルチテナント環境において、1つのインシデントが複数の顧客に同時に影響を及ぼす可能性がある場合に特に重要です。

Maheshwari氏は「私たちはデータ駆動型の会社であり、意思決定は実際のシナリオをより正確に反映しており、単なる逸話に頼ることはありません。データ駆動でない場合、意思決定は非常に主観的であり、しばしば望ましくない結果をもたらします」と述べています。

Exabeamのデータとシステムが成長し進化するにつれて、彼らは自信を持ってスケールを続けるために必要な可視性を提供してくれるパートナーを必要としています。彼らは、Grafana Cloudの柔軟性とパワーが次に進む場所に関係なく、目標達成を支援してくれると確信しています。