QuantumLeap¶

概要¶

QuantumLeap は、NGSI v2 時空間データを保存、クエリ、および取得するための REST サービスです。QuantumLeap は、NGSI の半構造化データを表形式に変換して time-series database に保存し、各データベースのレコードを時間インデックスに関連付け、NGSI データに存在する場合は地球上の場所に関連付けます。REST クライアントは、時間範囲と空間演算子を使用してエンティティ・セットをフィルタリングすることにより、NGSI エンティティを取得できます。クライアントの観点から、これらのクエリはデータベースのテーブルではなく NGSI エンティティで定義されることに注意してください。ただし、REST インターフェイスを介して使用できるクエリ機能は非常に基本的であり、最も複雑なクエリでは通常、クライアントがデータベースを直接使用する必要があります。

QuantumLeap が実装する NGSI-TSDB と呼ばれるREST API specification は、NGSI 仕様自体に可能な限り近い、NGSI エンティティの時系列のストレージ、クエリ、および取得にデータベースに依存しない REST インターフェイスを提供することを目的として定義されています。したがって、NGSI-TSDB は、時系列データにアクセスするための統一された、FIWARE 開発者にとって使い慣れた、メカニズムを提供し、QuantumLeap などのサービスを実装して複数のデータベース・バックエンドを透過的にサポートします。実際、現在 QuantumLeap はバックエンド・データベースとして CrateDB と Timescale の両方をサポートしています。

STH Comet との関係¶

QuantumLeap と FIWARE STH Comet は同様の目標を共有しますが、 Comet は複数のデータベース・バックエンドをサポートせず (MongoDB のみが利用可能)、NGSI v2 もサポートしません。Comet 自体は素晴らしいソフトウェアですが、開発のきっかけとなったニーズと仮定のいくつかはもはや最新のものではありません。QuantumLeap は、特定のデータベース・バックエンドにコミットせずに、FIWARE エコシステムで履歴データを利用できる代替方法の調査として始まりました。

オペレーション¶

通常、QuantumLeap は、Context Broker, Orion で事前に設定された NGSI 通知を介して、FIWARE IoT Agent レイヤーから間接的に NGSI エンティティの形式で IoT データを取得します。(読者は、NGSI specification の Notification Messages および Subscriptions セクションで説明されている NGSI パブリッシュ/サブスクライブのメカニズムに精通していると想定します) 前述のように、着信した NGSI エンティティはデータベースに変換され、構成された時系列データベースのバックエンドの1つ (通常はデータベース・クラスタ) に記録および保存されます。しばしば、QuantumLeap がデータベースに保存する時系列データを視覚化するために、Grafana などの視覚化ツールもデプロイされます。以下の図は、一般的な QuantumLeap デプロイ・シナリオでのこれらのシステム間の関係と相互作用を示しています。

QL Architecture

QuantumLeap が Orion からデータを受信するために、クライアントは Orion でサブスクリプションを作成し、変更が発生したときに通知するエンティティを指定します。この図は、クライアントが QuantumLeap (1) でサブスクリプションを直接作成していることを示しています。これは、クライアントのサブスクリプションを Orion に単に転送する QuantumLeap REST API の便利なエンドポイントです。(サブスクリプションの設定の詳細については、 QuantumLeap マニュアルの Orion Subscription セクションをご覧ください。)

この時点から、IoT レイヤーのエージェントが Context Broker (2) にデータをプッシュするとき、データがクライアントのサブスクリプションによって特定されたエンティティに関係する場合、Orion は、NGSI エンティティを QuantumLeap の通知のエンドポイントに (3) に POST することにより、データを QuantumLeap に転送します。

QuantumLeap の Reporter コンポーネントは、POST されたデータを解析および検証します。さらに、ジオコーディングが設定されている場合、Reporter は Geocoder コンポーネントを呼び出して、通知されたエンティティの位置表現を調整します。これには、OpenStreetMap (OSM) で地理情報を検索することが含まれます最後に、Reporter は、検証および調整された NGSI エンティティを Translator コンポーネントに渡します。Translator は、NGSI エンティティを表形式に変換し、それらを時系列レコードとしてデータベースに保持します。サポートされている各データベースバックエンドに対応する Translator コンポーネントがあります。以下のセクションを参照してください。設定に応じて、Reporter は使用する Translator を選択します。

クライアントが REST API にクエリして NGSI エンティティ (4) を取得すると、 Reporter および Translator が相互作用して、Web クエリを空間および時間句を含む SQL クエリに変換し、データベースを取得します。それらを記録し、最終的にクライアントに返される NSGI エンティティの時系列に変換します。前述のように、REST インターフェイスで使用できるクエリ機能は非常に基本的です。 QuantumLeap は、時間範囲、NGSI 仕様で定義された地理的クエリ、および平均などの単純な集計関数によるフィルタリングをサポートします。それ以外に、QuantumLeap は履歴レコードの削除もサポートしていますが、現時点では NGSI-TSDB 仕様を完全に実装していないことに注意してください。詳細については、REST API 仕様を参照してください。

最後に、図は、Webクライアント(5) の時系列を視覚化するために、データベースに直接クエリする Grafana を示しています。原則として、データベースの代わりに QuantumLeap REST API をクエリする Grafana プラグインを開発できます。これにより、QuantumLeap 内部から可視化ツールが保護されます。実際に、(それほど遠くない！) 将来、そのようなプラグインを開発する計画があります。

データベース・バックエンド¶

QuantumLeap 設計の指針の1つは、複数の時系列データベースを使用できることです。この設計上の選択は、現在の状況によってはデータベース製品が他の製品よりも適している可能性があるという事実によって正当化されます。現在、QuantumLeap は CrateDB と Timescale の両方で使用できます。 [InfluxDB][influx] および RethinkDB の実験的サポートも利用できますが、これら2つのバックエンドの開発が停滞しているため、現時点では使用できません。

このマニュアルのデータベースの選択セクションでは、利用可能なデータベース・バックエンドのいずれかを使用するように QuantumLeap を構成する方法について説明しています。

CrateDB バックエンド¶

CrateDB はデフォルトのバックエンドです。 containerisation に適した shared-nothing アーキテクチャにより、スケーリングが容易です。そのため、Kubernetes などを使用して、コンテナ化された CrateDB データベース・クラスタを比較的簡単に管理できます。さらに、CrateDB は SQL を使用してデータをクエリし、一時的および地理的クエリの組み込み拡張機能を使用します。また、 Grafana には、CrateDB に保存されている時系列を視覚化するために使用できるプラグインが付属しています。

Timescale バックエンド¶

Timescale は、NGSI エンティティの時系列を格納するバックエンドとして QuantumLeap で使用できる別の時系列データベースです。実際、 QuantumLeap は、地理的特徴 (GeoJSON または NGSI Simple Location Format としてエンコード)、構造化タイプ、配列など、NGSI エンティティの Timescale への保存を完全にサポートしています。

QuantumLeap は、既存の notify 通知エンドポイントを使用して NGSI エンティティを Timescale に保存します。Timescale のバックエンドは、 PostgreSQL で構成され、Timescale と PostGIS 拡張の両方が有効になっています :

-------------------------
| Timescale     PostGIS |          ---------------
| --------------------- |  <-----  | QuantumLeap |-----O notify
|       Postgres        |          ---------------
-------------------------

PostgreSQL は確固たる、テスト済みのオープンソース・データベースであり、その PostGIS 拡張機能は高度な空間機能の優れたサポートを提供しますが、Timescale 拡張機能は時系列データをかなり強力にサポートします。NGSI エンティティを表形式に変換するメカニズムは、いくつかの改善を除いて、Crate バックエンドとほぼ同じです。

NGSI 配列は、Crate バックエンドの文字列のフラット配列ではなく、インデックス化およびクエリ可能な JSONとして保存されます
GeoJSON および NGSI Simple Location Format 属性は、インデックスおよびクエリが可能な空間データとして保存されます。Crate バックエンドでは、空間属性の完全なサポートはまだ不完全です

QuantumLeap ソースベースの test_timescale_insert.py ファイルには、 NGSI データが Timescale に保存される方法の非常に多くの例が含まれています。

注: データのクエリと取得¶

現時点では、QuantumLeap は、Crate バックエンドで利用可能な QuantumLeap REST API を介したデータのクエリまたは取得を実装していません。つまり、現在のところ、データにアクセスする唯一の方法は、Timescale DB に直接クエリを実行することです。ただし、今後の QuantumLeap メジャー・リリースでは、 REST API を介したデータのクエリと取得が計画されています。