OceanBaseは高性能な分散リレーショナルデータベースとして、データベース管理の簡素化、運用効率の向上、多様なIT環境とのシームレスな連携を実現するため、多くのツールを統合したエコシステムを段階的に構築してきました。本記事では、APシナリオで関わる可能性のある、データ統合、オーケストレーション、可視化などの分野のツールをいくつか例示します。
説明
OceanBaseデータベースの完全なエコシステム統合リストについては、エコシステム統合の概要を参照してください。
データ統合
データ統合(Data Integration)とは、異なるソースからのデータを単一のビューに集約し、分析、レポート作成、およびビジネス上の意思決定を支援するためのITプロセスです。データは、リレーショナルデータベース、ファイル、アプリケーション、NoSQLデータベース、クラウドストレージサービスなど、複数のシステムに分散している可能性があります。
データ統合分野において、CDC(Change Data Capture、変更データキャプチャ)は重要な技術であり、前回の抽出以降に変更されたデータを特定するのに役立ちます。CDCが提供するデータは、履歴データベース、準リアルタイムキャッシュ、メッセージキュー(MQ)への提供、分析や監査などに利用できます。
OceanBaseデータベースのBinlogサービスはMySQLのネイティブBinlogと互換性があり、ユーザーは既存のMySQL Binlog増分解析システムをそのまま再利用してOceanBase MySQLテナントの増分データを同期できます。既存のデータリンクを変更する必要はありません。Binlogサービスの詳細については、Binlogログサービスを参照してください。
OceanBaseデータベースは、以下の製品を含む主要なデータ統合製品と良好な互換性を保ちます。これらに限定されません:
名前 |
説明 |
関連ドキュメント |
|---|---|---|
| Flink | 大規模データの処理と分析を目的としたオープンソースフレームワーク | 詳細は以下を参照: 。 |
| Canal | データベース同期および統合を目的とした変更データキャプチャ(CDC)フレームワーク | 詳細はCanalを使用してMySQLデータベースからOceanBaseデータベースにデータを同期するを参照。 |
| Maxwell | MySQLデータベース用の変更データキャプチャ(CDC)ツール | 詳細はMaxwellを使用してOceanBaseデータを読み取るを参照。 |
| SeaTunnel | データ移行およびリアルタイムストリーム処理タスクを目的とした分散型・高パフォーマンスのデータ統合プラットフォーム | 詳細はSeaTunnelを使用してOceanBaseデータを読み取りおよび同期するを参照。
注意現在Beta版です。初期テストは完了していますが、今後さらなる詳細な適合作業が必要です。 |
| Debezium | オープンソースのエンタープライズ向け汎用コンピューティングフレームワークで、複数のコンピューティングエンジンに対するタスクスケジューリングと管理をサポートします | 詳細はDebeziumを使用してOceanBaseデータを読み取りおよび同期するを参照。 |
| DataX | オフラインデータ同期ツール/プラットフォーム | 詳細はDataXを使用してCSVファイルをOceanBaseデータベースに移行するを参照。 |
アーティキュレーションとスケジューリング
データ統合(Data Integration)分野において、アーティキュレーション(Orchestration)ツールとは、異なるデータ処理タスクやデータフローを管理、スケジューリング、調整できるソフトウェアツールを指します。これらのツールは、データ抽出(Extract)、変換(Transform)、ロード(Load、すなわちETLプロセス)などの複数のデータ統合活動、およびデータクレンジング、検証、配信などのタスクを組織し実行するための高度な方法を提供することが一般的です。
名前 |
説明 |
関連ドキュメント |
|---|---|---|
| DolphinScheduler | オープンソースの分散型ワークフロー・タスクスケジューリングシステムで、複数のタスクタイプをサポートします | 詳細については、DolphinSchedulerにOceanBaseデータソースを設定するを参照してください。
注意現在Beta版です。初期テストは完了していますが、今後、より詳細な適合性テストを実施する予定です。 |
| Linkis | オープンソースのエンタープライズ向け汎用計算フレームワークで、複数の計算エンジンに対するタスクスケジューリングと管理をサポートします | 詳細については、LinkisとOceanBaseデータベースの統合を参照してください。 |
可観測性
可観測性(Observability)とは、通常、データ処理フローおよびシステム状態を監視、追跡、診断、理解する能力を指します。複雑なデータパイプラインやデータシステムにおいて、高い可観測性を維持することは非常に重要です。これにより、運用保守チームは発生した問題を迅速に検出・対応し、システムの健全性とパフォーマンスを維持できます。
同時に、データ品質もデータ統合プロセスにおける重要な構成要素であり、同様に高い可観測性が求められます。データ品質可観測性ツールにより、チームはデータの正確性、一貫性、完全性を検証し、データが期待される基準に適合しているか監視することができます。これにより、ビジネス上の意思決定が信頼できるデータに基づいて行われることが保証されます。
名前 |
説明 |
関連ドキュメント |
|---|---|---|
| Prometheus | 信頼性と多次元データ収集を目的として設計された強力なオープンソースのシステム監視およびアラートツールキットで、サービスやアプリケーションの健全性監視に広く利用されています | 詳細は PrometheusによるOceanBaseデータの監視を参照してください。 |
ビジュアライゼーション
データ統合分野におけるビジュアライゼーションツールとは、ユーザーがグラフやチャートを通じてデータを可視化し、理解し、伝達するのを支援するソフトウェアツールを指します。これらのツールは通常、データ統合プロセスからデータを取得し、直感的なビューに変換する機能を提供しており、技術的な知識がないユーザーでもデータの背後にある傾向やパターンを把握できるようにします。
名前 |
説明 |
関連ドキュメント |
|---|---|---|
| Superset | データ探索と可視化を目的としたオープンソースのビジネスインテリジェンスツールです。 | 詳細はSupersetとOB Cloudクラウドデータベースを使用したデータ分析を参照してください。 |
| PowerBI | Power BIを使用すると、データソースに簡単に接続し、重要な内容を可視化して発見でき、必要に応じて誰とでも共有できます。 | 詳細はPower BIでOceanBaseに接続してデータを取得するを参照してください。 |
| QuickBI | 使いやすいデータ可視化および分析ツールで、高速なデータレポートの生成をサポートします。 | 詳細はQuick BIでOB Cloudクラウドデータベースに接続するを参照してください。 |
| Tableau | 直感的なデータ可視化ツールで、インタラクティブで共有可能なレポートを作成できます。 | 詳細はTableauでOB Cloudクラウドデータベースに接続するを参照してください。 |
| 观远 BI | 观远 BIを使用すると、OceanBaseデータベースに簡単に接続してデータを表示できます。 | 詳細は观远 BIでOceanBaseデータベースに接続するを参照してください。 |
| 永洪 BI | 永洪 BIを使用すると、vividime V11でOceanBaseデータベースに接続してデータを表示できます。 | 詳細はvividimeでOceanBaseデータベースに接続するを参照してください。 |