OceanBaseは、高性能な分散型リレーショナルデータベースとして、データベース管理の簡素化、運用効率の向上、そして多様なIT環境とのシームレスな連携を実現する、数多くのツールを統合したエコシステムを徐々に構築しています。本記事では、一部のプロダクトを例に挙げ、APシナリオで必要となる可能性のあるツールを紹介します。データ統合、オーケストレーション、可視化などの分野が含まれます。
説明
OceanBaseデータベースの完全なエコシステムインテグレーションリストについては、エコシステムインテグレーション概要を参照してください。
データ統合
データ統合(Data Integration)は、分析、レポート、およびビジネス意思決定を支援するために、さまざまなソースからデータを単一のビューに集約するITプロセスです。データは、リレーショナルデータベース、ファイル、アプリケーション、NoSQLデータベース、クラウドストレージサービスなどの複数のシステムに分散している可能性があります。
データ統合の分野において、CDC (Change Data Capture、変更データキャプチャ)は重要な技術であり、前回の抽出以降に変更されたデータを識別するのに役立ちます。CDCで提供されたデータを使用して、履歴データベース、ニアリアルタイムキャッシュ、メッセージキュー(MQ)へのデータ配信、分析および監査などを行うことができます。
OceanBaseデータベースのBinlogサービスは、MySQLネイティブBinlogと互換性があり、ユーザーは既存のMySQL Binlog増分解析システムを再利用してOceanBase MySQLテナントの増分データを同期できます。既存のデータリンクを変更する必要はありません。Binlogサービスの詳細については、Binlogログサービスを参照してください。
OceanBaseデータベースは、以下を含むがこれらに限定されない、主要なデータ統合プロダクトとの良好な互換性を維持できます。
｜名前｜説明｜関連ドキュメント｜ |---|---|---| | Flink | 大規模なデータ処理や分析に使用するオープンソースフレームワーク | 詳細については、
- Flink CDCを使用してMySQLデータベースからOceanBaseデータベースにデータを同期する を参照してください。 | | Canal | データベース同期および統合のための変更データキャプチャ(CDC)フレームワーク | 詳細については、Canalを使用してMySQLデータベースからOceanBaseデータベースにデータを同期するを参照してください。 | | Maxwell | MySQLデータベース用の変更データキャプチャ(CDC)ツール | 詳細については、Maxwellを使用したOceanBaseデータの読み込みを参照してください。 | | SeaTunnel | 分散型で高性能なデータ統合プラットフォームであり、データ移行とリアルタイムストリーム処理タスクに使用されます | 詳細については、SeaTunnelを使用したOceanBaseデータの読み込みと同期を参照してください。
注意
目下Beta状態にあり、既に初歩的なテストは完了していますが、さらなる包括的な適応が必要です。
オーケストレーションとスケジューリング
データ統合(Data Integration)の分野において、オーケストレーション(Orchestration)ツールとは、異なるデータ処理タスクとデータプロセスを管理、スケジューリング、および調整できるソフトウェアツールのことです。これらのツールは、多くの場合、データ抽出(Extract)、変換(Transform)、ロード(Load、すなわちETLプロセス)といった複数のデータ統合アクティビティを組織化し、実行するための高度な方法を提供します。さらに、データクレンジング、検証、公開などのタスクも含まれます。
| 名称 | 説明 | 関連ドキュメント |
|---|---|---|
| DolphinScheduler | オープンソースの分散型ワークフロータスクスケジューリングシステムで、さまざまなタスクタイプをサポートしています | 詳細については、DolphinSchedulerのためのOceanBaseデータソース設定を参照してください。
注意目下Beta状態にあり、既に初歩的なテストは完了していますが、さらなる包括的な適応が必要です。 |
| Linkis | オープンソースエンタープライズレベルの汎用計算フレームワークで、多くの計算エンジンのタスクスケジューリングと管理をサポートします | 詳細については、Linkis統合OceanBaseデータベースを参照してください。 |
可観測性
可観測性(Observability)は、通常、データ処理プロセスおよびシステムの状態をモニタリング、追跡、診断、および理解する能力を指します。複雑なデータパイプラインとデータシステムにおいて、高い可観測性を維持することは非常に重要です。これにより、運用保守チームは発生した問題をタイムリーに発見し対応できるようになり、システムの健全性とパフォーマンスを維持することができます。
同時に、データ品質はデータ統合プロセスにおける重要な構成要素であり、同様に高い可観測性を必要とします。データ品質可観測性ツールを使用すると、チームはデータの正確性、一貫性、完全性を検証し、データが期待される基準を満たしているかどうかを監視することで、ビジネス上の意思決定が信頼できるデータに基づいていることを保証できます。
｜名前｜説明｜関連ドキュメント｜ |---|---|---| | Prometheus | 信頼性と多次元データ収集のために設計された、強力なオープンソースシステムモニタリングおよびアラートツールキットは、サービスとアプリケーションの健全性をモニタリングするために広く使用されています。 | 詳細については、Prometheusを使用したOceanBaseデータの監視を参照してください。 |
可視化
データ統合分野における可視化ツールとは、ユーザーがデータの視覚化、理解、コミュニケーションを図形やグラフの形で支援するソフトウェアツールのことです。これらのツールは、通常、データ統合プロセスからデータを取得し、視覚的なビューに変換する機能を提供します。これにより、技術的な知識を持たないユーザーでも、データの背後にあるトレンドやモードを洞察することができます。
｜名前｜説明｜関連ドキュメント｜ |---|---|---| | Superset | データ探索と可視化のためのオープンソースのビジネスインテリジェンスツール。 ｜詳細については、SupersetとOB Cloudクラウドデータベースを使用したデータ分析を参照してください。 | | PowerBI | Power BIを使用すると、データソースへの接続、可視化、重要な情報の発見、必要に応じて誰でも共有することが容易になります。 ｜詳細については、Power BIでOceanBaseに接続し、データを取得するを参照してください。 | | QuickBI | 使いやすいデータ可視化および分析ツールで、クイックデータレポートの作成をサポートします。 | 詳細については、Quick BIでOB Cloudクラウドデータベースに接続するを参照してください。 | | Tableau | インタラクティブで共有可能なレポートを作成するための、直感的なデータ可視化ツールです | 詳細については、TableauでOB Cloudクラウドデータベースに接続するを参照してください。 |