本記事では、外部データをOceanBaseデータベースにインポートする方法について説明します。
OceanBaseデータベースでは、多様で柔軟なデータの取り込み方法が提供されており、さまざまなデータソースからデータベースにデータをインポートできます。インポート方法によって適用されるシナリオが異なるため、データソースのタイプやビジネスシナリオに応じて、適切なデータインポートツールを選択してデータを取り込むことができます。シナリオが複雑で多様化している中でも、複数のインポート方法を組み合わせて使用可能です。データの取り込み時には、データソースやデータファイルの形式に加えて、データインポートツールのサポート状況も考慮する必要があります。ビジネスシナリオでデータソースやデータファイルの形式が既に明確になっている場合は、データソースから始めて、データインポートツールと組み合わせてデータインポートプランを設計する必要があります。ビジネスで使い慣れているデータインポートツールがある場合は、ツールのサポート状況を考慮し、ビジネスシナリオと組み合わせてデータインポートの実現可能性を検討する必要があります。ここでは主にデータソースのタイプとツールの2つの観点からOceanBaseのデータ取り込みプランを見ていきます。
OceanBaseデータベースのデータインポートプランアーキテクチャは以下のとおりです:
データソースのタイプから考えるインポートプラン
このセクションでは、一般的なデータソースでサポートされているインポートプランについて説明します。実際のシナリオに応じて適切なインポートプランを迅速に選択できるようサポートします。
| データソースの種類 | インポート方法 | 関連資料 |
|---|---|---|
|
|
|
データベース:
|
利用可能なツールは複数あります。具体的なツールのサポート状況については、各ツールの公式サイトを参照してください。
|
|
| Spark | OceanBase Spark Connector | Sparkに関する詳細については、OceanBase Spark Connectorを参照してください。 |
データインポートツールから考えるインポートプラン
このセクションでは、一般的なデータインポートツールと対応するインポートプランについて説明します。実際のシナリオに応じて適切なインポートプランを迅速に選択できるようサポートします。
| ツール名 | 適用シナリオ | サポートするデータソース | 関連資料 |
|---|---|---|---|
| LOAD DATA構文 | 大規模データインポートに適用。 | 以下の場所にあるCSV / ORC / Apache Parquet / 圧縮ファイルをサポート
|
LOAD DATAの操作については、LOAD DATA (Oracleモード)および LOAD DATA (MySQLモード)を参照してください。 |
| obloader | 比較的大規模なデータインポートに適用。 | 以下の場所にあるCSV/Apache Parquet/Apache ORC/SQLファイルをサポート
|
obloaderの詳細については、obloader使用ドキュメントを参照してください。 |
| 外部テーブル | ログ分析、履歴データ分析、マルチソースデータ統合、データレイク分析、レイクハウス高速化などのシナリオに適用。 | 以下の場所にあるCSV/ORC/Apache Parquet/圧縮ファイルをサポート
|
外部テーブルの使用については、外部テーブル(Oracleモード)および 外部テーブル(MySQLモード)を参照してください。 |
| INSERT SQL |
|
明示的に指定されたデータ、内部テーブルまたは外部テーブル
|
INSERT SQLの使用については、INSERT (Oracleモード)および INSERT (MySQLモード)を参照してください。 |
| Flink | Flinkからのリアルタイムデータインポートに適用。 | Flink公式Webサイトを参照 | 詳細については、Flink CDCを使用してMySQLデータベースからOceanBaseデータベースにデータを同期するを参照してください。 |
| Canal | Canalからのリアルタイムデータインポートに適用。 | Canal公式Webサイトを参照 | 詳細については、Canalを使用してMySQLデータベースからOceanBaseデータベースにデータを同期するを参照してください。 |
| OMS | 大規模なデータベース間での移行と同期に適用。 |
|
OMSの詳細については、OMS使用ドキュメントを参照してください。 |
| DataX | MySQL、Oracleなどのリレーショナルデータベース、HDFS、およびHiveなどのさまざまなデータソース間でのデータ同期に適用。DataXはデータ量に制限がなく、単一テーブルを個別に移行できます。移行速度は60 MB/Sに達します。 | DataX公式Webサイトを参照 | 詳細については、DataXを使用してMySQLテーブルデータをOceanBaseデータベースに移行するを参照してください。 |
| CloudCanal | MySQL、Oracle、PostgreSQLなどのデータベースからOceanBaseデータベースへのデータ移行または同期に適用。 | CloudCanal公式Webサイトを参照 | 詳細については、CloudCanalを使用してMySQLデータベースからOceanBaseデータベースにデータを移行するを参照してください。 |