本記事では、外部データをOceanBaseデータベースにインポートする方法について説明します。
OceanBaseデータベースは、多様で柔軟なデータ取り込み方法を提供しており、さまざまなデータソースのデータをデータベースにインポートできます。異なるインポート方法は異なるシナリオに適用されるため、データソースのタイプやビジネスシナリオに基づいて、適切なデータインポートツールを選択してデータを取り込むことができます。シナリオが複雑化・多様化する中、複数のインポート方法を組み合わせて使用することも可能です。データ取り込み時には、データソースやデータファイル形式に加え、データインポートツールのサポート状況も考慮する必要があります。ビジネスシナリオにおいてデータソースやデータファイル形式が既に明確になっている場合は、データソースを起点とし、データインポートツールと組み合わせてインポート計画を設計する必要があります。業務で使い慣れたデータインポートツールがある場合は、そのツールのサポート状況を考慮し、ビジネスシナリオと照らし合わせてインポートの実現可能性を検討する必要があります。ここでは主に、データソースタイプとツールという2つの観点から、OceanBaseのデータ取り込み計画について説明します。
OceanBaseデータベースのデータインポート計画のアーキテクチャは以下のとおりです:

データソースタイプに基づくインポートプランの検討
このセクションでは、一般的なデータソースがサポートするインポートプランを紹介します。実際のシナリオに合わせて適切なインポートプランを迅速に選択できるようにすることを目的としています。
データソースタイプ |
インポート方法 |
詳細を見る |
|---|---|---|
|
|
|
データベース:
|
利用可能なツールは以下のとおりです。各ツールの対応状況については、各ツールの公式Webサイトをご確認ください。
|
|
| Spark | OceanBase Spark Connector | Sparkの詳細については、OceanBase Spark Connectorを参照してください。 |
インポートツールに基づくインポートプランの検討
このセクションでは、一般的なデータ導入ツールとそれぞれがサポートするインポートプランを紹介します。実際のシナリオに合わせて適切なインポートプランを迅速に選択できるようにすることを目的としています。
ツール名 |
適用シナリオ |
対応データソース |
詳細を見る |
|---|---|---|---|
| LOAD DATA構文 | 大規模データのインポートに適しています。 | 以下の場所にあるCSV/ORC/Apache Parquet/圧縮ファイルをサポートします。
|
|
| obloader | 中規模から大規模データのインポートに適しています。 | 以下の場所にあるCSV/Apache Parquet/Apache ORC/SQLファイルをサポートします。
|
|
| 外部テーブル | ログ分析、履歴データ分析、マルチソースデータ統合、データレイク分析、レイクハウス高速化などのシナリオに適しています。 | 以下の場所にあるCSV/ORC/Apache Parquet/圧縮ファイルをサポートします。
|
|
| INSERT SQL |
|
指定されたデータ、内部テーブル、または外部テーブルの表示。
|
|
| Flink | Flinkからのリアルタイムデータインポートに適しています。 | Flink公式Webサイトを参照 | 詳細については、Flink CDCを使用したMySQLデータベースからOceanBaseデータベースへのデータ同期を参照してください。 |
| Canal | Canalからのリアルタイムデータインポートに適しています。 | Canal公式Webサイトを参照 | 詳細については、Canalを使用したMySQLデータベースからOceanBaseデータベースへのデータ同期を参照してください。 |
| OMS | 大規模なデータベース間の移行と同期に適しています。 |
|
OMSの詳細については、OMSドキュメントを参照してください。 |
| DataX | MySQL、Oracle などのリレーショナルデータベース、HDFS、Hive など様々なデータソース間でのデータ同期に適しています。DataXはデータ量に制限がなく、単一テーブルごとに移行することが可能です。移行速度は最大60MB/Sに達します。 | DataX公式サイトを参照 | 詳細については、DataXを使用したMySQLテーブルデータからOceanBaseデータベースへの移行を参照してください |
| CloudCanal | MySQL、Oracle、PostgreSQL などのデータベースからOceanBaseデータベースへのデータ移行または同期に適しています。 | CloudCanal公式サイトを参照 | 詳細については、CloudCanalを使用したMySQLデータベースからOceanBaseデータベースへのデータ移行を参照してください |