obloaderとは
obloader(OceanBase Loader、すなわちOceanBaseインポートツール)は、Java言語で開発されたクライアントツールであり、現在このツールはOceanBaseデータベースにのみ適用されます。ユーザーは、ストレージメディア上のデータベースオブジェクト定義ファイルとテーブルデータファイルをOceanBaseデータベースにインポートできます。
通常、obloaderとobdumperの組み合わせ使用を推奨します。ユーザーがobloaderを使用してデータ移行作業を行いたい場合、mysqldumpやMydumperなどのクライアントツールからエクスポートされたCSV形式のファイルにも対応しています。
obloaderは、データインポート性能を専門的に最適化しており、さまざまなデータ前処理関数を内蔵し、自動耐障害性によってデータインポートの安定性を保証するとともに、豊富なモニタリング情報を提供することで、ユーザーがデータファイルのインポート性能と進捗状況をリアルタイムで把握できるようにしています。
obloaderの主な機能特徴は以下の通りです:
ローカルディスク、Apache Hadoop、Alibaba Cloud OSS、またはAWS S3からデータベースオブジェクト定義とテーブルデータをインポートすることをサポートします。
mysqldumpでエクスポートされたSQL-Format形式のファイルをインポートすることをサポートします。
標準的なCSV、Insert SQL、ORC、Parquetなどの形式のデータファイルをインポートすることをサポートします。
データ前処理の制御ルールおよびファイルとテーブル間のフィールドマッピング関係を設定することをサポートします。
インポート速度制限、爆発防止、中断点復旧、およびエラー自動再試行をサポートします。
カスタムログディレクトリを指定することをサポートし、インポート時に破損データや競合データを保存できます。
インポートツールが大規模ファイルを自動的に分割し、追加のストレージ容量を消費せず、手動でのファイル分割が不要であることをサポートします。
コマンドラインで指定された機密パラメータを暗号化することをサポートします。これには、データベースのアカウントパスワード、クラウドストレージのアカウントキーが含まれます。
obdumperとは
obdumper(OceanBase Dumper、すなわちOceanBaseエクスポートツール)は、Java言語で開発されたクライアントツールであり、現在このツールはOceanBaseデータベースにのみ適用されます。ユーザーはこのツールを使用して、OceanBaseデータベースに定義されたオブジェクトとテーブルデータを指定されたファイル形式でストレージメディアにエクスポートできます。ユーザーがobdumperを使用して論理バックアップを行いたい場合、このツールを直接データベース運用システムに統合できます。
説明
obdumperは現在、増分バックアップをサポートしていません。
mysqldumpなどのクライアントエクスポートツールと比較して、obdumperには以下の顕著な利点があります:
高速なデータエクスポート能力を備えており、複数のデータクエリ戦略を設計しており、エクスポート性能を大幅に向上させています。
豊富なデータ交換能力を備えており、テーブル内のデータを複数の形式で複数のストレージメディアにエクスポートすることをサポートしています。
強力なデータ処理能力を備えており、エクスポート前にデータの圧縮、暗号化、匿名化、前処理などを行います。
obdumperの主な機能特徴は以下の通りです:
ローカルディスク、Alibaba Cloud OSS、およびAWS S3にデータベースオブジェクト定義とテーブルデータをエクスポートすることをサポートします。
テーブル内のデータをCSV、Insert SQL、ORC、Parquetなどの形式でファイルにエクスポートすることをサポートします。
パーティション名を指定して、指定されたテーブルパーティション内のデータのみをエクスポートすることをサポートします。
グローバルなフィルタリング条件を指定して、条件を満たすデータのみをエクスポートすることをサポートします。
データ前処理ルールを設定して、エクスポート前にデータの変換、匿名化などの前処理を行うことをサポートします。
SCNまたはTIMESTAMPを指定して、有効なトランザクションポイントまたは時間点の履歴スナップショットデータのみをエクスポートすることをサポートします。
OceanBaseデータベースのスタンバイレプリカ(注:スタンバイクラスタとは異なる)からデータをエクスポートすることをサポートします。
カスタムクエリステートメントを指定して、そのクエリステートメントの結果セットのみをエクスポートすることをサポートします。
最新のスナップショットバージョンを使用して、テーブルをロックせずにグローバル一貫性のあるデータをエクスポートすることをサポートします。
コマンドラインで指定された機密パラメータを暗号化することをサポートします。これには、データベースのアカウントパスワード、クラウドストレージのアカウントキーが含まれます。