obloaderとは
obloader(OceanBase Loader、すなわちOceanBaseインポートツール)は、Java言語で開発されたクライアントツールであり、現在このツールはOceanBaseデータベースにのみ適用されます。ユーザーは、ストレージメディア上のデータベースオブジェクト定義ファイルとテーブルデータファイルをOceanBaseデータベースにインポートできます。
通常、obloaderはobdumperと組み合わせて使用することを推奨します。ユーザーがobloaderを使用してデータ移行を行いたい場合、mysqldumpやMydumperなどのクライアントツールでエクスポートされたCSV形式のファイルもサポートしています。
obloaderはデータインポートのパフォーマンスを専門的に最適化しており、多様なデータ事前処理関数を内蔵し、自動フォールトトレランスによってデータインポートの安定性を保証します。また、豊富な監視情報を提供することで、ユーザーがデータファイルのインポートパフォーマンスと進捗状況をリアルタイムで確認できるようにします。
obloaderの主な機能と特徴は以下の通りです:
ローカルディスク、Apache Hadoop、Alibaba Cloud OSS、またはAWS S3からデータベースオブジェクト定義とテーブルデータをインポートすることをサポートします。
mysqldumpでエクスポートされたSQL-Format形式のファイルをインポートすることをサポートします。
標準的なCSV、Insert SQL、ORC、Parquetなどの形式のデータファイルをインポートすることをサポートします。
データ事前処理の制御ルールおよびファイルとテーブル間のフィールドマッピング関係を設定することをサポートします。
インポートスロットリング、バウンド防止、中断点からの復元、エラーの自動再試行をサポートします。
カスタムログディレクトリを指定することをサポートし、インポート時に破損データや競合データを保存できます。
インポートツールが大容量ファイルを自動的に分割し、追加のストレージ容量を消費しないようにサポートします。手動でのファイル分割は不要です。
コマンドラインで指定された機密パラメータを暗号化することをサポートします。これには、データベースのアカウントパスワード、クラウドストレージのアカウントキーが含まれます。
obdumperとは
obdumper(OceanBase Dumper、すなわちOceanBaseエクスポートツール)は、Java言語で開発されたクライアントツールであり、現在このツールはOceanBaseデータベースにのみ適用されます。ユーザーはこのツールを使用して、OceanBaseデータベースで定義されたオブジェクトとテーブルデータを指定されたファイル形式でストレージメディアにエクスポートできます。ユーザーがobdumperを使用して論理バックアップを行いたい場合、このツールを直接データベース運用システムに統合できます。
説明
obdumperは現在、増分バックアップをサポートしていません。
mysqldumpなどのクライアントエクスポートツールと比較して、obdumperは以下の顕著な利点があります:
高速なデータエクスポート能力を備えており、多様なデータクエリ戦略を設計することで、エクスポートのパフォーマンスを大幅に向上させています。
豊富なデータ交換能力を備えており、テーブル内のデータを複数の形式で複数のストレージメディアにエクスポートすることをサポートしています。
強力なデータ処理能力を備えており、エクスポート前にデータの圧縮、暗号化、匿名化、事前処理などを行います。
obdumperの主な機能と特徴は以下の通りです:
データベースオブジェクト定義とテーブルデータをローカルディスク、Alibaba Cloud OSS、AWS S3にエクスポートすることをサポートします。
テーブル内のデータをCSV、Insert SQL、ORC、Parquetなどの形式でファイルにエクスポートすることをサポートします。
指定したパーティション名を指定することで、指定されたテーブルパーティション内のデータのみをエクスポートすることをサポートします。
グローバルなフィルター条件を指定することで、条件を満たすデータのみをエクスポートすることをサポートします。
データ事前処理ルールを設定することで、エクスポート前にデータの変換、匿名化などの事前処理を行うことをサポートします。
SCNまたはTIMESTAMPを指定することで、有効なトランザクションポイントまたは時間の履歴スナップショットデータのみをエクスポートすることをサポートします。
OceanBaseデータベースのスタンバイレプリカ(注:スタンバイクラスタとは異なる)からデータをエクスポートすることをサポートします。
カスタムクエリステートメントを指定することで、そのクエリステートメントの結果セットのみをエクスポートすることをサポートします。
最新のスナップショットバージョンを使用して、テーブルをロックすることなくグローバルに一貫したデータをエクスポートすることをサポートします。
コマンドラインで指定された機密パラメータを暗号化することをサポートします。これには、データベースのアカウントパスワード、クラウドストレージのアカウントキーが含まれます。