OBLOADERを使用したデータのダイレクトロード

本記事では、OBLOADERを使用してデータをダイレクトロードする方法について説明します。OBLOADERダイレクトロードモードの関連コマンドラインオプションは以下のとおりです：

インポート例

以下のコマンドを使用して、データをOceanBaseデータベースにインポートします：

bin/obloader -h xx.x.x.xx -P 2883 -u TPCH -t oboracle -c OB4216 -p -D TPCH --table LINEITEM --external-data --csv -f /data/1/tpch/s4/bak/   --truncate-table --column-separator='|' --thread 16 --rpc-port=2885 --direct --parallel=16

ダイレクトロードは、OBServerのSQLポート（デフォルト2881）ではなく、RPCポート（デフォルト2882）に接続します。OBLOADERがODPをバイパスして直接OBServerに接続する場合、追加でRPCポートを指定することでダイレクトロードを実現できます。ODP V4.3.0のRPCポートは2885です。ただし、本番環境ではクライアントがODPをバイパスすることは推奨されません。これは、本来業務データのリーダーレプリカの位置がアプリケーションクライアントに対して透過的であるためです（クライアントはデータがどのOBServerノード上にあるかを知る必要はなく、ODPがSQLルーティングを担当します）。OBServerに直接接続してダイレクトロードでデータを書き込む際、リーダーレプリカがそのノードにない場合、クロスマシントランザクションが発生します。

上記のコマンドは、/data/1/tpch/s4/bak/ ディレクトリ下のすべてのサポートされているCSVデータファイルをテーブル LINEITEM にインポートします。データファイルのサイズがTB単位以上の場合は、ダイレクトロードを使用して効率を向上させてください。より大きなテナントリソース仕様と組み合わせることで、さらに高い効率が得られます。

ダイレクトロードモード関連パラメータ

{ob-loader-dumper}/conf ディレクトリ下の session.config.json ファイルでダイレクトロードパラメータを設定できます。

例：

"direct_path_load": {
    "rpc_connect_timeout": "15000",
    "rpc_execute_timeout": "20000",
    "runtime_retry_times": "5",
    "runtime_retry_intervals": "50",
    "task_timeout": "2592000000000",
    "heartbeat_timeout": "60000000"
}

• rpc_connect_timeout：RPC接続タイムアウト時間。単位はミリ秒です。

• rpc_execute_timeout：RPC実行タイムアウト時間。単位はミリ秒です。

• runtime_retry_times：ランタイムの最大リトライ回数。何らかの原因で操作が失敗した場合、このパラメータに基づいてリトライが行われます。

• runtime_retry_intervals：リトライ間隔時間。リトライ操作を行う前に待機する時間長。単位はミリ秒です。

• task_timeout：操作のタイムアウト時間を設定します。設定された時間内に操作が完了しない場合、タイムアウトと見なされます。単位はマイクロ秒です。デフォルト値は0で、タイムアウト制限なしを意味します。

• heartbeat_timeout：インポート操作のアクティブ状態を検出するためのハートビートタイムアウト時間を設定します。単位はマイクロ秒です。デフォルト値は0で、ハートビート検出を無効にすることを意味します。

注意事項

• ダイレクトロード書き込みでは、データ転送にRPCポートを使用し、SQLプロトコルポートではありません。

• テーブル単位で一括コミットされ、セッションレベル/トランザクションレベルのコミット操作ではありません。

• 現在、リトライや断点からの再開はサポートされていません。

• 現在、bit型データはサポートされていません。

• 現在、仮想生成列はサポートされていません。

• データ量が少ないインポートタスクについては、ダイレクトロードの使用は推奨されません。

• --replace-data コマンドラインオプションを指定しても、一意インデックスの競合は処理できません。

• パラメータ --thread コマンドラインオプションと --parallel コマンドラインオプションの違い：

  • --thread はクライアントからサーバーへの接続プールを表し、クライアントが管理します。

  • --parallel はOBServerが呼び出せるワーカースレッド数で、データの書き込みとソートに使用されます。

  • 使用時は、--thread と --parallel を一致させることを推奨します。