本記事では、OceanBaseデータ移行ツールを使用して、OceanBaseクラスタのMySQLテナントから別のMySQLテナントへデータを移行する方法について説明します。
OceanBaseデータエクスポート・インポートツールの概要
OceanBaseデータエクスポート・インポートツールには、エクスポートツールobdumperとインポートツールobloaderが含まれます。
obdumperは、Javaで開発されたクライアントエクスポートツールです。このツールを使用して、OceanBaseデータベース内で定義されたオブジェクトとデータをファイルにエクスポートできます。obdumperの詳細については、obdumperの概要を参照してください。
obloaderは、Javaで開発されたクライアントインポートツールです。このツールは非常に柔軟なコマンドラインオプションを提供しており、さまざまな複雑なシナリオで定義とデータをOceanBaseにインポートできます。obloaderの詳細については、obloaderの概要を参照してください。
操作手順
obdumperとobloaderの実行環境を準備します。環境の準備およびツールのダウンロードを参照してください。
エクスポートデータを格納するディレクトリを作成します。
テーブル構造/データをエクスポートします。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $./obdumper -h <ホストIP> -P <ポート> -u <ユーザー> -p <パスワード> [--sys-user <sysテナント内のユーザー名> --sys-password <sysテナント内の特定ユーザーのパスワード>] -c <クラスタ名> -t <テナント> -D <スキーマ名> [--ddl] [--csv|--sql] [--all|--table 'テーブル名'] -f <データファイルまたはディレクトリ>
説明
- OceanBase物理ノードのホストアドレスとポートを使用してデータをエクスポートする場合、
-cオプションを指定する必要はありません。 - obdumperコマンドラインオプションの詳細については、コマンドラインオプションを参照してください。
テーブル構造/データをインポートします。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $./obloader -h <ホストIP> -P <ポート> -u <ユーザー> -p <パスワード> --sys-user <sysテナント内のrootユーザーまたはproxyroユーザー> --sys-password <sysテナント内のユーザーのパスワード> -c <クラスタ> -t <テナント> -D <スキーマ名> [--ddl] [--csv|--sql] [--all|--table 'テーブル名'] -f <データファイルまたはディレクトリ>
説明
- OceanBase物理ノードのホストアドレスとポートを使用してデータをインポートする場合、
-cオプションを指定する必要はありません。 - obloaderコマンドラインオプションの詳細については、コマンドラインオプションを参照してください。
例
以下の表は、例で使用されるデータベース情報です。
| データベース情報 | サンプル値 |
|---|---|
| クラスタ名 | test4000 |
| OceanBase DataBase Proxy (ODP) ホストアドレス | xxx.xxx.xxx.xxx |
| OceanBase DataBase Proxy (ODP) ポート番号 | 2883 |
| sysテナントのrootユーザーのパスワード | ****** |
| ソーステナント名(MySQLモード) | mysql001 |
| テナントmysql001のユーザーアカウント(読み書き権限が必要) | obdumper_user01 |
| テナントmysql001のユーザーobdumper_user01のパスワード | ****** |
| テナントmysql001のSchemaデータベース名 | test_data |
| ターゲットテナント名(MySQLモード) | mysql002 |
| テナントmysql002のユーザーアカウント(読み書き権限が必要) | obloader_user01 |
| テナントmysql002のユーザーobloader_user01のパスワード | ****** |
| テナントmysql002のSchemaデータベース名 | test_data |
テーブル構造の移行
obdumperとobloaderを使用してテーブル構造を移行する際には、--sys-userおよび--sys-passwordオプションを指定して、テーブル構造のメタデータ情報を取得する必要があります。これらのオプションを指定しない場合、エクスポート/インポート機能およびパフォーマンスに大きな影響を与える可能性があります。
説明
--sys-userオプションは、sysテナント内で特定の権限を持つユーザーに接続するために使用されます。エクスポート時にこの--sys-userオプションを指定しない場合、デフォルトでは--sys-user rootが指定されます。
DDL定義ファイルのエクスポート
シナリオの説明:クラスタtest4000のテナントmysql001内のスキーマtest_dataから、サポートされているすべてのオブジェクト定義ステートメントを/home/admin/test_migrate_data/ddl_dataディレクトリにエクスポートします。
サンプルステートメントは以下のとおりです。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $./obdumper -h xxx.xxx.xxx.xxx -P 2883 -u obdumper_user01 -p ****** -c test4000 -t mysql001 -D test_data --sys-user root --sys-password ****** --ddl --all -f /home/admin/test_migrate_data/ddl_data 2022-12-26 14:11:57 [INFO] Parsed args: [--ddl] true [--file-path] /home/admin/test_migrate_data/ddl_data [--host] xxx.xxx.xxx.xxx [--port] 2883 [--user] obdumper_user01 [--tenant] mysql001 [--cluster] test4000 [--password] ****** [--database] test_data [--sys-user] root [--sys-password] ****** [--all] true 2022-12-26 14:11:57 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished 2022-12-26 14:11:57 [INFO] The manifest file: "/home/admin/test_migrate_data/ddl_data/data/MANIFEST.bin" has been saved 2022-12-26 14:11:58 [INFO] Query column metadata for the table: "test_tbl1" finished 2022-12-26 14:11:58 [INFO] Query column metadata for the table: "test_tbl2" finished 2022-12-26 14:11:58 [WARN] No views are exist in the schema: "test_data" 2022-12-26 14:11:58 [WARN] No functions are exist in the schema: "test_data" 2022-12-26 14:11:58 [WARN] No procedures are exist in the schema: "test_data" 2022-12-26 14:11:58 [WARN] No table groups are exist in the tenant: "mysql001" 2022-12-26 14:11:58 [INFO] Generate 1 dump tasks finished. Total Elapsed: 3.926 ms 2022-12-26 14:11:58 [INFO] Start 3 schema dump threads for 1 dump tasks finished. 2022-12-26 14:11:58 [INFO] Build direct com.alibaba.druid.pool.DruidDataSource finished 2022-12-26 14:11:58 [INFO] No need to acquire DataSource for xxx@sys, as observer is 4.0.0.0 2022-12-26 14:11:58 [INFO] Return the latest compatible version: 4.0.0.0 -> 4.0.0.0 2022-12-26 14:11:58 [INFO] Dump create objects success. DbType: OBMYSQL Version: 4.0.0.0 2022-12-26 14:11:58 [INFO] ObMySql(4.0.0.0) is older than 4.0 ? false 2022-12-26 14:11:58 [INFO] Load meta/obmysql/obmysql14x.xml, meta/obmysql/obmysql22x.xml, meta/obmysql/obmysql2271.xml, meta/obmysql/obmysql3230.xml, meta/obmysql/obmysql40x.xml successed 2022-12-26 14:11:58 [INFO] Query 0 dependencies elapsed 31.35 ms 2022-12-26 14:12:02 [INFO] ---------- Finished Tasks: 0 Running Tasks: 1 Progress: 0.00% ---------- 2022-12-26 14:12:03 [INFO] Query table: "test_tbl1" attr finished. Remain: 0 2022-12-26 14:12:03 [INFO] Query table: "test_tbl2" attr finished. Remain: 0 2022-12-26 14:12:03 [INFO] Query 2 tables elapsed 5.721 s 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireTablespaceMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireSequenceMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireSynonymMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireTypeMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireTypeBodyMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquirePackageMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquirePackageBodyMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireTriggerMapping() 2022-12-26 14:12:03 [WARN] c.o.t.l.s.o.ObMySqlDatabase does't implement acquireDatabaseLinkMapping() 2022-12-26 14:12:03 [INFO] Dump [TABLE] test_tbl1 to "/home/admin/test_migrate_data/ddl_data/data/test_data/TABLE/test_tbl1-schema.sql " finished 2022-12-26 14:12:03 [INFO] Dump [TABLE] test_tbl2 to "/home/admin/test_migrate_data/ddl_data/data/test_data/TABLE/test_tbl2-schema.sql " finished 2022-12-26 14:12:03 [INFO] No.1 It has dumped 2 TABLEs finished. Remain: 0 2022-12-26 14:12:03 [INFO] Total dumped 2 TABLEs finished. Elapsed: 5.818 s 2022-12-26 14:12:03 [INFO] Dump the ddl of schema: "test_data" finished 2022-12-26 14:12:04 [INFO] Close connection count: 24 of the DataSource. Key: xxx.xxx.xxx.xxx_11532_2105466567_test_data 2022-12-26 14:12:04 [INFO] Shutdown task context finished 2022-12-26 14:12:04 [INFO] ---------- Finished Tasks: 1 Running Tasks: 0 Progress: 100.00% ---------- 2022-12-26 14:12:04 [INFO] All Dump Tasks Finished: ---------------------------------------------------------------------------------------------------------------------------- No.# | Type | Name | Count | Status ---------------------------------------------------------------------------------------------------------------------------- 1 | TABLE | test_tbl1 | 1 | SUCCESS 2 | TABLE | test_tbl2 | 1 | SUCCESS ---------------------------------------------------------------------------------------------------------------------------- Total Count: 2 End Time: 2022-12-26 14:12:04 2022-12-26 14:12:04 [INFO] Dump schema finished. Total Elapsed: 6.076 s 2022-12-26 14:12:04 [INFO] Unnecessary to upload the data files to the remote cloud storage service 2022-12-26 14:12:04 [INFO] System exit 0エクスポートディレクトリ構造は以下のとおりです。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $tree /home/admin/test_migrate_data/ddl_data /home/admin/test_migrate_data/ddl_data ├── data │ ├── CHECKPOINT.bin │ ├── MANIFEST.bin │ └── test_data │ └── TABLE │ ├── test_tbl1-schema.sql │ └── test_tbl2-schema.sql └── logs ├── ob-loader-dumper.error ├── ob-loader-dumper.info └── ob-loader-dumper.warn 4 directories, 7 filesエクスポート結果ファイルを確認します。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $cat /home/admin/test_migrate_data/ddl_data/data/test_data/TABLE/test_tbl1-schema.sql create table if not exists `test_tbl1` ( `col1` int(11) not null, `col2` varchar(20), `col3` int(11), primary key (`col1`) ) default charset=utf8mb4 default collate=utf8mb4_general_ci;
DDL定義ファイルのインポート
シナリオの説明:クラスタtest4000のテナントmysql001にあるSchematest_dataから、サポートされているすべての定義情報を/home/admin/test_migrate_data/ddl_dataディレクトリにエクスポートし、クラスタtest4000のテナントmysql002のSchematest_dataにインポートします。
サンプルステートメントは以下のとおりです:
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin]
$./obloader -h xxx.xxx.xxx.xxx -P 2883 -u obloader_user01 -p ****** --sys-user root --sys-password ****** -c test4000 -t mysql002 -D test_data --ddl --all -f /home/admin/test_migrate_data/ddl_data
2022-12-26 14:31:47 [INFO] Parsed args:
[--ddl] true
[--file-path] /home/admin/test_migrate_data/ddl_data
[--host] xxx.xxx.xxx.xxx
[--port] 2883
[--user] obloader_user01
[--tenant] mysql002
[--cluster] test4000
[--password] ******
[--database] test_data
[--sys-user] root
[--sys-password] ******
[--all] true
2022-12-26 14:31:47 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2022-12-26 14:31:48 [INFO] The manifest file: "/home/admin/test_migrate_data/ddl_data/data/MANIFEST.bin" has been saved
2022-12-26 14:31:48 [INFO] Init writer thread pool finished
2022-12-26 14:31:48 [WARN] The object type : "SEQUENCE" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "TABLE_GROUP" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [INFO] Start 128 schema file loader threads successed
2022-12-26 14:31:48 [INFO] No.1 sql of the file: "/home/admin/test_migrate_data/ddl_data/data/test_data/TABLE/test_tbl2-schema.sql" exec success. Elapsed: 127.1 ms
2022-12-26 14:31:48 [INFO] Load file: "test_tbl2-schema.sql" succeeded
2022-12-26 14:31:48 [INFO] No.1 sql of the file: "/home/admin/test_migrate_data/ddl_data/data/test_data/TABLE/test_tbl1-schema.sql" exec success. Elapsed: 177.2 ms
2022-12-26 14:31:48 [INFO] Load file: "test_tbl1-schema.sql" succeeded
2022-12-26 14:31:48 [WARN] The object type : "VIEW" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "FUNCTION" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "PROCEDURE" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "TRIGGER" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "PACKAGE" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "TYPE" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "PACKAGE_BODY" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "TYPE_BODY" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "SYNONYM" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "PUBLIC_SYNONYM" doesn't exist in the -schema.sql files
2022-12-26 14:31:48 [WARN] The object type : "FILE" doesn't exist in the -schema.sql files
2022-12-26 14:31:49 [INFO] Close connection count: 1 of the DataSource. Key: xxx.xxx.xxx.xxx_11532_528891866_test_data
2022-12-26 14:31:49 [INFO] Shutdown task context finished
2022-12-26 14:31:49 [INFO] ---------- Finished Tasks: 2 Running Tasks: 0 Progress: 100.00% ----------
2022-12-26 14:31:49 [INFO]
All Load Tasks Finished:
----------------------------------------------------------------------------------------------------------------------------
No.# | Type | Name | Count | Status
----------------------------------------------------------------------------------------------------------------------------
1 | TABLE | test_tbl1 | 1 -> 1 | SUCCESS
2 | TABLE | test_tbl2 | 1 -> 1 | SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 2 End Time: 2022-12-26 14:31:49
2022-12-26 14:31:49 [INFO] Load schema finished. Total Elapsed: 1.073 s
2022-12-26 14:31:49 [INFO] System exit 0
テーブルデータの移行
以下では、CSVデータファイルのエクスポートとインポートを例に、obdumperとobloaderを使用したテーブルデータの移行方法を説明します。
CSVデータファイルのエクスポート
ファイルタイプの定義:CSVデータファイル(拡張子名.csv)は、カンマ区切り値ファイル形式であり、CSVデータファイルはテキスト形式でテーブルデータを格納しており、テキストエディタなどのツールやExcelで開くことができます。
シナリオの説明:クラスタtest4000のテナントmysql001内のスキーマtest_dataから、サポートされているすべてのオブジェクトのデータをCSV形式で/home/admin/test_migrate_data/csv_dataディレクトリにエクスポートします。
サンプルステートメントは以下のとおりです。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $./obdumper -h xxx.xxx.xxx.xxx -P 2883 -u obdumper_user01 -p ****** -c test4000 -t mysql001 -D test_data --sys-user root --sys-password ****** --csv --table '*' -f /home/admin/test_migrate_data/csv_data 2022-12-26 14:51:18 [INFO] Parsed args: [--csv] true [--file-path] /home/admin/test_migrate_data/csv_data [--host] xxx.xxx.xxx.xxx [--port] 2883 [--user] obdumper_user01 [--tenant] mysql001 [--cluster] test4000 [--password] ****** [--database] test_data [--sys-user] root [--sys-password] ****** [--table] [*] 2022-12-26 14:51:18 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished 2022-12-26 14:51:18 [INFO] The manifest file: "/home/admin/test_migrate_data/csv_data/data/MANIFEST.bin" has been saved 2022-12-26 14:51:18 [INFO] Query column metadata for the table: "test_tbl1" finished 2022-12-26 14:51:18 [INFO] Query column metadata for the table: "test_tbl2" finished 2022-12-26 14:51:18 [INFO] Query partition names for table: "test_tbl1" success. (Non-partitioned) 2022-12-26 14:51:18 [INFO] Query partition names for table: "test_tbl2" success. (Non-partitioned) 2022-12-26 14:51:18 [INFO] Query primary key for table: "test_tbl1" success. Elapsed: 12.14 ms 2022-12-26 14:51:18 [INFO] Query primary key for table: "test_tbl2" success. Elapsed: 12.24 ms 2022-12-26 14:51:18 [INFO] Query table entry for table: "test_tbl1" success. Remain: 0. Elapsed: 2.868 ms 2022-12-26 14:51:18 [INFO] Query table entry for table: "test_tbl2" success. Remain: 0. Elapsed: 2.868 ms 2022-12-26 14:51:18 [INFO] Query all table entries success. Total: 2. Elapsed: 61.20 ms 2022-12-26 14:51:18 [INFO] ....Splitting rows for non-partitioned table: "test_tbl1" success. Batch: 1 2022-12-26 14:51:18 [INFO] ....Splitting rows for non-partitioned table: "test_tbl2" success. Batch: 1 2022-12-26 14:51:18 [INFO] Split rows for non-partitioned table(with primary key): "test_tbl2" success. Ranges: 1. Elapsed: 38.42 ms 2022-12-26 14:51:18 [INFO] Split rows for non-partitioned table(with primary key): "test_tbl1" success. Ranges: 1. Elapsed: 38.57 ms 2022-12-26 14:51:18 [INFO] Generate 2 dump tasks finished. Total Elapsed: 53.46 ms 2022-12-26 14:51:18 [INFO] Start 128 record dump threads for 2 dump tasks finished 2022-12-26 14:51:18 [INFO] Dump 5 rows test_data.test_tbl2 to "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl2.1.*.csv" finished 2022-12-26 14:51:18 [INFO] Dump 5 rows test_data.test_tbl1 to "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl1.1.*.csv" finished 2022-12-26 14:51:19 [INFO] Close connection count: 12 of the DataSource. Key: xxx.xxx.xxx.xxx_11532_2105466567_test_data 2022-12-26 14:51:20 [INFO] Shutdown task context finished 2022-12-26 14:51:20 [INFO] ---------- Finished Tasks: 2 Running Tasks: 0 Progress: 100.00% ---------- 2022-12-26 14:51:20 [INFO] All Dump Tasks Finished: ---------------------------------------------------------------------------------------------------------------------------- No.# | Type | Name | Count | Status ---------------------------------------------------------------------------------------------------------------------------- 1 | TABLE | test_tbl1 | 5 | SUCCESS 2 | TABLE | test_tbl2 | 5 | SUCCESS ---------------------------------------------------------------------------------------------------------------------------- Total Count: 10 End Time: 2022-12-26 14:51:20 2022-12-26 14:51:20 [INFO] Unnecessary to merge the data files. As --file-name is missing 2022-12-26 14:51:20 [INFO] Dump record finished. Total Elapsed: 1.206 s 2022-12-26 14:51:20 [INFO] Unnecessary to upload the data files to the remote cloud storage service 2022-12-26 14:51:20 [INFO] System exit 0エクスポートディレクトリ構造は以下のとおりです。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $tree /home/admin/test_migrate_data/csv_data /home/admin/test_migrate_data/csv_data ├── data │ ├── CHECKPOINT.bin │ ├── MANIFEST.bin │ └── test_data │ └── TABLE │ ├── test_tbl1.1.0.csv │ └── test_tbl2.1.0.csv └── logs ├── ob-loader-dumper.error ├── ob-loader-dumper.info └── ob-loader-dumper.warn 4 directories, 7 filesエクスポート結果ファイルを確認します。
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin] $cat /home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl1.1.0.csv 'col1','col2','col3' 1,'China',86 2,'Taiwan',886 3,'Hong Kong',852 4,'Macao',853 5,'North Korea',850
CSVデータファイルのインポート
シナリオの説明:クラスタtest4000のテナントmysql001にあるスキーマtest_dataから、サポートされているすべてのCSVデータファイルを/home/admin/test_migrate_data/csv_dataディレクトリにエクスポートし、クラスタtest4000のテナントmysql002のスキーマtest_dataにインポートします。
サンプル文は以下のとおりです:
[xxx@xxx /ob-loader-dumper-4.0.0-RELEASE/bin]
$./obloader -h xxx.xxx.xxx.xxx -P 2883 -u obloader_user01 -p ****** --sys-user root --sys-password ****** -c test4000 -t mysql002 -D test_data --csv --table '*' -f /home/admin/test_migrate_data/csv_data
2022-12-26 14:52:55 [INFO] Parsed args:
[--csv] true
[--file-path] /home/admin/test_migrate_data/csv_data
[--host] xxx.xxx.xxx.xxx
[--port] 2883
[--user] obloader_user01
[--tenant] mysql002
[--cluster] test4000
[--password] ******
[--database] test_data
[--sys-user] root
[--sys-password] ******
[--table] [*]
2022-12-26 14:52:55 [INFO] Load jdbc driver class: "com.oceanbase.jdbc.Driver" finished
2022-12-26 14:52:55 [INFO] The manifest file: "/home/admin/test_migrate_data/csv_data/data/MANIFEST.bin" has been saved
2022-12-26 14:52:55 [INFO] Query column metadata for the table: "test_tbl1" finished
2022-12-26 14:52:55 [INFO] Query column metadata for the table: "test_tbl2" finished
2022-12-26 14:52:55 [INFO] File: "/home/admin/test_migrate_data/csv_data/data/CHECKPOINT.bin" is unmatched on the suffix[.csv], ignore it
2022-12-26 14:52:55 [INFO] File: "/home/admin/test_migrate_data/csv_data/data/MANIFEST.bin" is unmatched on the suffix[.csv], ignore it
2022-12-26 14:52:55 [INFO] Binding table: "test_tbl2" to the file: "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl2.1.0.csv" finished
2022-12-26 14:52:55 [INFO] Binding table: "test_tbl1" to the file: "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl1.1.0.csv" finished
2022-12-26 14:52:55 [INFO] Splitted 2 csv subfiles by 64.0 MB. Elapsed: 19.43 ms
2022-12-26 14:52:55 [INFO] Generate 2 subfiles finished
2022-12-26 14:52:55 [INFO] Ignore to clean any tables as --truncate-table or --delete-from-table is not specified
2022-12-26 14:52:55 [INFO] Query table entry and primary key for table: "test_tbl2" finished. Remain: 1
2022-12-26 14:52:55 [INFO] Query table entry and primary key for table: "test_tbl1" finished. Remain: 0
2022-12-26 14:52:55 [INFO] Query the leader location of "test_tbl2" finished. Remain: 0
2022-12-26 14:52:55 [INFO] Query the leader location of "test_tbl1" finished. Remain: 0
2022-12-26 14:52:55 [INFO] Calculate leader: xxx.xxx.xxx.xxx:2881 of table: "test_tbl1", part: 0. Remain: 1
2022-12-26 14:52:55 [INFO] Calculate leader: xxx.xxx.xxx.xxx:2881 of table: "test_tbl2", part: 0. Remain: 0
2022-12-26 14:52:55 [INFO] Waiting to refresh observer load status ......
2022-12-26 14:52:55 [INFO] Refresh observer load status success. Table: "test_tbl1". Remain: 1
2022-12-26 14:52:55 [INFO] Refresh observer load status success. Table: "test_tbl2". Remain: 0
2022-12-26 14:52:55 [INFO] Refresh observer load status finished. Elapsed: 29.35 ms
2022-12-26 14:52:55 [INFO] Use c.l.d.PhasedBackoffWaitStrategy as available cpu(s) is 64
2022-12-26 14:52:55 [INFO] Create 4096 slots for ring buffer finished. [xxx.xxx.xxx.xxx:2881]
2022-12-26 14:52:56 [INFO] Start 128 database writer threads finished. [xxx.xxx.xxx.xxx:2881]
2022-12-26 14:52:56 [INFO] Start 128 csv file reader threads successed
2022-12-26 14:52:56 [INFO] File: "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl1.1.0.csv" has been parsed finished
2022-12-26 14:52:56 [INFO] File: "/home/admin/test_migrate_data/csv_data/data/test_data/TABLE/test_tbl2.1.0.csv" has been parsed finished
2022-12-26 14:52:57 [INFO] Wait for the all the workers to drain of published events then halt the workers
2022-12-26 14:52:57 [INFO] Close connection count: 36 of the DataSource. Key: xxx.xxx.xxx.xxx_11532_528891866_test_data
2022-12-26 14:52:57 [INFO] Shutdown task context finished
2022-12-26 14:52:57 [INFO] ---------- Finished Tasks: 2 Running Tasks: 0 Progress: 100.00% ----------
2022-12-26 14:52:57 [INFO]
All Load Tasks Finished:
----------------------------------------------------------------------------------------------------------------------------
No.# | Type | Name | Count | Status
----------------------------------------------------------------------------------------------------------------------------
1 | TABLE | test_tbl1 | 5 -> 5 | SUCCESS
2 | TABLE | test_tbl2 | 5 -> 5 | SUCCESS
----------------------------------------------------------------------------------------------------------------------------
Total Count: 10 End Time: 2022-12-26 14:52:57
2022-12-26 14:52:57 [INFO] Load record finished. Total Elapsed: 1.973 s
2022-12-26 14:52:57 [INFO] System exit 0