OceanBaseデータベースの増分データをPostgreSQLデータベースに移行する

OceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）からPostgreSQLデータベースへのデータ移行タスクを新規作成し、ソースデータベースの増分データをターゲットデータベースにシームレスに移行できます。

前提条件

• ソース側のOceanBaseデータベースのクラスタとテナントが作成済みであること。詳細については、インスタンスの作成および新規テナントの作成をご参照ください。

• ターゲット側のデータベースインスタンスが作成済みであること。

• ソース側とターゲット側に、データ移行専用のデータベースユーザーを作成し、関連する権限を付与していること。詳細については、ユーザー権限の説明をご参照ください。

使用上の制限

• データ移行タスクを新規作成できるのは、プロジェクトロールが プロジェクトオーナー、プロジェクト管理者、または データサービス管理者 のユーザーのみです。

• 現在、データ移行はPostgreSQLデータベースのV10.x、V11.x、V12.x、V13.x、およびOceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）のV2.x、V3.x、V4.xをサポートしています。

• データ移行サービスは、ASCIIコードで表記され、特殊文字（.|"'`()=;/& および改行文字を含む）を含まないデータベース名、テーブル名、列名のオブジェクトの移行のみをサポートします。

• データ移行サービスは、ターゲット側にトリガー（Trigger）が存在する場合をサポートしていません。トリガーが存在すると、データ移行が失敗する可能性があります。

注意事項

• 主キーのないテーブルの増分同期シナリオにおいて、UPDATEおよびDELETE操作でフルカラムマッチング方式を使用してデータを移行すると、以下の問題が発生する可能性があります。

  • パフォーマンスの問題が発生する可能性があります。

    主キーインデックスが欠けているため、更新および削除操作は毎回、テーブル全体のスキャン後に実行されます。

  • データの一貫性の問題が発生する可能性があります。

    更新および削除操作はPostgreSQLではLIMIT構文をサポートしていないため、フルカラムマッチングで複数のデータがヒットした場合、ターゲット側に更新または削除されるデータが意図したものより多くなる可能性があります。例えば、主キーのないテーブルt1にc1とc2の2列があり、ソース側にc1=1とc2=2のデータが2件存在します。ソース側でそのうちの1件のデータを削除する際、マッチ条件が where c1 = 1 and c2 = 2 であるため、ターゲット側のc1=1とc2=2の2件のデータがすべて削除され、ソース側とターゲット側のデータが一致しなくなる可能性があります。

• tsvector型のフィールドをPostgreSQLデータベースに移行する際、OceanBaseデータベースに対応するフィールドに書き込むデータは、tsvector形式に準拠している必要があります。例：

  • OceanBaseデータベースに 'a b c' を書き込むと、RDS PostgreSQLインスタンスでは "'a' 'b' 'c'" に変換されます。

  • OceanBaseデータベースに 'a:1 b:2 c:3' を書き込むと、RDS PostgreSQLインスタンスでは "'a':1 'b':2 'c':3" に変換されます。

  OceanBaseデータベースに非tsvector形式のデータ "'a':cccc" を書き込むと、RDS PostgreSQLインスタンスでの書き込みが異常となり、失敗します。tsvector形式の詳細については、PostgreSQL公式ドキュメントをご参照ください。

• OceanBaseデータベースをソース側として増分同期を行う場合、データベーステーブルオブジェクトにUDT列が含まれていると、UDT列をサポートしていないため、増分同期タスクが異常終了する可能性があります。

サポートされているソース側およびターゲット側のインスタンスタイプ

データ型のマッピング

• OceanBaseデータベースのMySQL互換モードからPostgreSQLデータベースへのデータ型マッピング

  OceanBaseデータベース MySQL互換モード	PostgreSQLデータベース
  TINYINT	SMALLINT
  BOOLEAN	BOOLEAN
  SMALLINT	SMALLINT
  SMALLINT UNSIGNED	INTEGER
  MEDIUMINT	INTEGER
  INTEGER/INT	INTEGER
  INTEGER UNSIGNED	BIGINT
  BIGINT	BIGINT
  DECIMAL(M,D) DECIMAL	NUMERIC(M,D) NUMERIC(10,0) DECIMALのMの最大値は65、Dの最大値は30です。Dを省略した場合、デフォルトで0となります。Mを省略した場合、デフォルトで10となります。
  NUMERIC(M,D)	NUMERIC(M,D)
  NUMERIC	NUMERIC(10,0)
  FLOAT(p)	p < 25 の場合、FLOATに変換します P >= 25 の場合、DOUBLE PRECISIONに変換します
  DOUBLE	DOUBLE PRECISION
  BIT	BIT VARYING(1)
  BIT(n)	BIT VARYING(n)
  DATE	DATE
  DATETIME DATETIME(6) デフォルトは0、範囲は[0,6]	TIMESTAMP TIMESTAMP(6)
  TIMESTAMP	TIMESTAMP WITH TIME ZONE
  TIMESTAMP(p)	TIMESTAMP(p) WITH TIME ZONE
  TIME(p)	TIME(p)
  YEAR	INTEGER
  CHAR	CHAR(n CHAR)
  VARCHAR	VARCHAR(n)
  BINARY	BYTEA
  VARBINARY	BYTEA
  TINYBLOB	TEXT
  BLOB	TEXT
  MEDIUMBLOB	TEXT
  LONGBLOB	TEXT
  TINYTEXT	TEXT
  TEXT	TEXT
  MEDIUMTEXT	TEXT
  LONGTEXT	TEXT
  ENUM	VARCHAR
  SET	VARCHAR
  JSON	JSON

• OceanBaseデータベースのOracle互換モードからPostgreSQLデータベースへのデータ型マッピング

  分類	OceanBaseデータベース Oracle互換モード	PostgreSQLデータベース
  数値型	NUMBER(p,s)	NUMBER(p,s)
  	NUMBER	NUMERIC
  	FLOAT(P)	FLOAT(P)
  	BINARY_FLOAT	REAL
  	BINARY_DOUBLE	DOUBLE PRECISION
  文字列型	CHAR(n)	CHAR(n)
  	NCHAR(n)	CHAR (n)
  	NVARCHAR2(n)	VARCHAR (n)
  	VARCHAR2(n)	VARCHAR (n)
  	VARCHAR(n)	VARCHAR (n)
  日付時刻型	DATE	TIMESTAMP
  	TIMESTAMP	TIMESTAMP(6)
  	TIMESTAMP(n)	n ≥ 6 の場合は TIMESTAMP(6) に変換し、それ以外の場合は TIMESTAMP(n) に変換します。
  	TIMESTAMP WITH TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH TIME ZONE	n ≥ 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換し、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します。
  	TIMESTAMP WITH LOCAL TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH LOCAL TIME ZONE	n ≥ 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換し、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します。
  バイナリ型	RAW(n)	VARCHAR(n)
  行識別子型	ROWID	CHAR(18)
  	UROWID	VARCHAR(18)
  BLOB型	BLOB	BYTEA
  	CLOB	TEXT
  JSON型	JSON	JSON

操作手順

1. データ移行タスクを新規作成します。

   

   1. OB Cloudデータベースコンソールにログインします。

   2. 左側のナビゲーションペインで、データサービス > データ移行 をクリックします。

   3. データ移行 ページで、データ移行 タブをクリックします。

   4. データ移行 タブで、右上の タスクを作成する をクリックします。

2. タスク名を編集するテキストボックスに、カスタムの移行タスク名を入力します。

   中国語、数字、英字の組み合わせを使用することを推奨します。名前にはスペースを含めず、長さは64文字を超えないようにしてください。

3. ソースとターゲットを設定する ページで、各パラメータを設定します。

   1. ソース セクションで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、ソース の右側にある クイックフィル をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択完了後、ソースエリアの各設定は自動的に入力されます。現在の設定を新しいデータソースとして保存する場合は、ソース エリアの右上にある 保存 アイコンをクリックしてください。

      クイックフィル のドロップダウンリストで データソースの管理 をクリックすると、データソース ページに移動し、データソースの表示・管理ができます。この記事では異なる種類のデータソースを一元的に管理できます。詳細については、データソースモジュールのドキュメントをご参照ください。

      パラメータ	説明
      クラウドプロバイダー	現在、AWS、Huawei Cloud、テンセント・クラウド、および Alibaba Cloud をサポートしています。
      データベースタイプ	実際の状況に応じて、ソースデータベースタイプを OceanBase MySQL Compatible または OceanBase Oracle Compatible に選択します。
      インスタンスタイプ	クラスタインスタンス（トランザクション） と オンプレデータベース が含まれます。
      リージョン	ソースデータベースのリージョンを選択します。
      接続タイプ	エンドポイント と パブリックIP が含まれます。 エンドポイント 接続方式を選択した場合は、ページに表示されているアカウントIDをエンドポイントサービスのホワイトリストに追加し、そのアカウントのエンドポイントがエンドポイントサービスに接続できるようにする必要があります。詳細については、プライベートネットワーク接続の選択モジュールのドキュメントをご参照ください。 パブリックIP 接続方式を選択した場合は、ページに表示されているデータソースIPアドレスをOceanBaseデータベースインスタンスのホワイトリストに追加し、接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択モジュールのドキュメントをご参照ください。 説明 インスタンスタイプがオンプレミスデータベースのみを選択した場合にこのパラメータが表示されます。ソースとターゲットのリージョンを選択すると、ページにはホワイトリストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	インスタンスタイプがオンプレミスデータベースのみを選択した場合にこのパラメータが表示されます。 接続タイプ を エンドポイント に設定した場合は、エンドポイントサービス名を入力してください。 接続タイプ を パブリックネットワーク接続 に設定した場合は、データベースホストのIPアドレスとポート番号を入力してください。
      インスタンス	OceanBaseデータベースが存在するインスタンスのIDまたは名前です。インスタンス ページで、ターゲットインスタンスのIDまたは名前を確認できます。 説明 クラウドプロバイダーがAlibaba Cloudの場合、アカウント間認証をサポートするAlibaba Cloudのメインアカウントインスタンスの選択も可能です。詳細については、Alibaba Cloudアカウント認証をご参照ください。
      テナント	OceanBaseデータベースのテナントIDまたは名前です。インスタンス ページで、ターゲットインスタンスを展開し、そのインスタンス下のターゲットテナントのIDまたは名前を確認できます。
      データベースアカウント	データ移行用のOceanBaseデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

      インスタンスタイプ を オンプレデータベース に選択した場合、実際の状況に応じて詳細設定を行うかどうかを決定できます。

      注意

      新規作成する移行タスクで増分同期が必要な場合は、sysテナントアカウントと増分ログプロキシサービスを同時に有効にしてください。

      パラメータ	説明
      sysテナントアカウント	sysテナントアカウントを有効にした場合、sysアカウントとパスワードを入力する必要があります。 システムアカウント：sysユーザーの名前です。このユーザーは主にOceanBaseデータベースの増分ログとデータベースオブジェクト構造情報の読み取りに使用されます。業務クラスタのsysテナント内に作成してください。 パスワード：sysユーザーのパスワード。
      増分ログプロキシサービス	増分ログプロキシサービスを有効にした場合、**OBLogProxy接続情報**を入力する必要があります。このパラメータはOceanBaseデータベースの増分ログプロキシサービスであり、サービスとしてリアルタイムの増分プロジェクトの介入と管理機能を提供し、アプリケーションがOceanBaseデータベースの増分ログに介入することを容易にします。同時に、ネットワークが分離されている状況でも、増分ログのサブスクリプションニーズを解決できます。形式は OBLogProxy IP：OBLogProxy Port です。

   2. **ターゲット**エリアで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、**ターゲットの右側にある クイックフィル をクリックし、ドロップダウンリストからターゲットデータソースを選択します。選択完了後、ターゲット側エリアの各設定は自動的に入力されます。現在の設定を新しいデータソースとして保存する場合、ターゲット**エリアの右上にある 保存 アイコンをクリックしてください。

      また、クイックフィル のドロップダウンリストで データソースの管理 をクリックすると、**データソース**ページに移動し、データソースの表示・管理ができます。この記事では異なる種類のデータソースを一元的に管理できます。詳細については、データソースモジュールのドキュメントをご参照ください。

      パラメータ	説明
      クラウドベンダー	現在、AWS、ファーウェイ・クラウド、テンセント・クラウド、Alibaba Cloud をサポートしています。ソース側と同じクラウドベンダーを選択することも、異なるクラウドベンダー間でのデータ移行も可能です。 説明 現在、クラウドベンダー間のデータ移行機能はデフォルトで有効になっていません。この機能を使用する場合は、OB Cloudのテクニカルサポートにお問い合わせください。
      データベースタイプ	ターゲット側のデータベースタイプを PostgreSQL に選択します。
      インスタンスタイプ	クラウドベンダーを AWS に選択した場合、インスタンスタイプは RDS PostgreSQL、Aurora PostgreSQL、自構築 PostgreSQL をサポートします。 クラウドベンダーを Huawei Cloud に選択した場合、インスタンスタイプは RDS PostgreSQL と 自構築 PostgreSQL をサポートします。 クラウドベンダーを Tencent Cloud に選択した場合、インスタンスタイプは TencentDB for PostgreSQL と 自構築 PostgreSQL をサポートします。 クラウドベンダー を アリババクラウド に選択した場合、インスタンスタイプは RDS PostgreSQL と 自構築 PostgreSQL をサポートします。
      リージョン	ターゲット側データベースのリージョンを選択します。
      接続タイプ	エンドポイント と パブリックネットワーク接続 が含まれます。 エンドポイント 接続方式を選択した場合、ページに表示されているアカウントIDをエンドポイントサービスのホワイトリストに追加する必要があります。これにより、そのアカウントのエンドポイントがエンドポイントサービスに接続できるようになります。詳細については、プライベートネットワーク接続の選択モジュールのドキュメントをご参照ください。 クラウドベンダー を AWS に選択し、エンドポイントサービスの作成時にパラメータ エンドポイントの使用を許可する で 必要 を選択した場合、データ移行サービスが初めてプライベート接続にアクセスする際、AWSコンソールにアクセスし、受信した接続要求に対して エンドポイント接続要求の受け入れ 操作を行うよう求められます。 パブリックIP 接続方式を選択した場合、ページに表示されているデータソースIPアドレスをPostgreSQLデータベースインスタンスのホワイトリストに追加して接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択モジュールのドキュメントをご参照ください。 説明 ソース側とターゲット側のリージョンを選択すると、ページにホワイトリストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	接続タイプ を エンドポイント に選択した場合、エンドポイントサービス名を入力してください。 接続タイプ を パブリックIP に選択した場合、データベースホストのIPアドレスとポート番号を入力してください。
      Database Name	PostgreSQLデータベースの名前。
      データベースアカウント	データ移行用のPostgreSQLデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

4. **テストして続行**をクリックします。

   **タイプとオブジェクトを選択してください**ページで、各パラメータを設定します。

   説明

   現在、PostgreSQLデータベースのデータをOceanBaseデータベースのMySQL互換モードに移行する場合、片方向の同期のみをサポートしています。

   1. **移行タイプ**エリアで、現在のデータ移行タスクの移行タイプを選択します。

      現在、増分同期 のみがサポートされており、DML同期 と DDL同期 が含まれます。ニーズに応じてカスタマイズ設定できます。詳細は DML/DDLのカスタム設定をご参照ください。

   2. 移行対象を選択してください エリアで、移行対象の選択方法を設定します。

      オブジェクトの指定 と ルールによる一致 の 2 種類の方法で移行対象を選択できます。

      

   3. 移行範囲を選択してください エリアで、移行する対象を選択します。

      • オブジェクトの指定 を選択した場合、データ移行は データベースオブジェクト と データベース全体 をサポートします。データベーステーブル移行では、1 つまたは複数のデータベース内のテーブルやビューを移行対象として選択できます。データベース全体移行では、データベース全体を移行対象として選択できます。あるデータベースでデータベーステーブル移行を選択した場合、そのデータベースはデータベース全体移行をサポートしなくなります。あるデータベースでデータベース全体移行を選択した場合、そのデータベースはデータベーステーブル移行をサポートしなくなります。

        データベースオブジェクト または データベース全体 のいずれかの方法を選択した後、左側で移行する対象を選択し、> をクリックして右側のリストに追加します。

        データ移行は、テキストをインポートしてオブジェクトを追加することをサポートしており、ターゲット側のオブジェクトの名前変更、行フィルタリングの設定、列情報の表示、および単一またはすべての移行オブジェクトの削除などの操作もサポートしています。

        

        説明

        データベース全体移行 を選択した場合、右側のリストにはデータベース名のみが表示され、具体的なオブジェクトは表示されません。

        操作	説明
        オブジェクトのインポート	選択エリアの右側のリストで、右上の インポート対象 をクリックします。詳細は 移行オブジェクトのインポートをご参照ください。	\
        名前の変更	データ移行は移行オブジェクトの名前変更をサポートしています。詳細は データベースのテーブル名の変更をご参照ください。	\
        行のフィルタリング	データ移行は WHERE 条件を使用した行のフィルタリングをサポートしています。詳細は SQL条件でのデータフィルタリングをご参照ください。また、列を表示 エリアで、移行オブジェクトの列情報を確認できます。	\
        削除/すべてクリア	データ移行では、データマッピング時に、一時的にターゲット側に選択された単一または複数のオブジェクトを削除する操作をサポートしています。 単一の移行オブジェクトの削除 選択エリアの右側のリストで、対象オブジェクトの後ろにある 削除 アイコンをクリックすると、その移行オブジェクトを削除できます。 すべての移行オブジェクトの削除 選択エリアの右側のリストで、右上の すべてクリア をクリックします。ダイアログボックスで、確定 をクリックすると、すべての移行オブジェクトが削除されます。

      • マッチングルール を選択した場合、詳細は データベース間のマッチングルールの設定をご参照ください。

5. 次へ をクリックします。移行オプション ページで、増分同期の各パラメータを設定します。

   パラメータ	説明
   書き込み並列設定	このパラメータは、増分同期段階でターゲット側にデータを書き込む並列数を設定します。最大制限は 512 です。並列数が高すぎると、ターゲット側の負荷が過大になり、業務に影響を与える可能性があります。
   増分移行レートの制限	実際のニーズに応じて、増分同期レートの制限を有効にするかどうかを決定できます。有効にする場合は、ターゲット側の書き込み RPS（増分同期段階で毎秒ターゲット側に同期できるデータ行数の最大値の制限）とターゲット側の書き込み BPS（増分同期段階で毎秒ターゲット側に同期できるトラフィックの最大値の制限）を設定してください。 説明 ここで設定された RPS と BPS は、速度制限とトラフィック制限の能力としてのみ機能します。増分同期が実際に達成できる性能は、ソース側、ターゲット側、インスタンス仕様の設定などの要因の影響を受けます。
   増分同期開始時刻	移行タイプの選択時に 完全移行 を選択した場合、このパラメータは表示されません。 移行タイプの選択時に 全量移行 を選択せず、増分同期 を選択した場合は、特定の時間点以降のデータの移行を指定してください。デフォルトは現在のシステム時刻です。詳細は 増分同期時刻の設定をご参照ください。	\

6. 事前チェック をクリックすると、システムがデータ移行タスクの事前チェックを実行します。

   事前チェック の段階で、データ移行はデータベースユーザーの読み書き権限、データベースのネットワーク接続などが要件を満たしているかどうかをチェックします。すべてのチェック項目が合格した場合にのみ、データ移行タスクを開始できます。事前チェックでエラーが発生した場合：

   • 問題を調査・処理した後、事前チェックを再実行し、事前チェックが成功するまで繰り返すことができます。

   • 失敗した事前チェック項目の操作列にある スキップ をクリックすることもできます。これにより、この操作をスキップすることによる具体的な影響を示すダイアログボックスがポップアップ表示されます。スキップしてもよいことを確認したら、ダイアログボックス内の OK をクリックしてください。

7. 事前チェックが成功したら、購入 をクリックし、データ移行インスタンスを購入する ページで購入を行います。

   ご購入後、データ移行タスクを開始できます。購入の詳細については、データ移行インスタンスの購入をご参照ください。データ移行インスタンスの購入が一時的に不要な場合は、保存 をクリックし、データ移行タスクの詳細ページに移動してください。その後、必要に応じて手動で購入することができます。

   データ移行の詳細ページの右上にある 検証タスクの設定 をクリックすると、ソースデータベースとターゲットデータベースのデータ差異を比較できます。詳細については、データ検証タスクの作成をご参照ください。

   データ移行サービスでは、データ移行タスクの実行中に移行オブジェクトを変更できます。詳細については、移行オブジェクトの表示と変更をご参照ください。データ移行タスクが開始されると、選択した移行タイプに従って順次実行されます。詳細については、データ移行タスクの詳細を見る の「移行の詳細を見る」モジュールの内容をご参照ください。