OceanBaseデータベースの増分データをPostgreSQLデータベースに移行する

OceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）からPostgreSQLデータベースへのデータ移行タスクを新規作成し、ソースデータベースの増分データをターゲットデータベースにシームレスに移行できます。

前提条件

• ソース側のOceanBaseデータベースのクラスタとテナントを作成済みであること。詳細については、インスタンスの作成および新規テナントの作成を参照してください。

• ターゲット側のデータベースインスタンスを作成済みであること。

• ソース側とターゲット側に、データ移行専用のデータベースユーザーを作成し、関連する権限を付与していること。詳細については、ユーザー権限の説明を参照してください。

制限事項

• プロジェクトのロールが プロジェクト所有者、プロジェクト管理者、または データサービス管理者 のいずれかであるユーザーのみが、新しいデータ移行タスクを作成できます。

• ソースデータベースの操作制限

  構造移行およびフル移行段階では、データベースまたはテーブル構造を変更するDDL操作を実行しないでください。そうしないと、データ移行タスクが中断する可能性があります。

• 現在、データ移行はPostgreSQLデータベースV10.x、V11.x、V12.x、V13.x、およびOceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）V2.x、V3.x、V4.xをサポートしています。

• データ移行サービスは、ASCIIコードで表され、特殊文字（.|"'`()=;/& および改行を含む）を含まないオブジェクト（データベース名、テーブル名、列名）の移行のみをサポートします。

• データ移行サービスは、ターゲット側にトリガー（Trigger）が存在する場合をサポートしていません。トリガーが存在すると、データ移行が失敗する可能性があります。

注意点

• 主キーのないテーブルの増分同期シナリオにおいて、UPDATEおよびDELETEが全列マッチング方式でデータを移行する場合、以下の問題が発生する可能性があります。

  • パフォーマンスの問題が発生する可能性があります。

    主キーインデックスが欠けているため、更新（UPDATE）および削除（DELETE）操作は、毎回テーブル全体のスキャン後に実行されます。

  • データの一貫性の問題が発生する可能性があります。

    更新（UPDATE）および削除（DELETE）操作はPostgreSQLではLIMIT構文をサポートしていないため、全列マッチングで複数のデータがヒットした場合、ターゲット側に更新または削除されるデータが意図したものより多くなる可能性があります。例えば、主キーのないテーブルt1にc1とc2の2列があり、ソース側にc1=1 と c2=2 のデータが2件ある場合、ソース側でそのうちの1件のデータを削除すると、マッチ条件が where c1 = 1 and c2 = 2 であるため、ターゲット側のc1=1 と c2=2 の2件のデータがすべて削除され、ソース側とターゲット側のデータが一致しなくなります。

• tsvector型フィールドをPostgreSQLデータベースに移行する際、OceanBaseデータベースに対応するフィールドのデータを書き込む際は、tsvectorの形式に準拠する必要があります。例：

  • OceanBaseデータベースで 'a b c' をRDS PostgreSQLインスタンスに書き込むと、"'a' 'b' 'c'" に変換されます。

  • OceanBaseデータベースで 'a:1 b:2 c:3' をRDS PostgreSQLインスタンスに書き込むと、"'a':1 'b':2 'c':3" に変換されます。

  • OceanBaseデータベースで非tsvector形式のデータ "'a':cccc" を書き込むと、RDS PostgreSQLインスタンスでの書き込みが異常となり、失敗します。tsvector形式の詳細については、PostgreSQL公式ドキュメントを参照してください。

サポートされているソースおよびターゲットインスタンスの種類

データ型のマッピング

• OceanBaseデータベースのMySQL互換モードからPostgreSQLデータベースへのデータ型マッピング

  OceanBaseデータベースのMySQL互換モード	PostgreSQLデータベース
  TINYINT	SMALLINT
  BOOLEAN	BOOLEAN
  SMALLINT	SMALLINT
  SMALLINT UNSIGNED	INTEGER
  MEDIUMINT	INTEGER
  INTEGER/INT	INTEGER
  INTEGER UNSIGNED	BIGINT
  BIGINT	BIGINT
  DECIMAL(M,D) DECIMAL	NUMERIC(M,D) NUMERIC(10,0) DECIMALのMの最大値は65、Dの最大値は30です。Dを省略した場合、デフォルトで0になります。Mを省略した場合、デフォルトで10になります。
  NUMERIC(M,D)	NUMERIC(M,D)
  NUMERIC	NUMERIC(10,0)
  FLOAT(p)	p < 25 の場合、FLOATに変換されます P >= 25 の場合、DOUBLE PRECISIONに変換されます
  DOUBLE	DOUBLE PRECISION
  BIT	BIT VARYING(1)
  BIT(n)	BIT VARYING(n)
  DATE	DATE
  DATETIME DATETIME(6) デフォルトは0、範囲は[0,6]です。	TIMESTAMP TIMESTAMP(6)
  TIMESTAMP	TIMESTAMP WITH TIME ZONE
  TIMESTAMP(p)	TIMESTAMP(p) WITH TIME ZONE
  TIME(p)	TIME(p)
  YEAR	INTEGER
  CHAR	CHAR(n CHAR)
  VARCHAR	VARCHAR(n)
  BINARY	BYTEA
  VARBINARY	BYTEA
  TINYBLOB	TEXT
  BLOB	TEXT
  MEDIUMBLOB	TEXT
  LONGBLOB	TEXT
  TINYTEXT	TEXT
  TEXT	TEXT
  MEDIUMTEXT	TEXT
  LONGTEXT	TEXT
  ENUM	VARCHAR
  SET	VARCHAR
  JSON	JSON

• OceanBaseデータベースのOracle互換モードからPostgreSQLデータベースへのデータ型マッピング

  分類	OceanBaseデータベース Oracle互換モード	PostgreSQLデータベース
  数値型	NUMBER(p,s)	NUMBER(p,s)
  	NUMBER	NUMERIC
  	FLOAT(P)	FLOAT(P)
  	BINARY_FLOAT	REAL
  	BINARY_DOUBLE	DOUBLE PRECISION
  文字列型	CHAR(n)	CHAR(n)
  	NCHAR(n)	CHAR (n)
  	NVARCHAR2(n)	VARCHAR (n)
  	VARCHAR2(n)	VARCHAR (n)
  	VARCHAR(n)	VARCHAR (n)
  日付時刻型	DATE	TIMESTAMP
  	TIMESTAMP	TIMESTAMP(6)
  	TIMESTAMP(n)	n >= 6 の場合は TIMESTAMP(6) に変換、それ以外の場合は TIMESTAMP(n) に変換します。
  	TIMESTAMP WITH TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH TIME ZONE	n >= 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します。
  	TIMESTAMP WITH LOCAL TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH LOCAL TIME ZONE	n >= 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します。
  バイナリ型	RAW(n)	VARCHAR(n)
  行識別子型	ROWID	CHAR(18)
  	UROWID	VARCHAR(18)
  BLOB型	BLOB	BYTEA
  	CLOB	TEXT
  JSON型	JSON	JSON

手順

1. データ移行タスクを新規作成します。

   

   1. OB Cloudデータベースコンソールにログインします。

   2. 左側のナビゲーションバーで、データサービス > データ移行 をクリックします。

   3. データ移行 ページで、データ移行 タブをクリックします。

   4. データ移行 タブで、右上の 移行タスクの新規作成 をクリックします。

2. タスク名を編集するテキストボックスに、カスタムの移行タスク名を入力します。

   数字と英字の組み合わせを使用することを推奨します。名前にはスペースを含めることができず、長さは64文字を超えてはなりません。

3. ソースとターゲットの設定 ページで、各パラメータを設定します。

   1. ソース側 セクションで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、ソース側 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択後、ソース側の各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する場合、ソース側 セクションの右上にある 保存 アイコンをクリックします。

      データソースの参照 のドロップダウンリストで データソース管理 をクリックすると、データソース ページに移動し、データソースの表示や管理を行えます。このページでは異なる種類のデータソースを一元的に管理します。詳細については、データソースモジュールのドキュメントを参照してください。

      パラメータ	説明
      クラウドプロバイダ	現在 AWS、Huawei Cloud、Tencent Cloud、および Alibaba Cloud をサポートしています。
      データベースタイプ	実際の状況に応じて、ソースデータベースタイプを OceanBase MySQL Compatible または OceanBase Oracle Compatible に設定します。
      インスタンスタイプ	クラスタインスタンス（トランザクション型） と 自己構築データベース が含まれます。
      リージョン	ソースデータベースのリージョンを選択します。
      接続タイプ	エンドポイント と パブリックネットワーク接続 が含まれます。 エンドポイント 接続方式を選択した場合は、ページに表示されているアカウントIDをエンドポイントサービスのホワイトリストに追加し、そのアカウントのエンドポイントがエンドポイントサービスに接続できるようにする必要があります。詳細については、プライベートネットワーク接続の選択モジュールのドキュメントを参照してください。 パブリックネットワーク接続 接続方式を選択した場合は、ページに表示されているデータソースIPアドレスをOceanBaseデータベースインスタンスのホワイトリストに追加し、接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択モジュールのドキュメントを参照してください。 説明 このパラメータは、インスタンスタイプがオンプレミスデータベースのみを選択した場合に表示されます。ソース側とターゲット側のリージョンを選択すると、ページにはホワイトリストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	インスタンスタイプがオンプレミスデータベースのみを選択した場合に表示されます。 接続タイプ を エンドポイント として選択した場合は、エンドポイントサービス名を入力してください。 接続タイプ を パブリックネットワーク接続 として選択した場合は、データベースホストのIPアドレスとポート番号を入力してください。
      インスタンス	OceanBaseデータベースが配置されているインスタンスのIDまたは名前です。インスタンス ページで、ターゲットインスタンスのIDまたは名前を確認できます。 説明 クラウドプロバイダがAlibaba Cloudの場合、アカウント間認証をサポートするAlibaba Cloudのメインアカウントインスタンスの選択も可能です。詳細については、Alibaba Cloudアカウント認証を参照してください。
      テナント	OceanBaseデータベーステナントのIDまたは名前です。インスタンス ページで、ターゲットインスタンスを展開し、そのインスタンス下のターゲットテナントのIDまたは名前を確認できます。
      データベースアカウント	データ移行用のOceanBaseデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

      インスタンスタイプ を 自己構築データベース として選択した場合、実際の状況に応じて高度な設定を有効にするかどうかを決定できます。

      注意

      新規作成した移行タスクで増分同期が必要な場合は、sysテナントアカウントと増分ログプロキシサービスを同時に有効にしてください。

      パラメータ	説明
      sysテナントアカウント	sysテナントアカウントを有効にした後、sysアカウントとパスワードを入力する必要があります。 システムアカウント：sysユーザーの名前です。このユーザーは主にOceanBaseデータベースの増分ログとデータベースオブジェクト構造情報の読み取りに使用されます。ビジネスクラスタのsysテナント内に作成してください。 パスワード：sysユーザーのパスワード。
      増分ログプロキシサービス	増分ログプロキシサービスを有効にした後、**OBLogProxy が情報を受信します**を入力する必要があります。このパラメータはOceanBaseデータベースの増分ログプロキシサービスであり、サービス形態でリアルタイムの増分ログの取得と管理機能を提供し、アプリケーションがOceanBaseデータベースの増分ログにアクセスしやすくします。同時に、ネットワークが分離されている状況でも増分ログのサブスクリプションニーズを解決できます。形式はOBLogProxy IP：OBLogProxy Portです。

   2. ターゲット側 セクションで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、ターゲット側 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択後、ターゲット側の各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する場合、ターゲット側 セクションの右上にある 保存 アイコンをクリックします。

      データソースの参照 のドロップダウンリストで データソース管理 をクリックすると、データソース ページに移動し、データソースの表示や管理を行えます。このページでは異なる種類のデータソースを一元的に管理します。詳細については、データソースモジュールのドキュメントを参照してください。

      パラメータ	説明
      クラウドプロバイダー	現在、AWS、Huawei Cloud、Tencent Cloud、および Alibaba Cloud をサポートしています。ソースと同じクラウドプロバイダーを選択することも、異なるクラウド間でのデータ移行も可能です。 説明 現在、クロスクラウドデータ移行機能はデフォルトで利用できません。この機能を使用する場合は、OB Cloudテクニカルサポートにお問い合わせください。
      データベースタイプ	ターゲット側のデータベースタイプとして PostgreSQL を選択します。
      インスタンスタイプ	クラウドプロバイダーとして AWS を選択した場合、インスタンスタイプは RDS PostgreSQL、Aurora PostgreSQL、および 自構築 PostgreSQL をサポートします。 クラウドプロバイダーとして Huawei Cloud を選択した場合、インスタンスタイプは RDS PostgreSQL および 自構築 PostgreSQL をサポートします。 クラウドプロバイダーとして Tencent Cloud を選択した場合、インスタンスタイプは TencentDB for PostgreSQL および 自構築 PostgreSQL をサポートします。 クラウドプロバイダーとして クラウドベンダー を選択した場合、インスタンスタイプは RDS PostgreSQL および 自構築 PostgreSQL をサポートします。
      リージョン	ターゲット側のデータベースが配置されるリージョンを選択します。
      接続タイプ	エンドポイント と パブリックネットワーク接続 が含まれます。 エンドポイント 接続方式を選択した場合、ページに表示されているアカウントIDを、お使いのエンドポイントサービスのホワイトリストに追加する必要があります。これにより、そのアカウントのエンドポイントがエンドポイントサービスに接続できるようになります。詳細については、プライベートネットワーク接続の選択 のドキュメントを参照してください。 クラウドベンダー を AWS に設定した場合、エンドポイントサービス作成時にパラメータ エンドポイントを使用するために受け入れる必要がある で 必要 を選択した場合、データ移行サービスが初めてプライベート接続にアクセスする際、AWSコンソールにアクセスし、受信した接続リクエストに対して エンドポイント接続リクエストを受け入れる 操作を行うよう求められます。 パブリックネットワーク接続 接続方式を選択した場合、ページに表示されているデータソースIPアドレスを、PostgreSQLデータベースインスタンスのホワイトリストに追加して接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択 のドキュメントを参照してください。 説明 ソースとターゲットのリージョンを選択すると、ページにはホワイトリストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	接続タイプ を エンドポイント に選択した場合、エンドポイントサービス名を入力してください。 接続タイプ を パブリックネットワーク接続 に選択した場合、データベースホストのIPアドレスとポート番号を入力してください。
      Database Name	PostgreSQLデータベースの名前。
      データベースアカウント	データ移行用のPostgreSQLデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

4. 接続テストをして、次へ移動 をクリックします。

   タイプとオブジェクトの選択 ページで、各パラメータを設定します。

   説明

   現在、PostgreSQLデータベースのデータをOceanBaseデータベースのMySQL互換モードに移行する場合、単方向同期のみをサポートしています。

   1. 移行タイプ セクションで、現在のデータ移行タスクの移行タイプを選択します。

      現在、増分同期 のみをサポートしており、DML同期 と DDL同期期間 が含まれます。ニーズに応じてカスタマイズ設定が可能です。詳細については、DML/DDLのカスタム設定を参照してください。

   2. 移行オブジェクトの選択 セクションで、移行対象の選択方法を設定します。

      オブジェクトの指定 と マッチングルール の2つの方法で移行対象を選択できます。

      

   3. 移行範囲の選択 セクションで、移行する対象を選択します。

      • オブジェクトの指定 を選択した場合、データ移行は データベース/テーブル移行 と データベース全体の移行 をサポートします。データベース・テーブル移行では、1つまたは複数のデータベース内のテーブルやビューを移行対象として選択できます。データベース全体の移行では、データベース全体を移行対象として選択できます。あるデータベースでデータベース・テーブル移行を選択した場合、そのデータベースはデータベース全体の移行をサポートしなくなります。あるデータベースでデータベース全体の移行を選択した場合、そのデータベースはデータベース・テーブル移行をサポートしなくなります。

        データベース/テーブル移行 または データベース全体の移行 の方法を選択した後、左側で移行する対象を選択し、> をクリックして右側のリストに追加します。

        データ移行はテキストによるオブジェクトのインポートをサポートし、ターゲット側のオブジェクトの名前変更、行フィルタリングの設定、列情報の表示、および単一またはすべての移行オブジェクトの削除などの操作をサポートします。

        

        説明

        データベース全体の移行を選択した場合、右側のリストにはデータベース名のみが表示され、具体的なオブジェクトは表示されません。

        操作	説明
        インポート	選択領域の右側のリストで、右上の オブジェクトのインポート をクリックします。インポートによる移行オブジェクトの取り込みを参照してください。
        名前の変更	データ移行では、移行オブジェクトの名前を変更できます。データベース・テーブルの名前変更を参照してください。
        行フィルタリング	データ移行では、WHERE 条件を使用した行のフィルタリングがサポートされています。SQL条件によるデータのフィルタリングを参照してください。また、カラムを表示 領域で、移行オブジェクトの列情報を確認できます。
        すべての移除/クリア	データ移行では、データマッピング時に、一時的にターゲット側に選択された単一または複数のオブジェクトを削除する操作がサポートされています。 単一の移行オブジェクトの削除 選択領域の右側のリストで、対象オブジェクトの後ろにある 削除 アイコンをクリックすると、その移行オブジェクトを削除できます。 すべての移行オブジェクトの削除 選択領域の右側のリストで、右上の すべてクリア をクリックします。ダイアログボックスで、確認 をクリックすると、すべての移行オブジェクトを削除できます。

      • マッチングルール を選択した場合、詳細については データベース間のマッチングルールの設定を参照してください。

5. 次へ をクリックします。移行オプション ページで、増分同期の各パラメータを設定します。

   パラメータ	説明
   Write Concurrent Configuration	このパラメータは、増分同期フェーズにおいてターゲット側へデータを書き込む並列数を設定します。最大値は512です。並列数が高すぎると、ターゲット側の負荷が過大になり、業務に影響を与える可能性があります。
   Incremental Migration Rate Limit	実際のニーズに応じて、増分同期レートの制限を有効にするかどうかを決定できます。有効にする場合は、RPS（増分同期フェーズにおいて1秒間にターゲット側に同期できるデータ行数の最大値の制限）とBPS（増分同期フェーズにおいて1秒間にターゲット側に同期できるデータ量の最大値の制限）を設定してください。 説明 ここで設定されたRPSとBPSは、スロットリング機能としてのみ機能します。増分同期が実際に達成できる性能は、ソース側、ターゲット側、インスタンス仕様の設定などの要因の影響を受けます。
   Incremental Synchronization Start Timestamp	移行タイプとして 完全な移行 を選択した場合、このパラメータは表示されません。 移行タイプとして 完全な移行 を選択せず、増分同期 を選択した場合は、この時間以降のデータを移行するタイミングポイントを指定してください。デフォルトは現在のシステム時刻です。詳細については、増分同期の開始時刻の設定を参照してください。

6. 事前チェック をクリックすると、システムがデータ移行タスクの事前チェックを実行します。

   事前チェック の段階で、データ移行はデータベースユーザーの読み書き権限、データベースのネットワーク接続などが要件を満たしているかどうかをチェックします。すべてのチェック項目が合格した場合にのみ、データ移行タスクを開始できます。事前チェックでエラーが発生した場合：

   • 問題を調査・解決した後、事前チェックを再実行し、事前チェックが成功するまで繰り返すことができます。

   • 失敗した事前チェック項目の操作列にある スキップ をクリックすると、この操作をスキップした場合の具体的な影響について示すダイアログボックスが表示されます。スキップしてもよいことを確認したら、ダイアログボックス内の 確認 をクリックします。

7. 事前チェックが成功したら、購入 をクリックし、データ移行インスタンスの購入 ページで購入します。

   購入が成功すると、データ移行タスクを開始できます。購入の詳細については データ移行インスタンスの購入を参照してください。データ移行インスタンスの購入が一時的に不要な場合は、保存 をクリックして、データ移行タスクの詳細ページに移動します。その後、必要に応じて手動で購入できます。

   データ移行の詳細ページの右上にある 検証タスクの設定 をクリックすると、ソースデータベースとターゲットデータベースのデータ差異を比較できます。詳細については 新しいデータ検証タスクの作成を参照してください。

   データ移行サービスは、データ移行タスクの実行中に移行オブジェクトを変更することをサポートしています。詳細については 移行オブジェクトの表示と変更を参照してください。データ移行タスクは開始後、選択した移行タイプに従って順次実行されます。詳細については データ移行タスクの詳細を見るの「移行の詳細を見る」モジュールの内容を参照してください。