OceanBaseデータベースの増分データをPostgreSQLデータベースに移行する

OceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）からPostgreSQLデータベースへのデータ移行タスクを新規作成し、データ送信元データベースの増分データをデータ送信先データベースにシームレスに移行できます。

前提条件

• データ送信元のOceanBaseデータベースのクラスタとテナントを作成済みであること。詳細については、インスタンスの作成および新規テナントの作成を参照してください。

• データ送信先のデータベースインスタンスを作成済みであること。

• データ送信元とデータ送信先に、データ移行専用のデータベースユーザーを作成し、関連する権限を付与していること。詳細については、ユーザー権限の説明を参照してください。

制限事項

• プロジェクトのロールが プロジェクト所有者、プロジェクト管理者、または データサービス管理者 のいずれかであるユーザーのみが、新しいデータ移行タスクを作成できます。

• 現在、データ移行はPostgreSQLデータベースV10.x、V11.x、V12.x、V13.x、およびOceanBaseデータベース（MySQL互換モードおよびOracle互換モードを含む）V2.x、V3.x、V4.xをサポートしています。

• データ移行サービスは、ASCIIコードで表され、特殊文字（.|"'`()=;/& および改行を含む）を含まないオブジェクト（データベース名、テーブル名、列名）の移行のみをサポートします。

• データ移行サービスは、データ送信先にトリガー（Trigger）が存在する場合をサポートしていません。トリガーが存在すると、データ移行が失敗する可能性があります。

注意点

• プライマリキーのないテーブルの増分同期シナリオにおいて、UPDATEおよびDELETEが全列マッチング方式でデータを移行する場合、以下の問題が発生する可能性があります。

  • パフォーマンスの問題が発生する可能性があります。

    プライマリキーインデックスが欠けているため、更新（UPDATE）および削除（DELETE）操作は、毎回テーブル全体のスキャン後に実行されます。

  • データの一貫性の問題が発生する可能性があります。

    更新（UPDATE）および削除（DELETE）操作はPostgreSQLではLIMIT構文をサポートしていないため、全列マッチングで複数のデータがヒットした場合、データ送信先で更新または削除されるデータが予想より多くなる可能性があります。例えば、プライマリキーのないテーブルt1にc1とc2の2列があり、データ送信元にc1=1 と c2=2 のデータが2件ある場合、データ送信元でそのうちの1件のデータを削除すると、マッチ条件が where c1 = 1 and c2 = 2 であるため、データ送信先の対応する2件のデータがすべて削除され、データ送信元とデータ送信先のデータが一致しなくなります。

• tsvector型フィールドをPostgreSQLデータベースに移行する際、OceanBaseデータベースに対応するフィールドのデータを書き込むには、tsvectorに符合するフォーマットが必要です。例：

  • OceanBaseデータベースで 'a b c' をRDS PostgreSQLインスタンスに書き込むと、"'a' 'b' 'c'" に変換されます。

  • OceanBaseデータベースで 'a:1 b:2 c:3' をRDS PostgreSQLインスタンスに書き込むと、"'a':1 'b':2 'c':3" に変換されます。

  • OceanBaseデータベースで非tsvector形式のデータ "'a':cccc" を書き込むと、RDS PostgreSQLインスタンスでの書き込みが異常となり、失敗します。tsvector形式の詳細については、PostgreSQL公式ドキュメントを参照してください。

• OceanBase Databaseをソースとして増分同期を実行する場合、データベーステーブルのオブジェクトにUDT列が含まれていると、UDT列がサポートされていないため、増分同期タスクが失敗することがあります。

サポートされているデータ送信元およびデータ送信先インスタンスの種類

データ型のマッピング

• OceanBaseデータベースのMySQL互換モードからPostgreSQLデータベースへのデータ型マッピング

  OceanBaseデータベースのMySQL互換モード	PostgreSQLデータベース
  TINYINT	SMALLINT
  BOOLEAN	BOOLEAN
  SMALLINT	SMALLINT
  SMALLINT UNSIGNED	INTEGER
  MEDIUMINT	INTEGER
  INTEGER/INT	INTEGER
  INTEGER UNSIGNED	BIGINT
  BIGINT	BIGINT
  DECIMAL(M,D) DECIMAL	NUMERIC(M,D) NUMERIC(10,0) DECIMALのMの最大値は65、Dの最大値は30です。Dを省略した場合、デフォルトで0になります。Mを省略した場合、デフォルトで10になります
  NUMERIC(M,D)	NUMERIC(M,D)
  NUMERIC	NUMERIC(10,0)
  FLOAT(p)	p < 25 の場合、FLOATに変換されます p ≥ 25 の場合、DOUBLE PRECISIONに変換されます
  DOUBLE	DOUBLE PRECISION
  BIT	BIT VARYING(1)
  BIT(n)	BIT VARYING(n)
  DATE	DATE
  DATETIME DATETIME(6) デフォルトは0、範囲は[0,6]です。	TIMESTAMP TIMESTAMP(6)
  TIMESTAMP	TIMESTAMP WITH TIME ZONE
  TIMESTAMP(p)	TIMESTAMP(p) WITH TIME ZONE
  TIME(p)	TIME(p)
  YEAR	INTEGER
  CHAR	CHAR(n CHAR)
  VARCHAR	VARCHAR(n)
  BINARY	BYTEA
  VARBINARY	BYTEA
  TINYBLOB	TEXT
  BLOB	TEXT
  MEDIUMBLOB	TEXT
  LONGBLOB	TEXT
  TINYTEXT	TEXT
  TEXT	TEXT
  MEDIUMTEXT	TEXT
  LONGTEXT	TEXT
  ENUM	VARCHAR
  SET	VARCHAR
  JSON	JSON

• OceanBaseデータベースのOracle互換モードからPostgreSQLデータベースへのデータ型マッピング

  分類	OceanBaseデータベース Oracle互換モード	PostgreSQLデータベース
  数値型	NUMBER(p,s)	NUMBER(p,s)
  	NUMBER	NUMERIC
  	FLOAT(P)	FLOAT(P)
  	BINARY_FLOAT	REAL
  	BINARY_DOUBLE	DOUBLE PRECISION
  文字列型	CHAR(n)	CHAR(n)
  	NCHAR(n)	CHAR (n)
  	NVARCHAR2(n)	VARCHAR (n)
  	VARCHAR2(n)	VARCHAR (n)
  	VARCHAR(n)	VARCHAR (n)
  日付時刻型	DATE	TIMESTAMP
  	TIMESTAMP	TIMESTAMP(6)
  	TIMESTAMP(n)	n >= 6 の場合は TIMESTAMP(6) に変換、それ以外の場合は TIMESTAMP(n) に変換します
  	TIMESTAMP WITH TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH TIME ZONE	n >= 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します
  	TIMESTAMP WITH LOCAL TIME ZONE	TIMESTAMP(6) WITH TIME ZONE
  	TIMESTAMP(n) WITH LOCAL TIME ZONE	n >= 6 の場合は TIMESTAMP(6) WITH TIME ZONE に変換、それ以外の場合は TIMESTAMP(n) WITH TIME ZONE に変換します
  バイナリ型	RAW(n)	VARCHAR(n)
  行識別子型	ROWID	CHAR(18)
  	UROWID	VARCHAR(18)
  BLOB型	BLOB	BYTEA
  	CLOB	TEXT
  JSON型	JSON	JSON

手順

1. データ移行タスクを新規作成します。

   1. OceanBase Cloudコンソールにログインします。

   2. 左側のナビゲーションバーで、データサービス > データ移行 をクリックします。

   3. データ移行 ページで、データ移行 タブをクリックします。

   4. データ移行 タブで、右上の 移行タスクの新規作成 をクリックします。

2. タスク名を編集するテキストボックスに、カスタムの移行タスク名を入力します。

   名前には漢字、数字、英字の組み合わせを推奨します。スペースを含めず、64文字以内で入力してください。

3. データ送信元とデータ送信先の設定 ページで、各パラメータを設定します。

   1. データ送信元 セクションで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、データ送信元 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択後、データ送信元の各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する場合、データ送信元 セクションの右上にある 保存 アイコンをクリックします。

      データソースの参照 のドロップダウンリストで データソース管理 をクリックすると、データソース ページに移動し、データソースの表示や管理を行えます。このページでは異なる種類のデータソースを一元的に管理します。詳細については、データソースモジュールのドキュメントを参照してください。

      パラメータ	説明
      クラウドプロバイダ	現在 AWS、Huawei Cloud、Google Cloud および Alibaba Cloud をサポートしています。
      データベースタイプ	実際の状況に応じて、データ送信元データベースタイプを OceanBase MySQL Compatibleモード または OceanBase Oracle Compatibleモード に設定します。
      インスタンスタイプ	クラスタインスタンス（トランザクション型） と セルフマネージドデータベース が含まれます。
      リージョン	データ送信元データベースのリージョンを選択します。
      接続タイプ	ターミナルノード と パブリックネットワーク接続 が含まれます。 ターミナルノード 接続方式を選択した場合は、ページに表示されているアカウントIDをターミナルノードサービスの許可リストに追加し、そのアカウントのターミナルノードがターミナルノードサービスに接続できるようにする必要があります。詳細については、プライベートネットワーク接続の選択モジュールのドキュメントを参照してください。 パブリックネットワーク接続 接続方式を選択した場合は、ページに表示されているデータソースIPアドレスをOceanBaseデータベースインスタンスの許可リストに追加し、接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択モジュールのドキュメントを参照してください。 説明 このパラメータは、インスタンスタイプがセルフマネージドデータベースのみを選択した場合に表示されます。データ送信元とデータ送信先のリージョンを選択すると、ページには許可リストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	インスタンスタイプがセルフマネージドデータベースのみを選択した場合に表示されます。 接続タイプ を ターミナルノード として選択した場合は、ターミナルノードサービス名を入力してください。 接続タイプ を パブリックネットワーク接続 として選択した場合は、データベースホストのIPアドレスとポート番号を入力してください。
      インスタンス	OceanBaseデータベースが配置されているインスタンスのIDまたは名前です。インスタンスリスト ページで、ターゲットインスタンスのIDまたは名前を確認できます。 説明 クラウドプロバイダがAlibaba Cloudの場合、アカウント間認証をサポートするAlibaba Cloudのメインアカウントインスタンスの選択も可能です。詳細については、Alibaba Cloudアカウント認証を参照してください。
      テナント	OceanBaseデータベーステナントのIDまたは名前です。インスタンスリスト ページで、ターゲットインスタンスを展開し、そのインスタンス下のターゲットテナントのIDまたは名前を確認できます。
      データベースアカウント	データ移行用のOceanBaseデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

      インスタンスタイプ を セルフマネージドデータベース として選択した場合、実際の状況に応じて高度な設定を有効にするかどうかを決定できます。

      注意

      新規作成した移行タスクで増分同期が必要な場合は、sysテナントアカウントと増分ログプロキシサービスを同時に有効にしてください。

      パラメータ	説明
      sysテナントアカウント	sysテナントアカウントを有効にした後、sysアカウントとパスワードを入力する必要があります。 システムアカウント：sysユーザーの名前です。このユーザーは主にOceanBaseデータベースの増分ログとデータベースオブジェクト構造情報の読み取りに使用されます。ビジネスクラスタのsysテナント内に作成してください。 パスワード：sysユーザーのパスワード。
      増分ログプロキシサービス	増分ログプロキシサービスを有効にした後、**OBLogProxy 接続情報**を入力する必要があります。このパラメータはOceanBaseデータベースの増分ログプロキシサービスであり、サービス形態でリアルタイムの増分ログの取得と管理機能を提供し、アプリケーションがOceanBaseデータベースの増分ログにアクセスしやすくします。同時に、ネットワークが分離されている状況でも増分ログのサブスクリプションニーズを解決できます。形式はOBLogProxy IP：OBLogProxy Portです。

   2. データ送信先 セクションで、各パラメータを設定します。

      既に作成・保存されたデータソースを参照する必要がある場合、データ送信先 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択後、データ送信先の各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する場合、データ送信先 セクションの右上にある 保存 アイコンをクリックします。

      データソースの参照 のドロップダウンリストで データソース管理 をクリックすると、データソース ページに移動し、データソースの表示や管理を行えます。このページでは異なる種類のデータソースを一元的に管理します。詳細については、データソースモジュールのドキュメントを参照してください。

      パラメータ	説明
      クラウドプロバイダー	現在、AWS、Huawei Cloud、Google Cloud、および Alibaba Cloud をサポートしています。データ送信元と同じクラウドプロバイダーを選択することも、異なるクラウド間でのデータ移行も可能です。 説明 現在、クロスクラウドデータ移行機能はデフォルトで利用できません。この機能を使用する場合は、OceanBase Cloudテクニカルサポートにお問い合わせください。
      データベースタイプ	データ送信先のデータベースタイプとして PostgreSQL を選択します。
      インスタンスタイプ	クラウドプロバイダーとして AWS を選択した場合、インスタンスタイプは RDS PostgreSQL、Aurora PostgreSQL、および セルフマネージド PostgreSQL をサポートします。 クラウドプロバイダーとして Huawei Cloud を選択した場合、インスタンスタイプは RDS PostgreSQL および セルフマネージド PostgreSQL をサポートします。 クラウドプロバイダーとして Google Cloud を選択した場合、インスタンスタイプは Cloud PostgreSQL および セルフマネージド PostgreSQL をサポートします。 クラウドベンダー を Alibaba Cloud に選択した場合、インスタンスタイプは RDS PostgreSQL および セルフマネージド PostgreSQL をサポートします。
      リージョン	データ送信先のデータベースが配置されるリージョンを選択します。
      接続タイプ	ターミナルノード と パブリックネットワーク接続 が含まれます。 ターミナルノード 接続方式を選択した場合、ページに表示されているアカウントIDを、お使いのターミナルノードサービスの許可リストに追加する必要があります。これにより、そのアカウントのターミナルノードがターミナルノードサービスに接続できるようになります。詳細については、プライベートネットワーク接続の選択 のドキュメントを参照してください。 クラウドベンダー を AWS に設定した場合、ターミナルノードサービス作成時にパラメータ ターミナルノードを使用するために受け入れる必要がある で 必要 を選択した場合、データ移行サービスが初めてプライベート接続にアクセスする際、AWSコンソールにアクセスし、受信した接続リクエストに対して ターミナルノード接続リクエストを受け入れる 操作を行うよう求められます。 パブリックネットワーク接続 接続方式を選択した場合、ページに表示されているデータソースIPアドレスを、PostgreSQLデータベースインスタンスの許可リストに追加して接続性を確保する必要があります。詳細については、パブリックネットワーク接続の選択 のドキュメントを参照してください。 説明 データ送信元とデータ送信先のリージョンを選択すると、ページには許可リストに追加する必要があるデータソースIPアドレスが表示されます。
      接続情報	接続タイプ で ターミナルノード を選択した場合、ターミナルノードサービス名を入力してください。 接続タイプ で パブリックネットワーク接続 を選択した場合、データベースホストのIPアドレスとポート番号を入力してください。
      Database Name	PostgreSQLデータベースの名前。
      データベースアカウント	データ移行用のPostgreSQLデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

4. 接続テストをして、次へ移動 をクリックします。

   タイプとオブジェクトの選択 ページで、各パラメータを設定します。

   説明

   現在、PostgreSQLデータベースのデータをOceanBaseデータベースのMySQL互換モードに移行する場合、単方向同期のみをサポートしています。

   1. 移行タイプ セクションで、現在のデータ移行タスクの移行タイプを選択します。

      現在、増分同期 のみをサポートしており、DML同期 と DDL同期期間 が含まれます。ニーズに応じてカスタマイズ設定が可能です。詳細については、DML/DDLのカスタム設定を参照してください。

   2. 移行オブジェクトの選択 セクションで、移行オブジェクトの選択方法を設定します。

      オブジェクトの指定 と マッチングルール の2つの方法で移行オブジェクトを選択できます。

   3. 移行範囲の選択 セクションで、移行するオブジェクトを選択します。

      • オブジェクトの指定 を選択した場合、データ移行は データベース内のテーブル移行 と データベース全体の移行 をサポートします。データベース内のテーブル移行では、1つまたは複数のデータベース内のテーブルやビューを移行オブジェクトとして選択できます。データベース全体の移行では、データベース全体を移行オブジェクトとして選択できます。あるデータベースでデータベース内のテーブル移行を選択した場合、そのデータベースはデータベース全体の移行をサポートしなくなります。あるデータベースでデータベース全体の移行を選択した場合、そのデータベースはデータベース内のテーブル移行をサポートしなくなります。

        データベース内のテーブル移行 または データベース全体の移行 の方法を選択した後、左側で移行するオブジェクトを選択し、> をクリックして右側のリストに追加します。

        データ移行はテキストによるオブジェクトのインポートをサポートし、データ送信先のオブジェクトの名前変更、行フィルタリングの設定、列情報の表示、および単一またはすべての移行オブジェクトの削除などの操作をサポートします。

        説明

        データベース全体の移行を選択した場合、右側のリストにはデータベース名のみが表示され、具体的なオブジェクトは表示されません。

        操作	説明
        インポート	選択領域の右側のリストで、右上の オブジェクトのインポート をクリックします。インポートによる移行オブジェクトの取り込みを参照してください。
        名前の変更	データ移行では、移行オブジェクトの名前を変更できます。データベース内のテーブルの名前変更を参照してください。
        行フィルタリング	データ移行では、WHERE 条件を使用した行のフィルタリングがサポートされています。SQL条件によるデータのフィルタリングを参照してください。また、カラムを表示 領域で、移行オブジェクトの列情報を確認できます。
        すべて削除/クリア	データ移行では、データマッピング時に、一時的にデータ送信先に選択された単一または複数のオブジェクトを削除する操作がサポートされています。 単一の移行オブジェクトの削除 選択領域の右側のリストで、ターゲットオブジェクトの後ろにある 削除 アイコンをクリックすると、その移行オブジェクトを削除できます。 すべての移行オブジェクトの削除 選択領域の右側のリストで、右上の すべてクリア をクリックし、ダイアログボックスでOK をクリックすると、すべての移行オブジェクトを削除できます。

      • マッチングルール を選択した場合、詳細については データベース間のマッチングルールの設定を参照してください。

5. 次へ をクリックし、移行オプション ページで、増分同期の各パラメータを設定します。

   パラメータ	説明
   Write Concurrent Configuration	このパラメータは、増分同期フェーズにおいてデータ送信先へデータを書き込む同時実行数を設定します。最大値は512です。同時実行数が高すぎると、データ送信先の負荷が過大になり、業務に影響を与える可能性があります。
   Incremental Migration Rate Limit	実際のニーズに応じて、増分同期レートの制限を有効にするかどうかを決定できます。有効にする場合は、RPS（増分同期フェーズにおいて1秒間にデータ送信先に同期できるデータ行数の最大値の制限）とBPS（増分同期フェーズにおいて1秒間にデータ送信先に同期できるデータ量の最大値の制限）を設定してください。 説明 ここで設定されたRPSとBPSは、スロットリング機能としてのみ機能します。増分同期が実際に達成できる性能は、データ送信元、データ送信先、インスタンス仕様の設定などの要因の影響を受けます。
   Incremental Synchronization Start Timestamp	移行タイプとして フル移行 を選択した場合、このパラメータは表示されません。 移行タイプとして フル移行 を選択せず、増分同期 を選択した場合は、この時間以降のデータを移行するタイミングポイントを指定してください。デフォルトは現在のシステム時刻です。詳細については、増分同期の開始時刻の設定を参照してください。

6. 事前チェック をクリックすると、システムがデータ移行タスクの事前チェックを実行します。

   事前チェック の段階で、データ移行はデータベースユーザーの読み書き権限、データベースのネットワーク接続などが要件を満たしているかどうかをチェックします。すべてのチェック項目が合格した場合にのみ、データ移行タスクを開始できます。事前チェックでエラーが発生した場合：

   • 問題を調査・解決した後、事前チェックを再実行し、事前チェックが成功するまで繰り返すことができます。

   • 失敗した事前チェック項目の操作列にある スキップ をクリックすると、この操作をスキップした場合の具体的な影響について示すダイアログボックスが表示されます。スキップしてもよいことを確認したら、ダイアログボックス内の OK をクリックします。

7. 事前チェックが成功したら、購入 をクリックし、データ移行インスタンスの購入 ページで購入します。

   購入が成功すると、データ移行タスクを開始できます。購入の詳細については データ移行インスタンスの購入を参照してください。データ移行インスタンスの購入を後回しにする場合は、保存 をクリックして、データ移行タスクの詳細ページに移動します。その後、必要に応じて手動で購入できます。

   データ移行の詳細ページの右上にある 検証タスクの設定 をクリックすると、データ送信元データベースとデータ送信先データベースのデータ差異を比較できます。詳細については 新しいデータ検証タスクの作成を参照してください。

   データ移行サービスは、データ移行タスク実行中の移行オブジェクトへの変更をサポートしています。詳細については 移行オブジェクトの表示と変更を参照してください。データ移行タスクは開始後、選択した移行タイプに従って順次実行されます。詳細については データ移行タスクの詳細を見るの「移行の詳細を見る」モジュールの内容を参照してください。