TiDBデータベースからOceanBaseデータベースのMySQL互換モードへのデータ移行

TiDBデータベースからOceanBaseデータベースのMySQL互換モードへのデータ移行タスクを新規作成することで、スキーマ移行、フル移行、増分同期を通じて、データ送信元データベース内の既存業務データおよび増分データをデータ送信先データベースへシームレスに移行できます。

背景情報

TiDBデータベースは、オンライントランザクション処理およびオンライン分析処理（Hybrid Transactional and Analytical Processing、HTAP）をサポートするハイブリッド分散型データベース製品です。TiDBデータベースからOceanBaseデータベースのMySQL互換モードへの増分データ同期を実現するには、TiCDCクラスターおよびKafkaクラスターをデプロイする必要があります。

TiCDCはTiDBデータベースの増分データ同期ツールであり、PDクラスター（通常3つのPDノードで構成されるTiDBクラスターのスケジューリングモジュール）を通じて高可用性を実現します。TiKV ServerはTiDBクラスター内のTiKVノードであり、変更データのログをTiCDCクラスターに自動的に送信します。TiCDCツールは、複数のTiCDCプロセスを通じてTiKVノードのデータを取得および処理し、データをKafkaクラスターに同期します。Kafkaクラスターは、データ移行が増分データ同期を実行する際に、Kafkaクラスターから対応するデータを取得し、OceanBaseデータベースMySQL互換モードにリアルタイムでデータを移行できるように、TiCDCツールによって変換されたTiDBデータベースの増分ログ情報を保存します。TiDBデータソースを新規作成する際にKafkaデータソースをバインドしていない場合、増分同期を実行できません。

前提条件

• データ送信元データベースインスタンスが作成されていること。

• データ送信先となるOceanBaseデータベースのクラスターとテナントが作成されていること。詳細は、インスタンスの作成 および テナントの新規作成 をご参照ください。

• データ送信元とデータ送信先にデータ移行専用のデータベースユーザーが作成され、関連する権限が付与されていること。詳細は、ユーザー権限の説明 をご参照ください。

使用制限

• プロジェクトロールが プロジェクト所有者、プロジェクト管理者、または データサービス管理者 であるユーザーのみ、データ移行タスクを新規作成できます。

• データ送信元データベースの操作制限

  スキーマ移行およびフル移行のフェーズでは、データベースやテーブルの構造を変更するDDL操作を実行しないでください。データ移行タスクが中断される可能性があります。

• 現在、データ移行はTiDBデータベース V4.x、V5.4、V6.x、および V7.x、OceanBaseデータベースMySQL互換モード V2.x、V3.x、および V4.xをサポートしています。

• TiDBデータベースからOceanBaseデータベースMySQL互換モードへデータを移行する場合、DDLの同期はサポートされていません。

• データ移行サービスは、データベース名、テーブル名、および列名がASCIIコードであり、特殊文字（.|"'`()=;/& および改行を含む）が含まれていないオブジェクトの移行のみをサポートします。

• データ移行サービスは、TiCDC Open Protocolのみをサポートしており、他のプロトコルはサポートしていません。サポートされていないプロトコルを使用すると、JDBC-Connectorで例外が発生し、NullPointerエラーが報告されます。

• データ移行サービスは、データ送信先にトリガー（Trigger）が存在する場合をサポートしていません。トリガーが存在すると、データ移行が失敗する可能性があります。

• 増分同期の方法としてTiCDCを選択した場合は、TiDB公式ドキュメント を参照し、使用上の制限事項を確認する必要があります。確認を怠ると、データ不整合が発生する可能性があります。

注意事項

• データ送信元に同じ名前の外部キーが存在する場合、スキーマ移行でエラーが発生します。外部キー制約名を変更した後、タスクの実行をリストアできます。

• データ送信元の文字セットがUTF-8の場合、文字セットの非互換性によりデータ送信先で文字化けなどの問題が発生するのを避けるため、データ送信先ではデータ送信元と互換性のある文字セット（例：UTF-8、UTF-16など）を使用することをお勧めします。

• TiCDCが同期に使用するTopicにデータを書き込まないでください。書き込むと、JDBC-Connectorで例外が発生し、NullPointerエラーが報告されます。

• データ送信先のユニークインデックスを変更する場合は、データ移行タスクを再起動する必要があります。再起動を怠ると、データ不整合の問題が発生する可能性があります。

• データベース内のテーブル集約のシナリオ：

  • マッチングルールを使用してデータ送信元とデータ送信先の関係をマッピングすることをお勧めします。

  • データ送信先でテーブル構造をご自身で作成することをお勧めします。データ移行サービスを使用して作成する場合、スキーマ移行ステップで一部の失敗したオブジェクトをスキップしてください。

• データ送信元とデータ送信先でテーブル構造が完全に一致しない場合、データの不整合が発生する可能性があります。現在判明しているシナリオは以下の通りです：

  • ユーザーが手動でテーブル構造を作成した際に、データ移行のサポート範囲を超えたために暗黙的な変換の問題が発生し、データ送信元とデータ送信先の列のデータ型が不一致になる可能性があります。

  • データ送信先のデータ長がデータ送信元のデータ長より短い場合、データ切り捨てが発生し、データ送信元とデータ送信先のデータが不一致になる可能性があります。

• データ送信元またはデータ送信先に大文字・小文字のみが異なるテーブルオブジェクトが存在する場合、データ送信元またはデータ送信先の大文字・小文字の区別の有無によって、データ移行の結果が期待通りにならない可能性があります。

• ノード間の時計が同期していない、またはPC端末とサーバー間の時計が同期していない場合、増分同期の遅延時間が不正確になる可能性があります。

  例えば、時計が標準時間より進んでいる場合、遅延時間がマイナスになる可能性があります。時計が標準時間より遅れている場合、遅延が生じているように見える可能性があります。

• DECIMAL、FLOAT、DATETIMEなどの列タイプに対するデータ移行サービスの移行精度が期待通りであるか確認してください。データ送信先のフィールドタイプの精度がデータ送信元のフィールドタイプの精度より低い場合、切り捨てが発生し、データ送信元とデータ送信先のデータが不一致になる可能性があります。

• データ移行タスクを新規作成する際に 増分同期 のみを設定した場合、データ移行ではデータ送信元データベースのローカル増分ログが48時間以上保存されている必要があります。

  データ移行タスクを新規作成する際に フル移行 + 増分同期 を設定した場合、データ移行ではデータ送信元データベースのローカル増分ログが7日以上保存されている必要があります。そうでない場合、データ移行は増分ログを取得できずにタスクが失敗したり、最悪の場合はデータ送信元とデータ送信先のデータが不一致になる可能性があります。

サポートされるデータ送信元とデータ送信先のインスタンスタイプ

以下の表において、OceanBase MySQL Compatible がサポートするインスタンスタイプには クラスターインスタンス (トランザクション型) と クラスターインスタンス (分析型) が含まれます。

データ型マッピング

操作手順

1. データ移行タスクを新規作成します。

   

   1. OceanBase Cloud クラウドデータベースコンソール にログインします。

   2. 左側のナビゲーションペインで、データサービス > データ移行 をクリックします。

   3. データ移行 ページで、データ移行 タブをクリックします。

   4. データ移行 タブで、右上の 移行タスクの新規作成 をクリックします。

2. タスク名のテキストボックスに、カスタムの移行タスク名を入力します。

   名前には漢字、数字、英字の組み合わせを推奨します。スペースを含めず、64文字以内で入力してください。

3. データ送信元とデータ送信先の構成 ページで、各パラメータを設定します。

   1. データ送信元 エリアで、各パラメータを設定します。

      作成済みで保存されているデータソースを参照する場合は、データ送信元 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択が完了すると、データ送信元エリアの各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する必要がある場合は、データ送信元 エリアの右上にある 保存 アイコンをクリックします。

      また、データソースの参照 ドロップダウンリストで データソースの管理 をクリックして、データソース ページに入り、データソースを表示および管理することもできます。このページでは、異なるタイプのデータソースを統合して管理します。詳細は、データソース モジュールのドキュメントをご参照ください。

      パラメータ	説明
      クラウドベンダー	現在、AWS、Huawei Cloud、Tencent Cloud、および Alibaba Cloud をサポートしています。
      データベースタイプ	データ送信元として TiDB を選択します。
      インスタンスタイプ	現在、セルフマネージドTiDB のみをサポートしています。
      リージョン	データ送信元データベースが配置されているリージョンを選択します。
      接続タイプ	ターミナルノード および パブリックネットワーク接続 が含まれます。 ターミナルノード の接続方法を選択した場合、そのアカウントのターミナルノードがターミナルノードサービスに接続できるように、まずページに表示されるアカウントIDをターミナルノードサービスの許可リストに追加する必要があります。詳細は、プライベートネットワーク接続の選択 モジュールのドキュメントをご参照ください。 クラウドベンダー として AWS を選択した場合、ターミナルノードサービスを作成する際に、パラメータ ターミナルノードを使用するために承諾が必要 で 有効にする必要がある を選択していると、データ移行サービスが初めてプライベート接続にアクセスする際に、AWSコンソールに入り、受信した接続リクエストに対して ターミナルノード接続リクエストの承諾 操作を行うよう求められます。 Public IP の接続方法を選択した場合、接続を確保するために、まずページに表示されるデータソースのIPアドレスをTiDBデータベースインスタンスの許可リストに追加する必要があります。詳細は、パブリックネットワーク接続の選択 モジュールのドキュメントをご参照ください。 説明 データ送信元とデータ送信先のリージョンを選択した後、許可リストに追加する必要があるデータソースのIPアドレスがページに表示されます。
      接続情報	接続タイプ として ターミナルノード を選択した場合、ターミナルノードサービス名を入力します。 接続タイプ として パブリックネットワーク接続 を選択した場合、データベースホストマシンのIPとポート番号を入力します。
      データベースアカウント	データ移行に使用するTiDBデータベースのユーザー名。
      パスワード	データベースユーザーのパスワード。

      Kafka経由でTiDBの増分データを取得する場合は、増分同期設定 を設定し、BinlogおよびTiCDCデータソースを有効にしてください。以下の設定を入力しない場合、タイプとオブジェクトの選択 ページで 増分同期 を選択できません。

      パラメータ	説明
      Kafkaデータソース	Kafkaデータソースは、データ移行で消費できるよう、BinlogおよびTiCDCツールによって変換されたTiDBデータの増分ログ情報を保存するために使用されます。 注意 TiDBと同じクラウドベンダーのKafkaデータソースの選択のみをサポートしています。
      Topic	バインドする必要があるKafkaデータソースのTopicをドロップダウンリストから選択してください。
      TiDBデータ形式	TiDBデータベースからOceanBaseデータベースMySQL互換モードへデータを移行する際、TiCDC または TiDB Binlog 形式のデータを選択できます。ドロップダウンリストから選択してください。

   2. データ送信先 エリアで、各パラメータを設定します。

      作成済みで保存されているデータソースを参照する場合は、データ送信先 の右側にある データソースの参照 をクリックし、ドロップダウンリストから対象のデータソースを選択します。選択が完了すると、データ送信先エリアの各設定が自動的に入力されます。現在の設定を新しいデータソースとして保存する場合は、データ送信先 エリアの右上にある 保存 アイコンをクリックします。

      また、データソースの参照 ドロップダウンリストで データソースの管理 をクリックして、データソース ページに入り、データソースを表示および管理することもできます。このページでは、異なる種類のデータソースを一元管理できます。詳細は、データソース モジュールのドキュメントをご参照ください。

      パラメータ	説明
      クラウドベンダー	現在、AWS、Huawei Cloud、Tencent Cloud、および Alibaba Cloud をサポートしています。データ送信元と同じクラウドベンダーを選択することも、クラウドベンダーをまたいでデータ移行を行うこともできます。 説明 現在、デフォルトではクロスクラウドベンダーのデータ移行機能は開放されていません。この機能を使用する必要がある場合は、OceanBase Cloudのテクニカルサポート担当者にお問い合わせください。
      データベースタイプ	データ送信先のデータベースタイプとして OceanBase MySQL Compatible を選択します。
      インスタンスタイプ	現在、クラスターインスタンス (トランザクション型) および クラスターインスタンス (分析型) をサポートしています。
      リージョン	データ送信先データベースが配置されているリージョンを選択します。
      インスタンス	OceanBaseデータベースMySQL互換モードのテナントが配置されているインスタンスのIDまたは名前。インスタンスリスト ページで、ターゲットインスタンスのIDまたは名前を確認できます。 説明 クラウドベンダーがAlibaba Cloudの場合、クロスアカウントで認証されたAlibaba Cloudプライマリアカウントのインスタンスの選択もサポートしています。詳細は、Alibaba Cloudアカウントの認証をご参照ください。
      テナント	OceanBaseデータベースMySQL互換モードのテナントのIDまたは名前。インスタンスリスト ページで、ターゲットインスタンスを展開し、そのインスタンス下のターゲットテナントのIDまたは名前を確認できます。 説明 インスタンスタイプが クラスターインスタンス (分析型) の場合、このパラメータは表示されません。
      データベースアカウント	データ移行に使用するOceanBaseデータベースMySQL互換モードテナントのユーザー名。
      パスワード	データベースユーザーのパスワード。

4. 接続テストと次へ をクリックします。

5. タイプとオブジェクトの選択 ページで、各パラメータを設定します。

   説明

   現在、TiDBデータベースからOceanBaseデータベースMySQL互換モードへのデータ移行では、片方向同期のみをサポートしています。

   1. 移行タイプ エリアで、現在のデータ移行タスクの移行タイプを選択します。

      移行タイプ には、スキーマ移行、フル移行、および 増分同期 が含まれます。

      パラメータ	説明
      スキーマ移行	スキーマ移行では、文字セットのマッピング関係をご自身で定義する必要があります。データ移行では、データ送信元データベースのデータ（構造）をデータ送信先データベースにコピーするだけであり、データ送信元のデータ構造には影響しません。
      フル移行	フル移行タスク開始後、データ移行サービスはデータ送信元データベース内のテーブルの既存データをデータ送信先データベースの対応するテーブルに移行します。
      増分同期	増分同期タスク開始後、データ移行はデータ送信元データベースで変更されたデータ（追加、変更、削除）をデータ送信先データベースの対応するテーブルに同期します。増分同期 は DML同期 をサポートしており、必要に応じてカスタム設定を行うことができます。詳細は、DML/DDLのカスタム設定 をご参照ください。

   2. 移行オブジェクトの選択 エリアで、移行オブジェクトの選択方法を設定します。

      移行オブジェクトを選択する方法には、オブジェクトの指定 と マッチングルール の2つの方法があります。

   3. 移行範囲の選択 エリアで、移行するオブジェクトを選択します。

      • オブジェクトの指定 を選択した場合、データ移行は データベース内のテーブルの移行 および データベース全体の移行 をサポートします。データベース内のテーブルの移行では、1つ以上のデータベース内のテーブルまたはビューを移行オブジェクトとして選択することをサポートし、データベース全体の移行では、データベース全体を移行オブジェクトとして選択することをサポートします。あるデータベースでデータベース内のテーブルの移行を選択した場合、そのデータベースではデータベース全体の移行をサポートしなくなります。あるデータベースでデータベース全体の移行を選択した場合、そのデータベースではデータベース内のテーブルの移行をサポートしなくなります。

        データベース内のテーブルの移行 または データベース全体の移行 を選択した後、左側で移行するオブジェクトを選択し、> をクリックして右側のリストに追加します。

        データ移行はテキストによるオブジェクトのインポートをサポートしており、データ送信先オブジェクトの名前変更、行フィルタリングの設定、列情報の表示、および単一またはすべての移行オブジェクトの削除などの操作をサポートします。

        

        説明

        データベース全体の移行 を選択した場合、右側のリストにはデータベース名のみが表示され、具体的なオブジェクトの表示はサポートされません。

        操作	説明
        オブジェクトのインポート	選択エリアの右側のリストで、右上の オブジェクトのインポート をクリックします。詳細は、移行オブジェクトのインポート をご参照ください。
        名前変更	データ移行は移行オブジェクトの名前変更をサポートしています。詳細は、データベース内のテーブルの名前変更 をご参照ください。
        行フィルタリング	データ移行は WHERE 条件を使用した行フィルタリングをサポートしています。詳細は、SQL条件によるデータフィルタリング をご参照ください。また、列の表示 エリアで移行オブジェクトの列情報を表示することもできます。
        削除/すべてクリア	データ移行は、データマッピング時に、データ送信先に一時的に選択された単一または複数のオブジェクトに対する削除操作をサポートしています。 単一の移行オブジェクトの削除 選択エリアの右側のリストで、ターゲットオブジェクトの後ろにある 削除 アイコンをクリックすると、その移行オブジェクトを削除できます。 すべての移行オブジェクトの削除 選択エリアの右側のリストで、右上の すべてクリア をクリックします。ダイアログボックスで OK をクリックすると、すべての移行オブジェクトを削除できます。

      • マッチングルール の選択についての詳細は、データベースからデータベースへのマッチングルールの設定 をご参照ください。

6. 次へ をクリックし、移行オプション ページで、各パラメータを設定します。

   • フル移行

     タイプとオブジェクトの選択 ステップで、片方向同期 > フル移行 を選択した場合にのみ、以下のパラメータが表示されます。

     パラメータ	説明
     読み取り同時実行構成	このパラメータは、フル移行フェーズでデータ送信元からデータを読み取る際の同時実行数を設定するために使用されます。最大制限は512です。同時実行数が高すぎると、データ送信元の負荷が過大になり、業務に影響を与える可能性があります。
     書き込み同時実行構成	このパラメータは、フル移行フェーズでデータ送信先にデータを書き込む際の同時実行数を設定するために使用されます。最大制限は512です。同時実行数が高すぎると、データ送信先の負荷が過大になり、業務に影響を与える可能性があります。
     フル移行速度の制限	実際のニーズに応じて、フル移行速度の制限を有効にするかを決定できます。有効にする場合は、RPS（フル移行段階で1秒間にデータ送信先に移行できるデータ行数の最大値）とBPS（フル移行段階で1秒間にデータ送信先に移行できるデータ量の最大値）を設定してください。 説明 ここで設定されたRPSとBPSは、スロットリング機能としてのみ機能し、フル移行で実際に達成可能なパフォーマンスは、データ送信元、データ送信先、インスタンス仕様の設定などの要因の影響を受けます。
     データ送信先テーブルオブジェクトにレコードが存在する場合の処理ポリシー	処理ポリシーには 移行停止 と 無視 が含まれます： 移行停止 を選択した場合、データ送信先のテーブルオブジェクトにデータが存在する場合、フル移行はエラーとなり、移行は実行されません。データ送信先のデータを処理してから移行を続行してください。 注意 エラー発生後にリストアをクリックすると、データ移行はこの設定オプションを無視してテーブルデータの移行を続行しますので、慎重に操作してください。 無視 を選択した場合、データ送信先のテーブルオブジェクトにデータが存在する際、元のデータと書き込みデータが競合すると、データ移行は競合データをログに記録し、元のデータを変更せずに維持するポリシーを採用してデータ書き込みを行います。
     インデックスの遅延作成を許可するかどうか	インデックスの遅延作成機能はフル移行の所要時間を短縮できます。ここでは、フル移行の完了後にインデックスを作成するかどうかを設定できます。インデックスの遅延作成を選択する際の注意事項については、表の下の説明をご参照ください。 注意 移行タイプの選択 ページで スキーマ移行 と フル移行 の両方を選択した場合にのみ、このオプションの設定がサポートされます。 非ユニークキーインデックスのみ、遅延作成がサポートされます。

     インデックスの遅延作成を許可する場合、OceanBaseデータベースのハードウェア条件と現在の業務トラフィック状況に基づいて、コマンドラインクライアントツールを使用して以下の業務テナントパラメータを調整することをお勧めします。

     // ファイルメモリバッファ制限
     ALTER SYSTEM SET _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // OceanBaseデータベース V4.xでのレート制限の無効化
     ALTER SYSTEM SET sys_bkgd_net_percentage = 100;  
     

   • 増分同期

     タイプとオブジェクトの選択 ステップで、片方向同期 > 増分同期 を選択した場合にのみ、以下のパラメータが表示されます。

     パラメータ	説明
     書き込み同時実行構成	このパラメータは、増分同期フェーズでデータ送信先にデータを書き込む際の同時実行数を設定するために使用されます。最大制限は512です。同時実行数が高すぎると、データ送信先の負荷が過大になり、業務に影響を与える可能性があります。
     増分移行速度の制限	実際のニーズに基づいて、増分同期の速度制限を有効にするかどうかを決定できます。有効にする場合は、データ送信先の書き込みRPS（増分同期フェーズで1秒間にデータ送信先に同期できる最大データ行数制限）およびデータ送信先の書き込みBPS（増分同期フェーズで1秒間にデータ送信先に同期できる最大トラフィック制限）を設定してください。 説明 ここで設定したRPSおよびBPSは、レートとトラフィックを制限する機能としてのみ機能します。増分同期で実際に到達できるパフォーマンスは、データ送信元、データ送信先、インスタンス仕様の構成などの要因に制限されます。
     増分同期の開始ポイント	移行タイプを選択する際に フル移行 をすでに選択している場合、このパラメータは表示されません。 移行タイプを選択する際に フル移行 を選択せず、増分同期 を選択した場合、特定の時点以降のデータを移行するようにここで指定してください。デフォルトは現在のシステム時刻です。詳細は、増分同期ポイントの設定 をご参照ください。

   • 詳細オプション

     データ送信先のOceanBaseデータベースMySQL互換モードがV4.3.0以降のバージョンであり、かつ タイプとオブジェクトの選択 ステップで スキーマ移行 を選択した場合にのみ、このエリアのパラメータが表示されます。

     

     データ送信先のテーブルオブジェクトのストレージタイプには デフォルト、行ストア、列ストア、および 行/列ハイブリッドストア が含まれます。この設定は、スキーマ移行または増分同期時のデータ送信先のテーブルオブジェクトのストレージタイプを決定するために使用されます。

     説明

     デフォルト オプションは、データ送信先のパラメータ設定に基づいて他のオプションに自動適応するものであり、スキーマ移行のテーブルオブジェクトは設定されたストレージタイプに応じて対応する構造を書き込みます。

7. 事前チェック をクリックすると、システムはデータ移行タスクの事前チェックを実行します。

   事前チェック の段階で、データ移行はデータベースユーザーの読み書き権限や、データベースのネットワーク接続などが要件を満たしているかをチェックします。すべてのチェックタスクに合格して初めて、データ移行タスクを開始できます。事前チェックでエラーが発生した場合：

   • 問題を調査して処理した後、事前チェックが成功するまで事前チェックを繰り返し行えます。

   • または、失敗した事前チェック項目の操作列にある スキップ をクリックすることもできます。この操作をスキップした場合の具体的な影響を示すダイアログボックスがポップアップ表示されます。スキップ可能であることを確認したら、ダイアログボックス内の OK をクリックしてください。

8. 事前チェックが成功した後、購入 をクリックし、データ移行インスタンスの購入 ページに進んで購入します。

   購入が成功すると、データ移行タスクを開始できます。購入の詳細は、データ移行インスタンスの購入 をご参照ください。一時的にデータ移行インスタンスを購入する必要がない場合は、保存 をクリックするとデータ移行タスクの詳細ページにジャンプし、後で必要に応じて手動で購入することができます。

   データ移行の詳細ページの右上にある 検証タスクの構成 をクリックして、データ送信元データベースとデータ送信先のデータベース間のデータの差異を比較することができます。詳細は、データ検証タスクの新規作成 をご参照ください。

   データ移行サービスは、データ移行タスクの実行中に移行オブジェクトを変更することをサポートしています。詳細は、移行オブジェクトの表示と変更 をご参照ください。データ移行タスクが開始されると、選択した移行タイプに応じて順次実行されます。詳細は、データ移行タスクの詳細の確認 内の「移行の表示」モジュールの内容をご参照ください。