Google Cloudエンドポイントの設定

クラウドベンダーをGoogle Cloudに設定したデータソースまたはデータ移行タスクを作成する際に、エンドポイント接続方式を選択した場合は、事前に設定が必要です。本記事ではその設定方法について説明します。

前提条件

• 対応するタイプのデータベースインスタンスを作成し、そのインスタンスのユーザーVPC内の接続アドレスを取得していること。例えば、MySQLインスタンスは通常 address:port の単一のアドレスペアであり、Kafkaインスタンスには複数のアドレスペア（broker_address1:broker_port1、broker_address2:broker_port2 など）が存在する場合があります。

• エンドポイントサービスに関連付けられたロードバランシングサービスや仮想サーバーなどのリソースでセキュリティグループ設定が有効になっている場合は、OB Cloudデータソースが属するプライベートネットワークアドレスを対応するセキュリティグループに追加する必要があります。詳細については、プライベートネットワークアドレスのネットワークセグメント説明を参照してください。

Cloud SQLインスタンスのプライベートネットワーク接続を設定する

GCP Cloud SQL for MySQL/PostgreSQLは、Private Service Connect (PSC)とPrivate Service Access (PSA)の2種類のプライベートネットワーク接続方式をサポートしています。Google CloudコンソールのCloud SQLインスタンスページにアクセスし、対象Cloud SQLインスタンスのInternal connection methodを確認することで、そのインスタンスがPSCモードかPSAモードを使用しているかを判断できます。

## インスタンスの作成
gcloud compute instances create <instance_name> \
    --project=<project_id> \
    --zone=<zone_id> \
    --machine-type=c2d-standard-2 \
    --network-interface=network-tier=STANDARD,stack-type=IPV4_ONLY,subnet=<subnet_name> \
    --maintenance-policy=MIGRATE \
    --provisioning-model=STANDARD \
    --tags=lb-health-check \
    --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/sqlservice.admin,https://www.googleapis.com/auth/trace.append \
    --create-disk=auto-delete=yes,boot=yes,device-name=<instance_name>,image=projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20240717,mode=rw,size=20,type=pd-balanced \
    --labels=use=rdtest,product=oms,env=devsit

# インスタンスグループを作成し、上記で作成したインスタンスをインスタンスグループに追加する
gcloud compute instance-groups unmanaged create <instance_group_name> \
    --project=<project_id> \
    --zone=<zone_id> \
&& \
gcloud compute instance-groups unmanaged add-instances <instance_group_name> \
    --project=<project_id> \
    --zone=<zone_id> \
    --instances=<instance_name>

# ヘルスチェックを作成する
gcloud compute health-checks create tcp <health_check_name> \
  --project=<project_id> \
  --port=3306 \
  --proxy-header=NONE \
  --region=us-west1 \
  --no-enable-logging \
  --check-interval=5 \
  --timeout=5 \
  --unhealthy-threshold=2 \
  --healthy-threshold=2

Kafkaインスタンスのプライベートネットワーク接続を設定する

Kafkaノードリストの取得

1. Google Cloudコマンドラインインターフェースで以下のコマンドを実行し、Kafkaクラスタ情報を取得します。

   gcloud managed-kafka clusters describe <クラスタ名> --location us-west1
   

   実行結果の bootstrapAddress はBootstrap接続アドレスを表し、subnet はクラスタが存在するサブネットを表します。

2. Kafkaに接続できるインスタンスを作成します。サブネットはGCPのサブネットと一致している必要があります。

   ## インスタンスの作成
   gcloud compute instances create <instance_name> \
       --project=<project_id> \
       --zone=<zone_id> \
       --machine-type=c2d-standard-2 \
       --network-interface=network-tier=STANDARD,stack-type=IPV4_ONLY,subnet=<subnet_name> \
       --maintenance-policy=MIGRATE \
       --provisioning-model=STANDARD \
       --tags=lb-health-check \
       --scopes=https://www.googleapis.com/auth/devstorage.read_only,https://www.googleapis.com/auth/logging.write,https://www.googleapis.com/auth/monitoring.write,https://www.googleapis.com/auth/service.management.readonly,https://www.googleapis.com/auth/servicecontrol,https://www.googleapis.com/auth/sqlservice.admin,https://www.googleapis.com/auth/trace.append \
       --create-disk=auto-delete=yes,boot=yes,device-name=<instance_name>,image=projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20240717,mode=rw,size=20,type=pd-balanced \
       --labels=use=rdtest,product=oms,env=devsit
   
   # インスタンスグループを作成し、上記で作成したインスタンスをインスタンスグループに追加します。
   gcloud compute instance-groups unmanaged create <instance_group_name> \
       --project=<project_id> \
       --zone=<zone_id> \
   && \
   gcloud compute instance-groups unmanaged add-instances <instance_group_name> \
       --project=<project_id> \
       --zone=<zone_id> \
       --instances=<instance_name>
   

3. インスタンスにログインし、以下のコマンドを実行します。

   sudo -i
   yum install -y wget java-1.8.0-openjdk
   
   wget -O kafka_2.13-3.7.2.tgz  https://archive.apache.org/dist/kafka/3.7.2/kafka_2.13-3.7.2.tgz
   tar xfz kafka_2.13-3.7.2.tgz
   export KAFKA_HOME=$(pwd)/kafka_2.13-3.7.2
   export PATH=$PATH:$KAFKA_HOME/bin
   

4. SASL認証情報を取得するための権限を付与し、認証ファイルを client.properties としてインスタンス上に保存します。

   1. Google CloudコンソールのIAMページにログインし、対象のサービスアカウント(service_account、SASLパスワード生成時に使用)を見つけます。

   2. 対象サービスアカウントのキーJSON設定を取得します(キー生成時にダウンロードして保存)。

   3. SASLパスワードを生成します。

      キーJSON設定ファイルの名前が my_service_account.json である場合を例に、インスタンスで以下のコマンドを実行すると、base64エンコードされたパスワードが取得でき、password.txt ファイルに生成されます。

      base64 -w 0 < my_service_account.json > password.txt
      

   4. インスタンスで以下のコマンドを実行し、対象サービスアカウントにGCP上のKafkaサービスへのアクセス権限を付与します。

      gcloud projects add-iam-policy-binding $PROJECT_ID \
      --member serviceAccount: $SERVICE_ACCOUNT_EMAIL \
      --role roles/managedkafka.client
      

   5. SASL_PLAIN方式でデータソースサービスにデータソースを登録し、テスト接続を行います。このファイルをclient.propertiesとして保存します。

      security.protocol=SASL_SSL
      sasl.mechanism=PLAIN
      sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required \
      username="oms-xxxx.iam.gserviceaccount.com" \
      password="ewogICxxxxFwaXMuY29tIgp9Cg==";
      

5. 以下のコマンドを実行して、Brokerノードのアドレスを取得します。

   # --bootstrap-server の後ろには、前述で取得したBootstrap接続アドレスを入力する必要があります
   kafka-configs.sh --bootstrap-server bootstrap.xxxx-test-oms.us-west1.managedkafka.oms-dev-41xxxx02.cloud.goog:9092 --describe --all --entity-type brokers --command-config client.properties | grep advertised.listeners | awk -F'EXTERNAL://|,' '{print $2}'
   

   例：broker-0.bootstrap.xxxx-test-oms.us-west1_managedkafka.oms-dev-41xxxx02.cloud.goog:9092。

Nginxの設定

取得したBrokerノードリストに基づいてNginxを設定します。

# Nginx起動失敗時に設定が必要な場合
sudo setenforce 0

load_module '/usr/lib64/nginx/modules/ngx_stream_module.so';
user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}

stream {
    # 各Serverは一つのKafka Bootstrap Server接続アドレスに対応します
    # listenの後ろはNginxのポート番号で、proxy_passのポート番号と同じである必要はありません
    server {
        listen 19092;
        proxy_pass bootstrap.<region_id>.managedkafka.<project_id>.cloud.goog:9092;
        proxy_timeout 60s;
    }
    
    server {
        listen 19093;
        proxy_pass broker-0.<region_id>.managedkafka.<project_id>.cloud.goog:9092;
        proxy_timeout 60s;
    }

    server {
        listen 19094;
        proxy_pass broker-1.<region_id>.managedkafka.<project_id>.cloud.goog:9092;
        proxy_timeout 60s;
    }

    server {
        listen 19095;
        proxy_pass broker-2.<region_id>.managedkafka.<project_id>.cloud.goog:9092;
        proxy_timeout 60s;
    }
}

ヘルスチェックの作成

gcloud compute health-checks create tcp <health_check_name> \
  --project=<project_id> \
  --port=<任意のNginx転送ポート> \
  --proxy-header=NONE \
  --region=<region_id> \
  --no-enable-logging \
  --check-interval=5 \
  --timeout=5 \
  --unhealthy-threshold=2 \
  --healthy-threshold=2

PSCサービスアタッチメントの作成

ロードバランサーの作成

1. Load Balancingページに移動し、+ CREATE LOAD BALANCERをクリックします。

2. Create a load balancerページで、以下の設定を順に選択します。

   1. Type of load balancerをNetwork Load Balancerに選択し、Nextをクリックします。

   2. Proxy or passthroughをPassthrough load balancerに選択し、Nextをクリックします。

   3. Public facing or internalをInternalに選択し、Nextをクリックします。

   4. 選択が完了したら、CONFIGUREをクリックします。

3. Create Internal passthrough Network Load Balancerページで、各パラメータを設定します。

4. CREATEをクリックします。

Publish Serviceの作成

1. PUBLISH SERVICESページに移動し、+ PUBLISH SERVICEをクリックします。

2. Publish Serviceページで、各パラメータを設定します。

   1. Load Balancer TypeをInternal passthrough Network Load Balancerに選択します。

   2. Internal load balancerドロップダウンリストから、作成済みのロードバランサーを選択します。

   3. Service nameテキストボックスにカスタム名を入力します。

   4. Subnetsドロップダウンリストから作成済みのサブネットを選択し、OKをクリックします。新規作成が必要な場合は、RESERVE NEW SUBNETをクリックしてサブネットを新規作成します。

      注意

      Publish Service Subnetがユーザーのバックエンドサービスにアクセスできることを確認してください。

   5. Accepted projectsエリアで、+ ADD ACCEPTED PROJECTをクリックし、権限を付与するプロジェクト名を入力します。

      ここでのプロジェクト名は、データサービス>データソースの新規作成またはデータ移行タスクの新規作成ページのConnectionエリアに表示されているプロジェクト名をコピーしてください。

3. 設定が完了したら、ADD SERVICE をクリックします。

Service Attachmentの取得

Publish Serviceを作成した後、Service attachmentをコピーし、データソースまたはデータ移行タスクの作成ページにあるGoogle Cloud > Endpoint > Connectionに入力する必要があります。タスクの詳細については、MySQLデータベースのデータをOceanBaseデータベースのMySQL互換モードに移行するを参照してください。

Service attachmentをコピーする手順は以下のとおりです：

1. Published servicesページで、対象のService名をクリックします。

2. Private Service Connect service detailsページで、Service attachmentの後ろにあるコピーアイコンをクリックして、サービス接続を取得します。