テストデータの一括生成

本記事では、Shellスクリプト、ストアドプロシージャ、ODCを使用して、テストデータを一括生成する方法を紹介します。

前提条件

• OceanBaseクラスタをデプロイし、MySQLモードのテナントを作成していること。OceanBaseクラスタのデプロイに関する情報については、デプロイの概要を参照してください。
• 既にCREATE、INSERT、SELECT 権限を保有していること。現在のユーザー権限を確認するためのその他の関連操作情報については、ユーザー権限の確認を参照してください。この権限を保有していない場合は、管理者に連絡して権限の付与を依頼してください。ユーザー権限の付与に関する操作情報については、直接権限付与を参照してください。

Shellスクリプトによるテストデータの一括生成

Shellスクリプトを作成してSQLスクリプトを一括生成することで、大量のテストデータを挿入する作業を効率化でき、煩雑なSQLステートメントを手動で作成する手間を省くことができます。この方法により、必要に応じて大量のテストデータを生成することができ、作業効率を向上させるとともに、手動操作による作業量を削減できます。

操作手順

1. テストデータベースとテストテーブルを作成します。
2. Shellスクリプトを作成します。
3. SQLスクリプトを実行します。
4. データを確認します。

ステップ１：テストデータベースとテストテーブルを作成する

データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。

1. 準備済みのMySQLモードのテナントに接続します。

   例：

   obclient -hxxx.xxx.xxx.xxx -P2881 -uroot@mysql001 -p****** -A
   

2. テストデータベースを作成します。

   例：

   以下のSQLステートメントを実行し、テストデータベース test_sql_file_db を作成します。

   CREATE DATABASE test_sql_file_db;
   

   データベースの作成に関するその他の詳細情報については、データベースの作成を参照してください。

3. テストテーブルを作成します。

   例：

   以下のSQLステートメントを実行し、テストテーブル test_sql_file_db.test_sql_file_tbl1 を作成します。

   CREATE TABLE test_sql_file_db.test_sql_file_tbl1 (id INT, name VARCHAR(50), email VARCHAR(50));
   

   テーブルの作成に関するその他の詳細情報については、テーブルの作成を参照してください。

ステップ2：Shellスクリプトを作成する

テキストエディタを使用して、Shellスクリプトファイルを作成します。ファイルの拡張子には .sh を使用できます。Shellスクリプト内で出力リダイレクト記号（> または >>）を使用して、生成されたテストデータをSQLスクリプトファイルに書き込みます。ループやイテレーションの過程で生成されたデータをSQL（INSERT）ステートメントの形でSQLスクリプトファイルに書き込みます。

1. ターミナルを開きます。

2. Shellスクリプトファイルを作成します。

   vi または vim エディタを使用して、新しいShellスクリプトファイルを作成します。

   例：

   以下のコマンドを実行して、Shellスクリプト generate_sql.sh を作成します。

   vi generate_sql.sh
   

3. 編集モードに入ります。

   i キーまたは Insert キーを押して vi または vim エディタの挿入モードに入ると、挿入モードでファイルの内容を編集できます。

4. Shellスクリプトのロジックを作成します。

   編集モードで、Shellスクリプトのロジックとコマンドを作成します。これらのコマンドは、Shellコマンド、条件ステートメント、ループ構造、関数などにすることができます。

   例：

   generate_sql.sh スクリプトの内容は以下のとおりです：

   #!/bin/bash
   
   # SQLファイル名の定義
   SQL_FILE="insert_test_sql_file_tbl1.sql"
   
   # SQLファイルの作成
   touch $SQL_FILE
   
   # SQLステートメントの定義
   INSERT_SQL="INSERT INTO test_sql_file_tbl1 (id, name, email) VALUES "
   
   # 100,000件のユーザーレコードをループで生成する
   for ((i=1; i<=100000; i++))
   do
       user_id=$i
       user_name="user_$i"
       user_email="user_$i@example.com"
       values="($user_id, '$user_name', '$user_email')"
       if (($i == 100000))
       then
           INSERT_SQL="$INSERT_SQL$values;"
       else
           INSERT_SQL="$INSERT_SQL$values, "
       fi
   done
   
   # SQLステートメントをSQLファイルに書き込む
   echo $INSERT_SQL >> $SQL_FILE
   

   説明

   • このスクリプトは、insert_test_sql_file_tbl1.sql という名前のSQLファイルを生成し、100,000件のユーザーレコードを挿入します。必要に応じて、SQLステートメントとループで生成されるユーザーレコードの数を変更することができます。
   • 大量のデータを挿入する際は、関連するサーバーのリソース使用状況を事前に確認し、リソース不足によるデータ挿入の失敗やパフォーマンスの低下を防いでください。

5. ファイルを保存します。

   Esc キーを押して挿入モードを終了し、:wq コマンドを入力してファイルを保存して vi または vim エディタを終了します。

6. Shellスクリプトファイルを実行します。

   作成したShellスクリプトをターミナルで実行すると、SQLスクリプトが生成されます。

   例：

   以下のコマンドを実行して、作成したShellスクリプトを実行します。このコマンドは、現在のディレクトリに、100,000件の INSERT ステートメントを含む insert_test_sql_file_tbl1.sql という名前のSQLスクリプトファイルを生成します。

   sudo bash generate_sql.sh
   

ステップ3：SQLスクリプトを実行する

コマンドラインインターフェースを使用して、以下のコマンドを実行することで、SQLスクリプトファイルのデータをインポートできます。

obclient -h$host -u$user_name -P$port -p$password -D$database_name < $sql_file

パラメータの説明：

• $host：OceanBaseデータベースへの接続IPアドレス。OceanBaseデータベースプロキシ(OceanBase Database Proxy、ODP)接続方式ではODPアドレスを使用し、直接接続方式ではOBServerノードのIPアドレスを使用します。

• $port：OceanBaseデータベースへの接続ポート。ODP接続方式のデフォルトポートは2883で、ODPデプロイ時にカスタマイズ可能です。直接接続方式のデフォルトポートは2881で、OceanBaseデータベースのデプロイ時にカスタマイズ可能です。

• $database_name：アクセス対象のデータベース名。

  注意

  テナントに接続するユーザーには、データベースに対する CREATE、INSERT、SELECT 権限が付与されていなければなりません。ユーザー権限に関するその他の詳細については、MySQLモードの権限分類を参照してください。

• $user_name：テナントの接続アカウント。ODP接続の一般的な形式：ユーザー名@テナント名#クラスタ名またはクラスタ名:テナント名:ユーザー名。直接接続方式の形式：ユーザー名@テナント名。

• $password：アカウントのパスワード。

• $sql_file：SQLスクリプトファイル名。

  説明

  SQLスクリプトファイルを実行する際には、フルパスでSQLスクリプトファイルのパスを指定してください。

例：

以下のコマンドを実行します。このコマンドは、指定されたOceanBaseデータベースサーバーに接続し、SQLスクリプトファイル内のすべての INSERT ステートメントを、test_sql_file_db という名前のデータベースに1つずつインポートして、insert_test_sql_file_tbl1 テーブルに100,000件のデータを挿入します。

obclient -hxxx.xxx.xxx.xxx -uroot@mysql001 -P2881 -p****** -Dtest_sql_file_db < /home/admin/test_data/insert_test_sql_file_tbl1.sql

ステップ4：データを確認する

以下のSQLステートメントを実行して、test_sql_file_db.test_sql_file_tbl1 のデータ行数を確認します。

obclient [(none)]> SELECT count(*) FROM test_sql_file_db.test_sql_file_tbl1;

実行結果は次のとおりです：

+----------+
| count(*) |
+----------+
|   100000 |
+----------+
1 row in set

ストアドプロシージャを使用してテストデータを一括生成する

ストアドプロシージャを使用したテストデータの一括生成は、効果的なメソッドの1つです。ストアドプロシージャを作成することで、大量のテストデータを自動的に生成できます。

操作手順

1. テストデータベースとテストテーブルを作成します。
2. ストアドプロシージャを作成します。
3. ストアドプロシージャを呼び出します。
4. データを確認します。

ステップ１：テストデータベースとテストテーブルを作成する

データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。

1. 準備済みのMySQLモードのテナントに接続します。

   例：

   obclient -hxxx.xxx.xxx.xxx -P2881 -uroot@mysql001 -p****** -A
   

2. テストデータベースを作成します。

   例：

   以下のSQLステートメントを実行して、テストデータベース test_db を作成します。

   obclient [(none)]> CREATE DATABASE test_db;
   

3. 以下のSQLステートメントを実行して、test_db データベースに切り替えます。

   obclient [(none)]> use test_db;
   

   実行結果は次のとおりです：

   Database changed
   obclient [test_db]>
   

4. テストテーブルを作成します。

   例：

   以下のSQLステートメントを実行し、テーブル test_pro_tbl1 を作成します。このテーブルには、4つのフィールドが含まれます：

   • id は整数型のフィールドです。主キーとして定義され、自動インクリメントで番号が付けられます。
   • create_time は日付時刻型のフィールドで、行データの作成日時を表します。DEFAULT CURRENT_TIMESTAMP を使用して、デフォルト値を現在時刻に設定します。
   • name は文字列型のフィールドで、最大長は50文字です。
   • enrollment_date は日付型のフィールドであり、日付データを格納するために使用されます。

   obclient [test_db]> CREATE TABLE test_pro_tbl1 (
     id INT NOT NULL AUTO_INCREMENT,
     create_time DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
     name VARCHAR(50),
     enrollment_date DATE,
     PRIMARY KEY(id));
   

ステップ2：ストアドプロシージャを作成する

1. カスタム区切り文字を指定します。

   例：

   DELIMITER コマンドを使用して、カスタム区切り文字 // を指定します。

   DELIMITER //
   

2. ストアドプロシージャを作成します。

   例：

   以下のSQLステートメントを実行して、ストアドプロシージャ pro_generate_data を作成します。入力パラメータは n で、挿入するデータの件数を指定するために使用されます。ループステートメントと INSERT ステートメントを使って、データを生成して挿入します。この中で、test_pro_tbl1 はデータ挿入先のテーブル名、name と enrollment_date はデータ挿入先のフィールド名です。i はループカウンターを表し、CONCAT 関数は名前を生成するために使用され、DATE_ADD 関数は日付を生成するために使用されます。

   CREATE PROCEDURE pro_generate_data(IN n INT)
   BEGIN
   DECLARE i INT DEFAULT 1;
   WHILE i <= n DO
       INSERT INTO test_pro_tbl1 (name, enrollment_date) VALUES (CONCAT('Name', i), DATE_ADD('2022-01-01', INTERVAL i DAY));
       SET i = i + 1;
   END WHILE;
   END;
   //
   

   ストアドプロシージャ作成に関するその他の詳細については、ストアドプロシージャを参照してください。

3. デフォルトのセミコロン（;）区切り文字に戻します。

   DELIMITER ;
   

ステップ3：ストアドプロシージャを呼び出す

CALL ステートメントを使用してストアドプロシージャを呼び出し、テストデータを生成するロジックを実行します。ストアドプロシージャにパラメータを渡すことで、生成するデータの数を指定できます。

例：

以下のSQLステートメントを実行し、ストアドプロシージャ pro_generate_data を呼び出し、パラメータ値として100,000を渡します。これは、100,000件のデータ挿入が必要であることを示します。

obclient [test_db]> CALL pro_generate_data(100000);

ステップ4：データを確認する

以下のSQLステートメントを実行して、test_pro_tbl1 のデータ行数を確認します。

obclient [test_db]> SELECT count(*) FROM test_pro_tbl1;

実行結果は次のとおりです：

+----------+
| count(*) |
+----------+
|   100000 |
+----------+
1 row in set

ODCを使用してテストデータを一括生成する

OceanBase開発者センター（OceanBase Developer Center、ODC）は、OceanBaseデータベース用に特別に設計されたエンタープライズレベルのデータベース開発プラットフォームです。ODCの詳細については、OceanBase開発者センターとはを参照してください。

ODCは、データベースのパフォーマンステストや機能検証など、大量のモックデータが必要とされるシナリオで、テーブルのフィールドタイプに基づいてデータを迅速に生成するモックデータ機能を提供します。ODCモックデータに関するその他の詳細情報については、モックデータを参照してください。

関連ドキュメント

• データベースへの接続に関するその他の詳細情報については、接続方法の概要を参照してください。
• テーブルの削除に関するその他の詳細については、テーブルの削除を参照してください。
• データの削除に関するその他の詳細については、データの削除を参照してください。