本記事では、Shellスクリプト、ストアドプロシージャ、ODCを使用して、テストデータを一括生成する方法を紹介します。
前提条件
- OceanBaseクラスタをデプロイし、Oracleモードのテナントを作成していること。OceanBaseクラスタのデプロイに関する詳細については、デプロイの概要を参照してください。
- 既に
CREATE TABLE、INSERT、SELECTの権限を保有していること。現在のユーザー権限を確認するための操作情報については、ユーザー権限の確認を参照してください。この権限を保有していない場合は、管理者に連絡して権限の付与を依頼してください。ユーザー権限の付与に関する操作情報については、直接権限付与を参照してください。
Shellスクリプトによるテストデータの一括生成
Shellスクリプトを作成してSQLスクリプトを一括生成することで、大量のテストデータを挿入する作業を効率化でき、煩雑なSQLステートメントを手動で作成する手間を省くことができます。この方法により、必要に応じて大量のテストデータを生成することができ、作業効率を向上させるとともに、手動操作による作業量を削減できます。
操作手順
- テストテーブルを作成します。
- Shellスクリプトを作成します。
- SQLスクリプトを実行します。
- データを確認します。
ステップ１：テストテーブルを作成する
データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。
準備済みのOracleモードのテナントに接続します。
例：
obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -Aテストテーブルを作成します。
例：
以下のSQLステートメントを実行し、テストテーブル
test_sql_file_tbl1を作成します。obclient [SYS]> CREATE TABLE test_sql_file_tbl1 (id NUMBER, name VARCHAR2(20), email VARCHAR2(50));テーブルの作成に関するその他の詳細情報については、テーブルの作成を参照してください。
ステップ2：Shellスクリプトを作成する
テキストエディタを使用して、Shellスクリプトファイルを作成します。ファイルの拡張子には .sh を使用できます。Shellスクリプト内で出力リダイレクト記号（> または >>）を使用して、生成されたテストデータをSQLスクリプトファイルに書き込みます。ループやイテレーションの過程で生成されたデータをSQL（INSERT）ステートメントの形でSQLスクリプトファイルに書き込みます。
ターミナルを開きます。
Shellスクリプトファイルを作成します。
viまたはvimエディタを使用して、新しいShellスクリプトファイルを作成します。例：
以下のコマンドを実行して、Shellスクリプト
generate_sql.shを作成します。vi generate_sql.sh編集モードに入ります。
i キーまたは Insert キーを押して
viまたはvimエディタの挿入モードに入ると、挿入モードでファイルの内容を編集できます。Shellスクリプトのロジックを作成します。
編集モードで、Shellスクリプトのロジックとコマンドを作成します。これらのコマンドは、Shellコマンド、条件ステートメント、ループ構造、関数などにすることができます。
例：
generate_sql.shスクリプトの内容は以下のとおりです：#!/bin/bash # SQLファイル名の定義 SQL_FILE="insert_test_sql_file_tbl1.sql" # SQLファイルの作成 touch $SQL_FILE # SQLステートメントの定義 INSERT_SQL="INSERT INTO test_sql_file_tbl1 (id, name, email) VALUES " # 100,000件のユーザーレコードをループで生成する for ((i=1; i<=100000; i++)) do user_id=$i user_name="user_$i" user_email="user_$i@example.com" values="($user_id, '$user_name', '$user_email')" if (($i == 100000)) then INSERT_SQL="$INSERT_SQL$values;" else INSERT_SQL="$INSERT_SQL$values, " fi done # SQLステートメントをSQLファイルに書き込む echo $INSERT_SQL >> $SQL_FILE説明
- このスクリプトは、
insert_test_sql_file_tbl1.sqlという名前のSQLファイルを生成し、100,000件のユーザーレコードを挿入します。必要に応じて、SQLステートメントとループで生成されるユーザーレコードの数を変更することができます。 - 大量のデータを挿入する際は、関連するサーバーのリソース使用状況を事前に確認し、リソース不足によるデータ挿入の失敗やパフォーマンスの低下を防いでください。
- このスクリプトは、
ファイルを保存します。
Esc キーを押して挿入モードを終了し、
:wqコマンドを入力してファイルを保存してviまたはvimエディタを終了します。Shellスクリプトファイルを実行します。
作成したShellスクリプトをターミナルで実行すると、SQLスクリプトが生成されます。
例：
以下のコマンドを実行して、作成したShellスクリプトを実行します。このコマンドは、現在のディレクトリに、100,000件の
INSERTステートメントを含むinsert_test_sql_file_tbl1.sqlという名前のSQLスクリプトファイルを生成します。sudo bash generate_sql.sh
ステップ3：SQLスクリプトを実行する
以下のコマンドを使用して、SQLスクリプトファイルのデータをデータベースにインポートします。
説明
SQLスクリプトの実行の詳細については、SQLファイルからOceanBaseデータベースにデータのインポートを参照してください。
ターミナルまたはコマンドラインインターフェースを開き、OceanBaseデータベースのOracleモードテナントに接続します。
例：
obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -Aデータベースのコマンドラインインターフェースでは、
sourceコマンドを使用してSQLスクリプトを実行します。例：
obclient [SYS]> source /home/admin/test_data/insert_test_sql_file_tbl1.sql説明
SQLスクリプトファイルを実行する際には、フルパスでSQLスクリプトファイルのパスを指定してください。
実行結果は次のとおりです：
Query OK, 100000 rows affected Records: 100000 Duplicates: 0 Warnings: 0
ステップ4：データを確認する
以下のSQLステートメントを実行し、test_sql_file_tbl1 のデータ行数を確認します。
obclient [SYS]> SELECT count(*) FROM test_sql_file_tbl1;
実行結果は次のとおりです：
+----------+
| COUNT(*) |
+----------+
| 100000 |
+----------+
1 row in set
ストアドプロシージャを使用してテストデータを一括生成する
ストアドプロシージャを使用したテストデータの一括生成は、効果的なメソッドの1つです。ストアドプロシージャを作成することで、大量のテストデータを自動的に生成できます。
操作手順
- テストテーブルを作成します。
- ストアドプロシージャを作成します。
- ストアドプロシージャを呼び出します。
- データを確認します。
ステップ１：テストテーブルを作成する
データベース管理ツール（コマンドラインやグラフィカルツールなど）を使用して、テストデータを格納するためのデータベースを作成し、そのデータベース内に対応するテストテーブル構造を作成します。
準備済みのOracleモードのテナントに接続します。
例：
obclient -hxxx.xxx.xxx.xxx -P2881 -usys@oracle001 -p****** -Aテストテーブルを作成します。
例：
以下のSQLステートメントを実行して、テーブル
test_pro_tbl1を作成します。このテーブルには、3つのフィールドが含まれます：idは整数型のフィールドです。nameは文字列型のフィールドで、最大長は50文字です。enrollment_dateは日付型のフィールドであり、日付データを格納するために使用されます。
obclient [SYS]> CREATE TABLE test_pro_tbl1 ( id NUMBER, name VARCHAR2(50), enrollment_date DATE);
ステップ2：ストアドプロシージャを作成する
カスタム区切り文字を指定します。
例：
DELIMITERコマンドを使用して、カスタム区切り文字//を指定します。obclient [SYS]> DELIMITER //ストアドプロシージャを作成します。
例：
以下のSQLステートメントを実行して、ストアドプロシージャ
pro_generate_dataを作成します。入力パラメータはnで、挿入するデータの件数を指定するために使用されます。ループステートメントとINSERTステートメントを使って、データを生成して挿入します。この中で、test_pro_tbl1はデータ挿入先のテーブル名で、id、nameとenrollment_dateはデータ挿入先のフィールド名です。iはループカウンターを表し、CONCAT関数は名前を生成するために使用され、DATE_ADD関数は日付を生成するために使用されます。obclient [SYS]> CREATE OR REPLACE PROCEDURE pro_generate_data(n IN INT) IS i INT := 1; BEGIN WHILE i <= n LOOP INSERT INTO test_pro_tbl1 (id, name, enrollment_date) VALUES (i, 'Name' || i, TO_DATE('2022-01-01', 'YYYY-MM-DD') + i); i := i + 1; END LOOP; END; //ストアドプロシージャの作成の詳細については、ストアドプロシージャを参照してください。
デフォルトのセミコロン（;）区切り文字に戻します。
obclient [SYS]> DELIMITER ;
ステップ3：ストアドプロシージャを呼び出す
CALL ステートメントを使用してストアドプロシージャを呼び出し、テストデータを生成するロジックを実行します。ストアドプロシージャにパラメータを渡すことで、生成するデータの数を指定できます。
例：
以下のSQLステートメントを実行し、ストアドプロシージャ pro_generate_data を呼び出し、パラメータ値として100,000を渡します。これは、100,000件のデータ挿入が必要であることを示します。
obclient [SYS]> CALL pro_generate_data(100000);
説明
入力パラメータのサイズを増減することで、テストデータの数を制御できます。パラメータのサイズ調整時には、データベースのパフォーマンスとストレージ容量の制限を考慮する必要があります。過剰なデータ生成により、データベースがクラッシュしたり、ストレージ容量が不足したりするのを防ぐためです。
ステップ4：データを確認する
以下のSQLステートメントを実行して、test_pro_tbl1 のデータ行数を確認します。
obclient [SYS]> SELECT count(*) FROM test_pro_tbl1;
実行結果は次のとおりです：
+----------+
| COUNT(*) |
+----------+
| 100000 |
+----------+
1 row in set
ODCを使用してテストデータを一括生成する
OceanBase開発者センター（OceanBase Developer Center、ODC）は、OceanBaseデータベース用に特別に設計されたエンタープライズレベルのデータベース開発プラットフォームです。ODCの詳細については、OceanBase開発者センターとはを参照してください。
ODCは、データベースのパフォーマンステストや機能検証など、大量のモックデータが必要とされるシナリオで、テーブルのフィールドタイプに基づいてデータを迅速に生成するモックデータ機能を提供します。ODCモックデータに関するその他の詳細情報については、モックデータを参照してください。