本記事では、データ検証タスクの作成時に検証対象を選択した後、SQL条件で検証対象をフィルタリングする適用シナリオ、制限事項、および操作手順について説明します。
適用シナリオ
データ検証タスクを新規作成する際、SQLフィルタ条件を設定して検証対象をフィルタリングできます。設定完了後、フィルタ条件を満たす対象のみが検証されます。この機能は、データの定期検証、データテーブルの分割、履歴データや不良データのフィルタリングなど、多様なアプリケーションシナリオに適用できます。
制限事項
SQL条件で検証対象をフィルタリングする場合、現在のテーブルのフィールドのみをフィルタリングでき、テーブル間のフィルタリングはサポートされません。
SQL条件で検証対象をフィルタリングする作用範囲は、全量検証です。
操作手順
データ検証タスクを、タイプとオブジェクトを選択してください ステップの オブジェクトを選択してください エリアに配置します。
データ検証タスクの具体的な操作方法については、検証タスクの新規作成をご参照ください。
検証対象を選択した後、右側のリストエリアで、対象のテーブルオブジェクトをクリックし、表示される 行フィルタリング アイコンをクリックします。
設定 ダイアログボックスで、標準SQLステートメントの
WHERE句を入力して行フィルタリングを設定します。SQL WHEREステートメントの構文説明は以下のとおりです:
列名は大文字小文字を区別しません。正しい列名を入力し、列名にエスケープ文字(`)を追加してください。例:`col`。
フィルタ条件は標準SQL WHEREステートメントをサポートします(=、!=、<、> 演算子のみサポート)。WHERE条件を満たすデータのみがターゲットデータベースに移行されます。例:`id` > 200。
フィルタ条件は時間条件に基づくフィルタリングをサポートしますが、SQL WHEREステートメントにおける時間のフォーマット要件(yyyy-MM-dd HH:mm:ss または yyyy-MM-dd)に注意してください。例:2022年12月31日以降の増分データをフィルタリングするには、`date_now` > '2022-12-31' または `date_now` > '2022-12-31 00:00:00' と入力してください。
特定の期間内のデータをフィルタリングする必要がある場合は、and または or ステートメントを使用してください。例:2021年12月31日から2022年4月1日までのデータをフィルタリングするには、`init_date`>'2021-12-31' and `init_date`<'2022-04-01' と入力してください。
フィルタ条件では、英字のシングルクォート(')を使用する必要があります。例:`address` in ('BEIJING','HANGZHOU')。
設定完了後、構文の検証 をクリックし、構文検証が通過したことを確認します。
列に誤りがないことを確認した後、OK をクリックします。
プロンプトに従って、その後のタスク設定を完了します。