同一のテーブルに基づき、データの一貫性が保たれることを前提とし、他の要因の干渉がない場合における最適なデータアーカイブ設定を本ドキュメントで示します。
データ量の多いテーブルのアーカイブに最適な設定
シナリオ1：4コア8GBのテナント構成（小型）
テーブルサイズ：7000万件のデータ（約85GB）、5000万件をアーカイブ
- スロットリング設定：
- 行スロットリング：10万行/秒
- 帯域幅スロットリング：40MB/秒
- スレッド設定：
- 読み取りスレッド：6
- 書き込みスレッド：12 (読み取り:書き込み = 1:2)
- 性能：
- 時間：35分38秒（最短）
- 読み取り性能：32,580行/秒
- 書き込み性能：26,097行/秒
- リソース使用状況：
- CPU：100%
- メモリ：100%
- ターゲットクラスタとソースクラスタの観察
- クラスタ状態：正常、ジッターなし
シナリオ2：8コア16GBのテナント構成（中型）
テーブルサイズ：1億1000万件のデータ、5000万件をアーカイブ
スロットリング設定：
- 行スロットリング：80万行/秒
- 帯域幅スロットリング：80MB/秒
スレッド設定：
- 読み取りスレッド：36
- 書き込みスレッド：72 (読み取り:書き込み = 1:2)
性能：
- 時間：1時間20分 説明：これ以上上げても向上は見られません。テナント構成の制限を受けます。
シナリオ3：16コア32GBのテナント構成（大型）
テーブルサイズ：1億1000万件のデータ、5000万件をアーカイブ
スロットリング設定：
- 行制限: 30万行/秒
- 帯域幅制限: 80MB/秒
スレッド構成:
- 読み取りスレッド: 12
- 書き込みスレッド: 24 (読み取り:書き込み = 1:2)
性能:
- 所要時間: 29分 (最適) 説明: ソーステナントの仕様を変更しない場合、ターゲットテナントの仕様を16コア32GBに調整すると、所要時間は半分に短縮できます。
小規模テーブルのアーカイブに最適な構成
シナリオ1：4コア8GBテナント構成
テーブルサイズ: 1億1千万件のデータ、5000万件をアーカイブ
制限設定:
- 行制限: 10万行/秒
- 帯域幅制限: 10MB/秒
スレッド構成:
- 読み取りスレッド: 6
- 書き込みスレッド: 12 (読み取り:書き込み = 1:2)
性能:
- 所要時間: 21分5秒 (最短)
- 読み取り性能: 101,040行/秒
- 書き込み性能: 43,968行/秒
シナリオ2：8コア16GBテナント構成
テーブルサイズ: 1億1千万件のデータ、5000万件をアーカイブ
- 制限設定:
- 行制限: 80万行/秒
- 帯域幅制限: 80MB/秒
- スレッド構成:
- 読み取りスレッド: 24
- 書き込みスレッド: 56 (読み取り:書き込み ≈ 1:2.3)
- 性能:
- 所要時間: 10分以内
- 最大読み取り性能: 28.6万行/秒
- 最大書き込み性能: 11万行/秒
- 説明: シャーディング速度の制限により、これ以上の拡張はできません。
ラージフィールドテーブルのアーカイブ構成
シナリオ：8コア16GBテナント構成
- テーブル構造: ラージフィールド（varchar(4000)、varchar(1024)など）を含む
- テーブル規模：1億1千万件のデータ、5000万件をアーカイブ
- パフォーマンス：
- 最大読み取りパフォーマンス：3.5万Row/s
- 最大書き込みパフォーマンス：2.0万Row/s
- アーカイブ時間：1時間20分（最適値） 注：大規模フィールドテーブルのパフォーマンスは通常テーブルより明らかに低く、フィールドサイズの影響を受けます。
推奨構成案
一般構成原則
- スレッド構成：読み取りスレッド>書き込みスレッド = 1:2。
- 制限構成：テナント仕様とテーブルタイプに応じて調整します。
- リソース使用：CPUとメモリの使用率は100%に達する可能性がありますが、クラスタの安定性を確保する必要があります。
テナント仕様別推奨構成
テナント仕様 |
テーブルタイプ |
データ量（アーカイブデータ量） |
行制限 |
帯域幅制限 |
読み取りスレッド |
書き込みスレッド |
予想時間 |
|---|---|---|---|---|---|---|---|
| 4c8G | 大表 | 1.1亿，归档0.5亿 | 10W Rows/s | 40 MB/s | 6 | 12 | ~1小时25分钟 |
| 4c8G | 小表 | 1.1亿，归档0.5亿 | 10W Rows/s | 40 MB/s | 6 | 12 | ~21分钟 |
| 8c16G | 大表 | 1.1亿，归档0.5亿 | 10W Rows/s | 40 MB/s | 36 | 72 | ~1小时20分钟 |
| 8c16G | 小表 | 1.1亿，归档0.5亿 | 80W Rows/s | 80 MB/s | 24 | 56 | <10分钟 |
まとめ
データアーカイブの最適構成は、以下の要素を総合的に考慮する必要があります：
- テナント仕様（4c8G / 8c16G / 16c32G）
- テーブルタイプ（大表 / 小表 / 大規模フィールドテーブル）
- スレッド構成（読み取り:書き込み = 1:2）
- 制限構成（行制限 + 帯域幅制限）
- ODCのデフォルト設定に関する推奨：4c8Gクラスタでは、10W /40Mの構成を推奨し、スレッド構成は（読み取り・書き込み）6/12を推奨します。
核心原則：クラスタの安定性を保証する前提の下、テナントリソースを最大限に活用し、適切なスレッドと制限の構成により、最適なアーカイブパフォーマンスを実現します。