本記事では、OB Cloudのデータインポート機能がサポートするファイル形式とエンコーディング形式について説明します。本記事を通じて、要件を満たすファイルを準備し、データをスムーズにOB Cloudにインポートする方法を理解できます。
ファイルエンコーディング形式
OB Cloudのデータインポート機能は、現在以下のファイルエンコーディング形式をサポートしています：
- UTF8
- UTF16
- UTF32
- ISO-8859-1
- ASCII
- GB2312
- GBK
- GB18030
ファイル形式
OB Cloudのデータインポート機能は、現在以下のファイル形式をサポートしています：
- CSV (RFC-4180)
- INSERT SQL
- Apache Parquet (現在はOceanBaseのMySQLモードのみサポート)
- Apache ORC (現在はOceanBaseのMySQLモードのみサポート)
データインポート機能を使用して、OB Cloudがサポートする単一ファイル内のデータを単一のデータテーブルにインポートできます。次に、各ファイル形式のインポートプロセスにおける具体的な制限事項と要件について詳しく説明します。
CSVファイル
OB Cloudのデータインポート機能は、CSVファイルに対して以下の要件を設定しています：
以下の形式に準拠し、データファイルはRFC 4180仕様に厳密に従っていること。詳細はRFC 4180仕様をご参照ください。
- ファイル内の各行は1レコードです。
- 最初のレコードは、フィールド名にすることができます。
- コンマを区切り文字として使用し、コンマの前後のスペースは無視されます。
- フィールドにコンマ、改行文字、スペース、または二重引用符が含まれる場合は、そのフィールドの前後に二重引用符("")を付加する必要があります。
csvおよびtxt拡張子のファイルのみをサポートします。
バイナリデータを含まないこと。
CSV形式では、最大1GBのファイルのアップロードとインポートをサポートします。オブジェクトストレージでは、最大10GBのファイルのインポートをサポートします。
INSERT SQLファイル
OB Cloudのデータインポート機能は、INSERT SQLファイルに対して以下の要件を設定しています：
- sqlおよびtxt拡張子のファイルのみサポートします。
- sql形式では、最大1GBのファイルのアップロードとインポートをサポートします。オブジェクトストレージでは、最大10GBのファイルのインポートをサポートします。
- ファイルの内容はINSERT ... VALUESステートメントのみをサポートします。
- SQL内容が単一のテーブル名であるSQLファイルのみをサポートします。
OB Cloudは、SQL内容に基づいて自動的にテーブル名を認識し、テーブル名が存在しない場合は新規テーブルを作成してインポートします。OB Cloudはデフォルトで主キーを設定しません。1列または複数列を主キーとして設定できます。主キーを設定すると、デフォルトでフィールドのNULL許容制約が設定されます。
モード |
フィールド内容 |
制約 |
フィールドタイプ |
|---|---|---|---|
| OBMySQL | 数値 | デフォルトでNULLを許容 | int |
| 数値以外 | デフォルトでNULLを許容 | varchar(N) ，Nは文字長 | |
| OBOracle | 数値 | デフォルトでNULLを許容 | NUMBER |
| 数値以外 | デフォルトでNULLを許容 | varchar(N) ，Nは文字長 |
Apache Parquet
OB Cloudの データのインポート 機能は、Apache Parquetファイルについて以下の要件を満たす必要があります：
- 単一のParquetファイルから単一のテーブルをインポートすることをサポートします。
- Parquet形式では、最大1GBのファイルのアップロードとインポートをサポートします。オブジェクトストレージでは、最大10GBのファイルのインポートをサポートします。
Apache ORC
OB Cloudの データのインポート 機能は、Apache ORCファイルについて以下の要件を満たす必要があります：
- 単一のORCファイルから単一のテーブルをインポートすることをサポートします。
- ORC形式では最大1GBのファイルのアップロードとインポートをサポートします。オブジェクトストレージでは最大10GBのファイルのインポートをサポートします。