Catalogと外部テーブル

機能の概要

OceanBaseは、**カタログ（Catalog）と外部テーブル（External Table）**を通じて外部データにアクセスできます。どちらも外部データへのアクセス機能ですが、メタデータの管理方法と適用シナリオが異なります：

• カタログ：外部メタデータサービス（Hive Metastore、MaxComputeプロジェクトなど）に接続し、データベースやテーブルの構造を自動的に同期します。既存のメタデータセンターを持つ構造化データソースに適しています。
• 外部テーブル：OceanBase内で手動でテーブル構造とアクセスパスを定義します。ファイルパス、一時データ、単一テーブルのマッピングなどのシナリオに適しています。

OceanBaseはV4.3.5 BP2からODPS Catalogを、V4.4.1からHMS Catalogをサポートしています。Catalogを利用することで、HMSが管理するHiveテーブル、Icebergテーブル、およびMaxCompute（ODPS）内のテーブルをクエリできます。クエリ時には、internal Catalog内の内部テーブルと連携して連携分析を実行できます。

デプロイメントと環境依存関係

Catalogと外部テーブルの関係

OceanBaseが外部データにアクセスする際には、以下の階層が関わります。混同しないでください：

OceanBaseは、以下の2種類の外部データアクセスモードを提供します：

選定のポイント：

• Catalogは、データソースが既にHMSまたはMaxComputeに登録されているシナリオに適しています。OceanBaseはCatalogを通じてメタデータを読み取り、その後、基盤ストレージやリモートのテーブルにアクセスします。
• 明示的外部テーブルは、パスに従ってCSV / Parquet / ORCファイルにアクセスする場合、またはMaxCompute APIを介して単一のODPSテーブルをマッピングする場合などに適しています。
• Icebergテーブルは、External Catalog（HMS Catalog、REST Catalogなど）を通じてアクセスされ、CREATE EXTERNAL TABLEによるアクセス方法には含まれません。詳細については、Catalogを通じたIcebergテーブルのロードを参照してください。

Catalogタイプ

カタログはデータベースオブジェクトのトップレベル名前空間であり、異なるデータソースのメタデータを整理し、分離するために使用されます。OceanBaseは内部カタログと外部カタログをサポートしています：

内部カタログ

各テナントには、CREATE DATABASE、CREATE TABLE などのDDLで作成されたオブジェクトを含む、internal という名前の内部カタログが1つだけ存在します。internalカタログは外部カタログから論理的に分離されており、internalカタログの作成、削除、名前変更はサポートされていません。

• デフォルトでは USE database; で直接アクセスでき、明示的にカタログを指定する必要はありません。
• 完全なDDL/DMLをサポートしています。データはOceanBase分散ストレージエンジンに保存されます。

USE ap_db;
SELECT COUNT(*) FROM user_behavior;

-- internalカタログを明示的に指定する（オプション）
SELECT COUNT(*) FROM internal.ap_db.user_behavior;

外部カタログ

外部カタログは CREATE EXTERNAL CATALOG で作成します。SQLリファレンスは現在 ODPS Catalog を公式構文としています。HMS Catalog (V4.4.1+) およびIceberg関連のREST / FILESYSTEM Catalogパラメータについては、以下の接続ドキュメントを参照してください。使用前に、現在のクラスタバージョンとSQLリファレンスが更新されていないか確認してください：

• Catalogを使用したHiveテーブルの読み込み
• ODPS Catalog
• Catalogを使用したIcebergテーブルの読み込み

Catalogの作成とアクセス

External Catalogの作成

internal Catalogは手動で作成する必要はありません。外部カタログの作成構文については CREATE EXTERNAL CATALOG を参照してください。各種パラメータの説明については、上記の接続ドキュメントを参照してください。

Catalogの確認

SHOW CATALOGS;

Catalogの切り替えとCross-Catalogクエリ

テーブルを参照する際は、以下のルールに従います：

• セッションのコンテキストを切り替えていない場合は、3部構成の識別子を使用する必要があります：catalog_name.database_name.table_name
• SET CATALOG と USE を実行した後は、略称のテーブル名を使用できます。

方法1：3部構成の識別子（コンテキストの切り替え不要）

SELECT CURRENT_CATALOG();
SELECT DATABASE();

SELECT * FROM hive_catalog.hive_db.hive_table;

SELECT h.*, o.*
FROM hive_catalog.hive_db.hive_table h
JOIN internal.ap_db.ap_table o ON h.id = o.id;

方法2：コンテキストを切り替えた後に略称のテーブル名を使用する

SET CATALOG hive_catalog;
USE hive_db;

SELECT h.*, o.*
FROM hive_table h
JOIN internal.ap_db.ap_table o ON h.id = o.id;

また、SET CATALOG catalog_name; を個別に実行するか、クエリ内で明示的に指定することもできます：

SELECT * FROM odps_catalog.database_name.table_name;

構文の詳細については、SET CATALOGおよびCATALOGの確認を参照してください。

Catalogのサポート範囲

このセクションでは、各外部Catalogの機能範囲を概説します。作成、認証、Location設定などの詳細については、対応する接続ドキュメントを参照してください。

HMS Catalog

ARRAY型の説明については、配列要素型の概要を参照してください。HMSとHDFSの認証メカニズムについては、Catalogを使用したHiveテーブルのロードを参照してください。

ODPS Catalog

詳細なパラメータとAPIモードの説明については、ODPS Catalogを参照してください。

Catalog権限管理

Catalog権限は2つのレベルに分かれています：

MySQLモードの権限

グローバル権限の付与：

GRANT CREATE CATALOG ON *.* TO 'user1';
GRANT USE CATALOG ON *.* TO 'user1' WITH GRANT OPTION;

特定のCatalogに権限を付与する：

GRANT SELECT, USE CATALOG ON CATALOG odps_prod TO 'user1' WITH GRANT OPTION;
REVOKE USE CATALOG ON CATALOG odps_prod FROM 'user1';

補足説明：

1. CREATE EXTERNAL CATALOG の実行が成功すると、作成者は自動的にその Catalog に対する USE CATALOG および SELECT 権限を取得します。
2. Catalog 権限とデータアクセス権限は相互に独立しています。HMS を例にとると、Catalog レイヤーは Hive Metastore に接続してメタデータを取得し、Location レイヤーは HDFS などのストレージ上のデータファイルにアクセスします。両レイヤーの認証は別々に設定する必要があります。

権限検証例：

GRANT SELECT, USE CATALOG ON CATALOG ca1 TO zhangsan WITH GRANT OPTION;
SHOW GRANTS FOR zhangsan;

権限照会ビュー：

• information_schema.USER_PRIVILEGES
• oceanbase.DBA_OB_USERS / CDB_OB_USERS

外部テーブル

外部テーブル（External Table）は、OceanBase側にテーブル定義とアクセスパスを保存し、データは依然として外部ストレージ（オブジェクトストレージ、HDFS、MaxCompute など）に配置されます。外部テーブルは通常読み取り専用であり、制約やインデックスはサポートされません。

Catalog モードと比較して、明示的外部テーブルは以下のシナリオに適しています：

• ファイルパスに基づいて CSV、Parquet、ORC などのデータにアクセスする場合で、データが HMS に登録されていない場合
• 一時的に外部ファイルを調査する場合で、事前に Catalog を構築する必要がない場合
• MaxCompute API を使用して単一の ODPS テーブル（プロジェクト全体ではない）をマッピングする場合

OceanBase でサポートされている外部テーブルのタイプは以下のとおりです：

Iceberg テーブルは CREATE EXTERNAL TABLE でアクセスするものではなく、External Catalog を使用する必要があります。詳細については、Catalog を使用した Iceberg テーブルのロードを参照してください。

関連ドキュメント

アクセスドキュメント

• Catalog を使用した Hive テーブルのロード
• Hive テーブル（HMS）
• Catalog を使用した Iceberg テーブルのロード
• ODPS Catalog
• ODPS 外部テーブル
• ファイル外部テーブル
• URL 外部テーブル
• データレイクの概要

参考ドキュメント

• Catalog の概要（参考）
• Catalog の作成
• カタログの表示
• カタログの削除
• CREATE EXTERNAL CATALOG
• SET CATALOG
• DROP CATALOG