AIサービスの モデル ページでは、モデルマーケットを閲覧・管理し、デフォルトモデルを設定し、データソースモデルの登録を管理することができます。また、モデルのAPI呼び出し例やSQL呼び出し例も確認できます。これらの機能により、アプリケーションから直接モデルを呼び出すことも、データベース内でAI Functionを通じてモデル機能を利用することも可能になります。
機能の概要
AIモデルページでは、以下の機能を利用できます：
モデルマーケットの閲覧：現在使用可能なモデルのリストを確認し、ベンダーやタイプでフィルタリングしてモデルを検索し、指定したモデルを有効または無効にすることができます。
モデル性能の比較：異なるモデルの7日間の性能トレンドと24時間の可用性を比較し、選定を支援します。
デフォルトモデルの設定：**ベースモデル**タブで、テキスト生成、テキスト埋め込み、テキスト並べ替え、マルチモーダル埋め込み、マルチモーダル並べ替えなどのシナリオに対するデフォルトモデルを選択します。
データソースモデルの登録管理：有効にすると、システムはデータベースAIモデルの登録に関連する機能を自動的に処理し、その後のデータベース側からの直接モデル呼び出しを容易にします。
モデル呼び出し例の表示：API呼び出し例とSQL呼び出し例の生成をサポートし、接続と検証を迅速に完了するのに役立ちます。
レート制限：**制限速度・限度額**タブで、異なるモデルタイプに対してTPMとRPMの上限を設定します。
前提条件
AIサービスページにアクセスし、サービスを有効にしていること。
使用可能なAPI Keyを作成済みであること。詳細な操作については、AI API Keyの管理をご参照ください。
データベース内でSQLを使用してモデルを呼び出す必要がある場合は、
ACCESS AI MODEL権限を持つデータベースアカウントでデータベースにログインし、AIモデルを呼び出してください。詳細については、AI Functionの組み込みモデルの有効化をご参照ください。
モデルマーケット
AIサービスの**モデルページに移動すると、デフォルトでモデルマーケット**タブが表示されます。
タブの上部で、以下の機能を使用してモデルをフィルタリングおよび表示できます：
操作説明モデルまたはベンダーの検索 モデル名またはベンダー名で検索します。 ベンダー モデルのベンダーでフィルタリングします。例：火山引擎、Alibaba Cloud百炼。 タイプ モデルの機能タイプでフィルタリングします。例：テキスト生成、ビデオ生成、画像生成（非同期のみ）。 モデル性能の比較 モデル性能比較パネルを開き、散布図で選択したモデルの平均スループット（tokens/s）と総合評価（0～5）の2つの指標におけるパフォーマンスを比較します。ベンダー、**モデル**でフィルタリングでき、色分けされたベンダーごとに出力速度と総合能力を比較して選定できます。 モデルはカード形式で表示され、各カードには通常以下の情報が含まれます：
情報項目説明モデル名 モデルの一意の識別子で、呼び出し時にこの名前を指定する必要があります。 機能タイプ モデルがサポートするタスクタイプ。例：テキスト生成、ビデオ生成、画像生成（非同期のみ）。 プロバイダー モデルが属するクラウドサービスベンダー。 7日間の性能 過去7日間の性能トレンドグラフ。 24時間可用率 過去24時間の可用性指標。 総合評価 モデルの総合的なパフォーマンス評価（0～5）。精度、応答速度、安定性など複数の観点から評価されます。 有効化スイッチ 現在のプロジェクトでこのモデルを有効にするかどうかを制御します。オフにすると、このモデルは呼び出しできなくなります。 モデルマーケットで現在サポートされているモデルタイプは、以下のものに限定されません：
タイプ説明テキスト生成 対話生成、コンテンツ作成、Q&A、コード生成などのシナリオに使用されます。 動画生成 テキストから動画、画像から動画、動画編集などのシナリオに使用されます。 画像生成（非同期のみ） 画像生成および画像編集シナリオに使用されます。非同期呼び出しのみをサポートしています。 各モデルの詳細については、組み込みモデル一覧をご参照ください。
基本設定
モデル ページで、ベースモデル タブに切り替えます。
基本モデル エリアで、必要に応じて以下のタスクのデフォルトモデルを選択します。詳細については、組み込みモデル一覧をご参照ください。
デフォルトモデル説明テキスト生成 対話生成、コンテンツ作成、Q&Aなどのシナリオに使用されます。 テキスト埋め込み テキストをベクトルに変換するために使用され、意味検索や類似度計算などのシナリオに適しています。 テキスト再ソート 召還結果の関連性を再ソートし、検索結果の品質を向上させます。 マルチモーダル埋め込み 画像、テキストなどのマルチモーダルコンテンツをベクトルに変換するために使用され、クロスモーダル検索などのシナリオに適しています。 マルチモーダル再ソート マルチモーダル召還結果を再ソートし、マルチモーダル検索の効果を向上させます。 設定を保存すると、今後の呼び出しでは設定したデフォルトモデルが優先的に使用されます。
モデル呼び出しの強化機能：
自動ルーティングポリシー：リクエストのコンテキスト、モデルの能力、および事前設定されたビジネスルールに基づいて、リクエストの動的ルーティングと負荷分散を行い、サービス品質を保証しつつ、コスト、遅延、安定性を考慮します。
デフォルトモデルに戻す：有効にすると、指定したモデルが利用不可、呼び出し異常、または関連設定に変更があった場合、システムは自動的にデフォルトモデルにフォールバックし、呼び出しの連続性を向上させます。
モデルプロバイダー エリアで、現在使用可能な基本モデルサプライヤー情報を確認できます。ページは通常、カード形式でサプライヤー名、モデルの出典、モデル数などの内容を表示します。
スロットリング制限
モデル ページで スロットリング制限 タブに切り替えると、各モデルタイプのレート制限を確認および変更できます。
プロジェクト管理者とプロジェクト所有者は、現在のプロジェクトに対してモデルのレート制限を設定できます。モデルの上限レートは組織レベルのレート制限に依存します。より高いクォータが必要な場合は、組織管理者に連絡して組織のレート制限を引き上げてもらってください。
各モデルタイプのデフォルトレート制限は以下のとおりです：
モデルタイプ |
分単位トークン数 (TPM) |
分単位リクエスト数 (RPM) |
|---|---|---|
| テキスト生成 | 100,000 | 10 |
| テキスト埋め込み | 100,000 | 10 |
| テキストの並べ替え | 100,000 | 10 |
| マルチモーダル埋め込み | 100,000 | 10 |
| マルチモーダル並べ替え | 100,000 | 10 |
レート制限の変更
各モデルタイプのレート制限を変更する手順は以下のとおりです：
制限速度・限度額 タブのレート制限リストで、変更するモデルタイプを見つけます。
対応する行の操作列の ··· をクリックし、ポップアップウィンドウで 1分あたりのトークン数(TPM) と 1分あたりのリクエスト数(RPM) の値を調整します。変更後の値は組織レベルのレート制限の上限を超えてはなりません。
チェックボックスアイコンをクリックして、変更を完了します。
データソースモデル登録管理
データソースモデル登録管理は、データベース側のモデル登録に関する機能を制御します。有効にすると、システムがデータベースのモデル登録に必要な機能を自動的に処理します。無効にしても、SQLを手動で生成し、データベース側で登録を完了することは可能です。
主なユースケースがSQLやAI Functionによるモデル呼び出しの場合は、このオプションを有効にしてデータベース接続プロセスを簡素化することを推奨します。
操作手順
モデルページの右上隅にあるデータソースモデル登録管理をクリックします。
ポップアップウィンドウで以下の設定を行います：
**インスタンス**の選択：V4.4.2以降のバージョンのインスタンスのみサポートしています。AIモデルを登録する対象インスタンスを選択します。
**テナント**の選択：対象インスタンス内のテナントを選択します。
AI Functionから呼び出せるモデルエリアで、モデルの出典を選択します：
デフォルトモデル：既に設定されているデフォルトモデルを直接選択します。
カスタムモデル：ビジネスニーズに応じて、モデルリストから指定したモデルを選択します。
API Keyの選択：認証に使用するAPI Keyを選択します。新しいAPI Keyを作成する必要がある場合は、**APIキーを作成する**をクリックします。
**SQLを生成**をクリックし、AIモデルの登録に使用できるSQLステートメントを取得します。
実際の呼び出し時には、ACCESS AI MODEL権限を持つデータベースアカウントでデータベースにログインし、AIモデルを呼び出す必要があります。
生成されたSQLは、対象データベースでモデル登録を完了するために使用できます。
モデル呼び出し例の表示
モデルページの右上隅にあるモデル呼び出し例をクリックすると、APIとSQLの2種類のモデル呼び出し例を見ることができます。
APIによるモデル呼び出し
APIによるモデル呼び出しタブでは、HTTPインターフェースを通じてモデルを呼び出す例が表示されます。プロセスは以下のとおりです：
認証に使用するAPI Keyを作成します。
API Keyを使用して、HTTPリクエストによりモデルを呼び出します。
詳細については、AI APIリストをご参照ください。
curl -X POST https://ai-api-g.oceanbase.com/api/v1/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "qwen-flash", "messages": [{"role": "user", "content": "Hello"}]}'
SQL呼び出しモデル
SQL呼び出しモデルタブでは、AI Functionを使用してデータベース内でモデルを呼び出す例が表示されます。SQLでモデルを呼び出すには、次のようにします：
SELECT AI_COMPLETE("ob_complete","How are you") AS ans;
SELECT AI_EMBEDDING("ob_embed","I am OceanBase Cloud AI") AS embedding;
SELECT AI_RERANK("ob_rerank","Apple",["apple","banana","fruit","vegetable"]) AS rerank_result;
スロットリング制限
プロジェクト管理者およびプロジェクト所有者は、現在のプロジェクトに対してモデルのスロットリング制限を設定できます。プロジェクトのスロットリング上限は組織レベルのスロットリング制限によって決まります。より高いクォータが必要な場合は、組織管理者に連絡して組織のスロットリング制限を引き上げてもらってください。
スロットリング制限の説明
- 組織のモデルレート上限が最終的な制限となり、組織内のすべてのプロジェクトに適用されます。
- APIの使用は、1分あたりのトークン数(TPM)と1分あたりのリクエスト数(RPM)によって制限されます。ある1分間のトークン数またはリクエスト数がこの制限を超えた場合、その分の後続リクエストは制限されます。これは、リソース利用の公平性とシステムの安定性を確保するためです。
各モデルタイプのデフォルトのスロットリング制限は以下のとおりです：
モデルタイプ |
月間クォータ(M Tokens) |
1分あたりのトークン数(TPM) |
1分あたりのリクエスト数(RPM) |
|---|---|---|---|
| テキスト生成 | 1,000,000,000 | 100,000 | 10 |
| テキスト埋め込み | 1,000,000,000 | 100,000 | 10 |
| テキストの並べ替え | 1,000,000,000 | 100,000 | 10 |
| マルチモーダル埋め込み | 1,000,000,000 | 100,000 | 10 |
| マルチモーダル並べ替え | 1,000,000,000 | 100,000 | 10 |
| オールモーダル | 1,000,000,000 | 100,000 | 10 |
| 画像生成 | - | - | 10 |
| 動画生成 | - | - | 10 |
スロットリング制限の変更
各モデルタイプのスロットリング制限を変更できます。操作手順は以下のとおりです：
**モデルページで、スロットリング制限**タブに切り替え、変更するモデルタイプをリストから見つけます。
対応する行の操作列の**···をクリックし、ポップアップウィンドウで月間クォータ(M Tokens)**、1分あたりのトークン数(TPM)、**1分あたりのリクエスト数(RPM)**の値を調整します。変更後の値は組織レベルのスロットリング制限の上限を超えてはなりません。
チェックボックスアイコンをクリックして変更を完了します。