互換性に関する説明

本ドキュメントでは、OceanBaseのベクトル検索機能とMilvusのデータモデルのマッピング関係、SDKインターフェースの互換性、および関連する概念の対照について説明します。

Milvusの概念マッピング

Milvusに精通しているユーザーがOceanBaseのベクトルストレージ機能を簡単に使い始められるように、両者の違いを分析し、関連する概念のマッピングを提供します。

データモデル

SDK

本章では、OceanBaseベクトルストレージのSDKであるpyobvectorと、MilvusのSDKであるpymilvusの概念的な違いについて説明します。

pyobvectorには、2つの利用モードがあります：

1. pymilvus MilvusClient軽量互換モード：このモードは、Milvusクライアントで頻繁に利用されるインターフェースとの互換性を持ち、Milvusに精通したユーザーは、概念マッピングなしに、このモードを非常に簡単に使用できます。

2. SQLAlchemy拡張モード：このモードは、Python SQLAlchemyのベクトル機能拡張として機能し、リレーショナルデータベースの操作モードを維持します。概念マッピングによる説明が必要となります。

pyobvectorの具体的なインターフェースの使用方法については、pyobvector Python SDKインターフェース説明を参照してください。

以下の表は、pyobvector SQLAlchemy拡張モードとMilvus SDKインターフェースにおける概念マッピングを示しています：

Milvusとの互換性

Milvus SDK

load_collection()/release_collection()/close() などのSQLAlchemyのサポートが必要なものを除き、以下の表に記載されているインターフェースはすべて互換性があります。

Collection操作

FieldおよびSchemaの定義

ベクトルインデックス

ベクトルインデックス

collectionメタデータ同期

pymilvus

データモデル

Milvusのデータモデルは、Shards->Partitions->Segmentsの3つのレベルに分かれており、OceanBaseとの互換性比較については以下のとおりです：

• Shardsは、OceanBaseのPartition概念に対応します。

• Partitionsは現在、OceanBaseに対応する概念がありません。

• Milvusは、読み込みパフォーマンスを向上させるために、同じShards内(Shardsは通常、主キーでパーティション化されます)で他の列によるチャンク分割をサポートしています。OceanBaseは、パーティション内で主キー順にソートすることで実現しています。

• Segmentsは MemTable + SSTableに類似しています。

Milvus Lite API互換性

collection操作

1. Milvus create_collection ()：

   create_collection(
       collection_name: str,
       dimension: int,
       primary_field_name: str = "id",
       id_type: str = DataType,
       vector_field_name: str = "vector",
       metric_type: str = "COSINE",
       auto_id: bool = False,
       timeout: Optional[float] = None,
       schema: Optional[CollectionSchema] = None, # Used for custom setup
       index_params: Optional[IndexParams] = None, # Used for custom setup
       **kwargs,
   ) -> None
   

   OceanBaseの互換性に関する説明は以下のとおりです：

   • collection_name：互換性があり、実際にはtable_nameとなります。

   • dimension：互換性があり、vector(dim)です。

   • primary_field_name：互換性があり、主キー列名です。

   • id_type：互換性があり、主キー列のタイプです。

   • vector_field_name：互換性があり、ベクトル列の名前です。

   • auto_id：互換性があり、auto inrementです。

   • timeout：互換性があり、OceanBaseはヒントを使用してサポートしています。

   • schema：互換性があります。

   • index_params：互換性があります。

2. Milvus get_collection_stats()：

   get_collection_stats(
       collection_name: str, 
       timeout: Optional[float] = None
   ) -> Dict
   

   OceanBaseの互換性に関する説明は以下のとおりです：

   • API互換性。

   • 戻り値の互換性：{ 'row_count': ... }。

3. Milvus has_collection()：

   has_collection(
       collection_name: str,
       timeout: Optional[float] = None
   ) -> Bool
   

   OceanBaseはMilvus has_collection()と互換性があります。

4. Milvus drop_collection()：

   drop_collection(collection_name: str) -> None
   

   OceanBaseはMilvus drop_collection()と互換性があります。

5. Milvus rename_collection ()：

   rename_collection(
       old_name: str,
       new_name: str,
       timeout: Optional[float] = None
   ) -> None
   

   OceanBaseはMilvus rename_collection()と互換性があります。

Schema関連

1. Milvus create_schema()：

   create_schema(
       auto_id: bool,
       enable_dynamic_field: bool,
       primary_field: str,
       partition_key_field: str,
   ) -> CollectionSchema
   

   OceanBaseの互換性に関する説明は以下のとおりです：

   • auto_id：* 自動インクリメント主キー列であるかどうかは、互換性があります。

   • primary_field & partition_key_field：互換性があります。

2. Milvus add_field()：

   add_field(
       field_name: str,
       datatype: DataType,
       is_primary: bool,
       max_length: int,
       element_type: str,
       max_capacity: int,
       dim: int,
       is_partition_key: bool,
   )
   

   OceanBaseはMilvus add_field()と互換性があります。

Insert/Search関連

1. Milvus search()：

   search(
       collection_name: str,
       data: Union[List[list], list],
       filter: str = "",
       limit: int = 10,
       output_fields: Optional[List[str]] = None,
       search_params: Optional[dict] = None,
       timeout: Optional[float] = None,
       partition_names: Optional[List[str]] = None,
       **kwargs,
   ) -> List[dict]
   

   OceanBaseの互換性に関する説明は以下のとおりです：

   • filter：str式。具体的な使用例については、以下を参照してください：https://milvus.io/docs/boolean.md#Usage。基本的にはSQLの WHERE 式に類似します。

   • search_params：

     • metric_type: 互換性があります。

     • radius & range filter：RNN関連は、現時点ではサポートされていません。

     • group_by_field：ANNの結果をグループ化することは、現在サポートされていません。

     • max_empty_result_buckets：IVFシリーズインデックスの使用は、現在サポートされていません。

     • ignore_growing：インクリメンタル部分をスキップして、ベースラインインデックスを直接読み込むことは、現在サポートされていません。

   • partition_names：パーティション読み込みはサポートされています。

   • kwargs：

     • offset：検索結果からスキップするレコード数は、現在サポートされていません。

     • round_decimal：結果に対して指定された小数点以下の桁数で四捨五入する機能は、現在サポートされていません。

2. Milvus get()：

   get(
       collection_name: str,
       ids: Union[list, str, int],
       output_fields: Optional[List[str]] = None,
       timeout: Optional[float] = None,
       partition_names: Optional[List[str]] = None,
       **kwargs,
   ) -> List[dict]
   

   OceanBaseはMilvus get()と互換性があります。

3. Milvus delete ()

   delete(
       collection_name: str,
       ids: Optional[Union[list, str, int]] = None,
       timeout: Optional[float] = None,
       filter: Optional[str] = "",
       partition_name: Optional[str] = "",
       **kwargs,
   ) -> dict
   

   OceanBaseはMilvus delete()と互換性があります。

4. Milvus insert ()

   insert(
       collection_name: str,
       data: Union[Dict, List[Dict]],
       timeout: Optional[float] = None,
       partition_name: Optional[str] = "",
   ) -> List[Union[str, int]]
   

   OceanBaseはMilvus insert()と互換性があります。

5. Milvus upsert()

   upsert(
       collection_name: str,
       data: Union[Dict, List[Dict]],
       timeout: Optional[float] = None,
       partition_name: Optional[str] = "",
   ) -> List[Union[str, int]]
   

   OceanBaseはMilvus upsert()と互換性があります。

index関連

1. Milvus create_index()

   create_index(
       collection_name: str,
       index_params: IndexParams,
       timeout: Optional[float] = None,
       **kwargs,    
   )
   

   OceanBaseはMilvus create_index()と互換性があります。

2. Milvus drop_index()

   drop_index(
       collection_name: str,
       index_name: str,
       timeout: Optional[float] = None,
       **kwargs,    
   )
   

   OceanBaseはMilvus drop_index()と互換性があります。

MySQLプロトコルと互換性があります

• requestリクエスト開始に関して：APIはすべて通常のクエリSQLで実装されており、互換性の問題はありません。

• response結果セットの処理に関して：新たしく追加されたベクトルデータ要素の処理のみを考慮すればよく、現在stringとbytesの2種類の要素の解析をサポートしています。将来ベクトルデータ要素の伝送方式が変更されたとしても、SDKを更新することで互換性を確保できます。