互換性に関する説明

このドキュメントでは、OceanBaseのベクトル検索機能とMilvusのデータモデルマッピング関係、SDKインターフェースの互換性、および関連する概念の対照説明について説明します。

Milvusとの概念マッピング

Milvusに精通しているユーザーがOceanBaseのベクトルストレージ機能を容易に利用できるように、両者の相違点と共通点を分析し、関連する概念間のマッピングを提示します。

データモデル

SDK

このセクションでは、OceanBaseのベクトルストレージSDKであるpyobvectorとMilvusのSDKであるpymilvusの概念的な違いについて説明します。

pyobvectorには2つの使用モードがあります：

1. pymilvus MilvusClient軽量互換モード：このモードはMilvusクライアントで一般的に使用されるインターフェースに互換しており、Milvusに精通しているユーザーはこのモードを非常に便利に利用でき、概念マッピングは不要です。

2. SQLAlchemy拡張モード：このモードはPython SQLAlchemyのベクトル機能拡張として機能し、リレーショナルデータベースの操作パターンを維持します。説明には概念マッピングが必要です。

pyobvectorの具体的なインターフェース使用ドキュメントについては、pyobvector Python SDKインターフェース説明を参照してください。

次の表は、pyobvectorのSQLAlchemy拡張モードとMilvus SDKインターフェースの概念マッピングを示しています：

Milvusとの互換性

Milvus SDK

load_collection()、release_collection()、close() などSQLAlchemyのサポートが必要なメソッドを除き、以下の表に記載されているインターフェースはすべて互換性があります。

コレクション操作

フィールドとスキーマの定義

ベクトルインデックス

ベクトルインデックス

コレクションメタデータの同期

pymilvus

データモデル

Milvusのデータモデルは、Shards->Partitions->Segmentsの3つのレベルに分かれており、OceanBaseとの互換性比較は以下の通りです：

• ShardsはOceanBaseのPartitionの概念に対応します。

• Partitionsには現在、OceanBaseに対応する概念がありません。

• Milvusでは、同一Shard内（Shardsは通常主キーでパーティション化されます）で他の列を用いてブロックを分割し、読み取り性能を向上させることができます。OceanBaseでは、パーティション内で主キーに従ってソートすることで実現しています。

• SegmentsはMemTable + SSTableに類似しています。

Milvus Lite APIの互換性

collection操作

1. Milvus create_collection()：

   create_collection(
       collection_name: str,
       dimension: int,
       primary_field_name: str = "id",
       id_type: str = DataType,
       vector_field_name: str = "vector",
       metric_type: str = "COSINE",
       auto_id: bool = False,
       timeout: Optional[float] = None,
       schema: Optional[CollectionSchema] = None, # Used for custom setup
       index_params: Optional[IndexParams] = None, # Used for custom setup
       **kwargs,
   ) -> None
   

   OceanBaseの互換性説明は以下の通りです：

   • collection_name：互換。実際にはtable_nameとなります。

   • dimension：互換。vector(dim)となります。

   • primary_field_name：互換。主キー列名となります。

   • id_type：互換。主キー列のデータ型となります。

   • vector_field_name：互換。ベクトル列名となります。

   • auto_id：互換。auto incrementとなります。

   • timeout：互換。OceanBaseはhintをサポートしています。

   • schema：互換。

   • index_params：互換。

2. Milvus get_collection_stats()：

   get_collection_stats(
       collection_name: str,
       timeout: Optional[float] = None
   ) -> Dict
   

   OceanBaseの互換性説明は以下の通りです：

   • APIが互換します。

   • 戻り値が互換：{ 'row_count': ... }。

3. Milvus has_collection()：

   has_collection(
       collection_name: str,
       timeout: Optional[float] = None
   ) -> Bool
   

   OceanBaseはMilvus has_collection()と互換します。

4. Milvus drop_collection()：

   drop_collection(collection_name: str) -> None
   

   OceanBaseはMilvus drop_collection()と互換します。

5. Milvus rename_collection()：

   rename_collection(
       old_name: str,
       new_name: str,
       timeout: Optional[float] = None
   ) -> None
   

   OceanBaseはMilvus rename_collection()と互換します。

Schema関連

1. Milvus create_schema()：

   create_schema(
       auto_id: bool,
       enable_dynamic_field: bool,
       primary_field: str,
       partition_key_field: str,
   ) -> CollectionSchema
   

   OceanBaseの互換性説明は以下の通りです：

   • auto_id：自動インクリメント主キー列であるかどうか、互換可能です。

   • primary_field & partition_key_field：互換可能です。

2. Milvus add_field()：

   add_field(
       field_name: str,
       datatype: DataType,
       is_primary: bool,
       max_length: int,
       element_type: str,
       max_capacity: int,
       dim: int,
       is_partition_key: bool,
   )
   

   OceanBaseはMilvus add_field()と互換します。

Insert/Search関連

1. Milvus search()：

   search(
       collection_name: str,
       data: Union[List[list], list],
       filter: str = "",
       limit: int = 10,
       output_fields: Optional[List[str]] = None,
       search_params: Optional[dict] = None,
       timeout: Optional[float] = None,
       partition_names: Optional[List[str]] = None,
       **kwargs,
   ) -> List[dict]
   

   OceanBaseの互換性説明は以下の通りです：

   • filter：str式。具体的な使用例については、https://milvus.io/docs/boolean.md#Usage のSQLのWHERE式を参照してください。これに類似します。

   • search_params：

     • metric_type：互換。

     • radius & range filter：RNN関連。現在はサポートされていません。

     • group_by_field：ANN結果のグループ化。現在はサポートされていません。

     • max_empty_result_buckets：IVFシリーズインデックスで使用。現在はサポートされていません。

     • ignore_growing：増分部分をスキップし、ベースラインインデックスを直接読み取る。現在はサポートされていません。

   • partition_names：パーティション読み取り。サポートされています。

   • kwargs：

     • offset：検索結果でスキップするレコード数。現在はサポートされていません。

     • round_decimal：結果を指定した小数点以下の位数で四捨五入。現在はサポートされていません。

2. Milvus get()：

   get(
       collection_name: str,
       ids: Union[list, str, int],
       output_fields: Optional[List[str]] = None,
       timeout: Optional[float] = None,
       partition_names: Optional[List[str]] = None,
       **kwargs,
   ) -> List[dict]
   

   OceanBaseはMilvus get()と互換します。

3. Milvus delete()

   delete(
       collection_name: str,
       ids: Optional[Union[list, str, int]] = None,
       timeout: Optional[float] = None,
       filter: Optional[str] = "",
       partition_name: Optional[str] = "",
       **kwargs,
   ) -> dict
   

   OceanBaseはMilvus delete()と互換します。

4. Milvus insert()

   insert(
       collection_name: str,
       data: Union[Dict, List[Dict]],
       timeout: Optional[float] = None,
       partition_name: Optional[str] = "",
   ) -> List[Union[str, int]]
   

   OceanBaseはMilvus insert()と互換します。

5. Milvus upsert()

   upsert(
       collection_name: str,
       data: Union[Dict, List[Dict]],
       timeout: Optional[float] = None,
       partition_name: Optional[str] = "",
   ) -> List[Union[str, int]]
   

   OceanBaseはMilvus upsert()と互換します。

index関連

1. Milvus create_index()

   create_index(
       collection_name: str,
       index_params: IndexParams,
       timeout: Optional[float] = None,
       **kwargs,
   )
   

   OceanBaseはMilvus create_index()と互換します。

2. Milvus drop_index()

   drop_index(
       collection_name: str,
       index_name: str,
       timeout: Optional[float] = None,
       **kwargs,
   )
   

   OceanBaseはMilvus drop_index()と互換します。

MySQLプロトコルとの互換性

• リクエストの発行について：すべてのAPIは通常のクエリSQLを通じて実装されており、互換性の問題はありません。

• レスポンス結果セットの処理について：新たに追加されたベクトルデータ要素の処理を考慮する必要があります。現在、stringとbytesの2種類の要素の解析をサポートしています。今後ベクトルデータ要素の伝送方式が変更された場合でも、SDKを更新することで互換性を維持できます。