Maxwellを使用したOceanBaseデータの読み取り

Maxwellは、MySQL Binlogを読み取り、JSONフォーマットに変換して出力するアプリケーションです。これは、データベース内のすべてのデータ変更イベントをキャッチすることを目的としています。本記事では、Maxwellを使用してOceanBaseデータベースのMySQLテナントデータをJSON形式で出力する方法について説明します。

前提条件

Maxwellを使用する前に、以下の情報を確認してください：

• oblogproxyがインストール済みであること。
• Java 1.8以降のバージョンがインストール済みであること。
• Maxwellをダウンロード済みであること。詳細については、Maxwell GitHubプロジェクトを参照してください。

操作手順

1. Maxwellを設定します。 Maxwellディレクトリの下にある config.properties ファイルを編集します。ファイルが存在しない場合は、config.properties.example を config.properties にコピーして編集します。

   user=maxwell
   password=yourpassword
   host=ソースOceanBaseデータベースのMySQLサーバーアドレス
   producer=stdout
   

   この設定は、Maxwellをイベントを標準出力(コンソール)に直接出力するように設定します。Kafkaなどの他の宛先にデータを配信するには、producerのプロパティと関連する設定を変更する必要があります。

2. Maxwellを起動します。

   以下のコマンドでMaxwellを起動します：

   bin/maxwell --config config.properties
   

3. データ変更を確認する OceanBaseデータベースでデータ変更(挿入、更新、データの削除)を行い、Maxwellが出力するJSONデータを観察します。ステップ3のコマンドは、Maxwellの出力先を標準出力(stdout)に設定します。返される可能性のある結果は次のとおりです：

    {
    "database": "mydb",
    "table": "mytable",
    "type": "insert",
    "ts": 1589372847,
    "xid": 12345678,
    "commit": true,
    "data": {
        "id": 1,
        "column1": "value1",
        "column2": "value2"
    }
    }
   

   結果は、mydb.mytable テーブルに対して挿入操作が実行されたことを示しています。

例えば、ここではMaxwellのテーブル作成ステートメントからlatin1文字セットが削除されました。

CREATE TABLE IF NOT EXISTS `databases` (
  id        bigint auto_increment NOT NULL primary key,
  schema_id bigint,
  name      varchar(255) charset 'utf8',
  charset   varchar(255),
  index (schema_id)
);

便宜上、本記事では単一テーブルの例のみを示します。他のメタデータテーブルに対しても、同様の操作を実行してください。