OceanBaseデータベースのログ解読ガイドを紹介します。各ログ機能の解説、ログの特定、ログ構造、重要なシナリオにおけるログ解読などを網羅しています。
observer.log
マスターサービスプロセスの実行ログであり、選挙とRootServiceを除くすべてのモジュールの操作を記録します。これにはSQL解析、トランザクション実行、ストレージエンジンの動作などが含まれます。
OBServer起動ログ
OBServer起動ログは、プロセスの初期化およびサービスの準備完了に関する重要なイベントを記録し、起動段階で発生した問題の診断に利用されます。
ログの特定方法
キーワード
[NOTICE]を検索して特定します。ログ特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "NOTICE" observer.log典型的な出力例
[2023-05-11 14:19:09.703272] INFO [SERVER] ob_server.cpp:533 [95303][0][Y0-0000000000000000-0-0] [lt=9] [dc=0] [NOTICE] server instance start succeed [2023-05-11 14:19:25.555836] INFO [SERVER] ob_server.cpp:609 [95303][0][Y0-0000000000000000-0-0] [lt=16] [dc=0] [NOTICE] observer start service(start_service_time=1683785965555827)主要フィールドの説明
ログ情報説明server instance start succeed OBServerプロセスが正常に起動しました。 observer start service OBServerの起動が完了し、サービス提供を開始しました。 start_service_timeはOBServerがサービス提供を開始したタイムスタンプです。
統計ログ
テナントディスク統計
テナントのディスク使用状況を10秒ごとに出力します。
ログの特定方法
キーワード
ob_tenant_disk_usage_mgr.cppまたはdump tenant disk usage update infoで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "ob_tenant_disk_usage_mgr.cpp" observer.logまたは
[admin@OB /home/admin/oceanbase/log] $grep "dump tenant disk usage update info" observer.log典型的な出力例
[2023-05-15 17:30:59.055858] INFO [STORAGE] ob_tenant_disk_usage_mgr.cpp:69 [87424][0][Y0-0000000000000000-0-0] [lt=11] [dc=0] dump tenant disk usage update info(disk_usage={tenant_id:1, max_disk_size:0, used_data_size:935329792, used_meta_size:56623104})主要フィールドの説明
ログ情報説明tenant_id テナントID。 max_disk_size テナントのディスク上限(V4.x より前のバージョンではテナントのディスク使用量に制限はありません)。 used_data_size テナント内のユーザーデータが使用するディスク容量。 used_meta_size テナント内の管理データが使用するディスク容量。
ディスクI/O統計
基本的なI/Oスループットとパフォーマンスボトルネックの統計を10秒ごとに出力します。
ログの特定方法
キーワード
Current io stat(V2.x系) またはcurrent io status(V3.x系) で検索して特定します。ログの特定コマンド
Current io statコマンド
[admin@OB /home/admin/oceanbase/log] $grep "Current io stat" observer.log典型的な出力例
[2022-12-27 17:28:19.298670] INFO [COMMON] ob_io_disk.cpp:497 [47844][406][Y0-0000000000000000] [lt=59] [dc=0] Current io stat, (fd={fd:875, disk_id:{disk_idx:0, install_seq:0}}, io_conf={sys_io_low_percent:90, sys_io_high_percent:90, user_iort_up_percent:2000, cpu_high_water_level:7680, write_failure_detect_interval:60000000, read_failure_black_list_interval:300000000, data_storage_warning_tolerance_time:10000000, data_storage_error_tolerance_time:300000000, disk_io_thread_count:8, callback_thread_count:8, large_query_io_percent:0, data_storage_io_timeout_ms:10000}, sys_io_percent=90, sys_iops_up_limit=266, user_max_rt=1.151363996887207031e+04, cpu_estimator={avg_usage:378}, user_read_io_stat={average_size:18245, average_rt_us:"4.766969696969696884e+02", old_stat:{io_cnt:5435154700, io_bytes:92266120699904, io_rt_us:2896942021380}, new_stat:{io_cnt:5435154733, io_bytes:92266121302016, io_rt_us:2896942037111}}, user_write_io_stat={average_size:0, average_rt_us:"0.000000000000000000e+00", old_stat:{io_cnt:790, io_bytes:1568509952, io_rt_us:1369408}, new_stat:{io_cnt:790, io_bytes:1568509952, io_rt_us:1369408}}, sys_read_io_stat={average_size:0, average_rt_us:"0.000000000000000000e+00", old_stat:{io_cnt:29673855, io_bytes:62197411557376, io_rt_us:62528978207}, new_stat:{io_cnt:29673855, io_bytes:62197411557376, io_rt_us:62528978207}}, sys_write_io_stat={average_size:0, average_rt_us:"0.000000000000000000e+00", old_stat:{io_cnt:24420687, io_bytes:51213892583424, io_rt_us:56376648298}, new_stat:{io_cnt:24420687, io_bytes:51213892583424, io_rt_us:56376648298}}, large_query_read_io_stat={average_size:0, average_rt_us:"0.000000000000000000e+00", old_stat:{io_cnt:0, io_bytes:0, io_rt_us:0}, new_stat:{io_cnt:0, io_bytes:0, io_rt_us:0}}, large_query_write_io_stat={average_size:0, average_rt_us:"0.000000000000000000e+00", old_stat:{io_cnt:0, io_bytes:0, io_rt_us:0}, new_stat:{io_cnt:0, io_bytes:0, io_rt_us:0}})主要フィールドの説明
ログ情報説明fdとdisk_id ファイルディスクリプタ番号 fd、ディスクのインデックス番号disk_idx、およびインストールシーケンス番号install_seq。io_config システムのI/O設定パラメータ： - sys_io_low_percent：システムI/Oの低い割合
- sys_io_high_percent：システムI/Oの高い割合
- user_iort_up_percent：ユーザーI/Oの上限
- cpu_high_water_level：CPUの高ウォーターマーク
- disk_io_thread_count：ディスクI/Oスレッド数
- callback_thread_count：コールバックスレッド数
- large_query_io_percent：大規模クエリI/Oの割合
- data_storage_io_timeout_ms：データストレージI/Oタイムアウトのミリ秒数
sys_io_percent システムI/Oの使用率の上限値を設定します。 sys_iops_up_limit システムの2MBサイズのIOPS上限値で、IOベンチテスト結果の io_resource.confと一致している必要があります。user_max_rt ユーザーI/Oの最大応答時間です。 cpu_estimator(avg_usage) ユーザーI/Oの平均CPU使用率。 user_read_io_stat 一般ユーザーのリクエストによって生成された読み取りI/O統計量（SQLクエリなど） - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
user_write_io_stat 一般ユーザーのリクエストによって生成された書き込みI/O統計量(DML操作) - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
sys_read_io_stat システムのバックグラウンドタスクによる読み取りI/O統計(メジャーコンパクション/移行など) - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
sys_write_io_stat システムバックグラウンドタスクの書き込みI/O統計（例：ダンプ/ログ同期） - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
large_query_read_io_stat 大規模クエリによる読み取りI/O統計（実行時間がしきい値を超えた場合） - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
large_query_write_io_stat 大規模クエリによる書き込みI/O統計（バッチ書き込みなど） - average_size：平均サイズ
- average_rt_us：平均応答時間
- old_stat：古い統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
- new_stat：新しい統計データ
- io_cnt：I/O操作数
- io_bytes：I/Oバイト数
- io_rt_us：I/O応答時間
io_ability このセクションには、システムのI/Oパフォーマンス測定結果が含まれており、異なるモード（読み取り/書き込み）とサイズのI/O操作について、IOPS（1秒あたりの入出力操作数）と応答時間 rt_usが記載されています。- log_io
- user_io sys_io
- prewarm_io
- large_query_io
これらの部分には、さまざまなタイプのI/Oの状態とデバイス能力が含まれています。 is_inited_の初期化状況、デバイス能力device_ability_、共有割合share_percentage_、および最終期限タイムスタンプlast_deadline_ts_が含まれます。- log_read
- log_write user_read
- user_write sys_read
- sys_write prewarm_read
- prewarm_write
- large_query_read
- large_query_write
このセクションには、さまざまなタイプのI/O操作の統計情報が含まれています。開始IOPS start_iops、キャンセルIOPScancel_iops、失敗IOPSfail_iops、成功IOPSsucc_iops、平均バイト数avg_byte、デバイス応答時間device_rt_us、およびキュー応答時間queue_rt_usが含まれます。avg_cpu このセクションでは、システムの平均CPU使用率が表示されます。 OceanBaseデータベースのI/O速度制限は、
sys_bkgd_io_low_percentageとsys_bkgd_io_high_percentageによって制御され、それぞれsys_io_percentの下限と上限を表します。上記のio stat情報から、以下の方法でI/Oスロットリングが発生しているかどうかを判断できます：
sys_io_high_percent、sys_io_low_percentが設定パラメータsys_bkgd_io_high_percentage、sys_bkgd_io_low_percentageと一致しない場合、I/Oスロットリングが存在します。user_read_io_statの average_size =0 の場合、I/Oにスロットリングが発生しています。
current io statusコマンド
[admin@OB /home/admin/oceanbase/log] $grep "current io status" observer.log典型的な出力例
[2023-06-21 16:54:14.212314] INFO [COMMON] ob_io_struct.cpp:2129 [89617][0][Y0-0000000000000000-0-0] [lt=19] [dc=0] current io status(io_config={sys_io_low_percent_:70, sys_io_high_percent_:90, user_iort_up_percent_:100, cpu_high_water_level_:2560, write_failure_detect_interval_:60000000, read_failure_black_list_interval_:300000000, data_storage_warning_tolerance_time_:30000000, data_storage_error_tolerance_time_:300000000, disk_io_thread_count_:8, callback_thread_count_:8, large_query_io_percent_:0, data_storage_io_timeout_ms_:120000, io_memory_limit_:2147483648, enable_io_tracer_:false}, io_ability={measure_items:[[{mode:0, size:4096, iops:120191.00, rt_us:180.58}, {mode:0, size:8192, iops:155470.00, rt_us:198.67}, {mode:0, size:16384, iops:122040.00, rt_us:259.74}, {mode:0, size:32768, iops:76429.00, rt_us:416.30}, {mode:0, size:65536, iops:41826.00, rt_us:762.89}, {mode:0, size:131072, iops:21994.00, rt_us:1452.21}, {mode:0, size:262144, iops:11247.00, rt_us:2841.93}, {mode:0, size:524288, iops:5649.00, rt_us:5658.40}, {mode:0, size:1048576, iops:2828.00, rt_us:11302.68}], [{mode:1, size:4096, iops:127929.00, rt_us:247.71}, {mode:1, size:8192, iops:120343.00, rt_us:263.40}, {mode:1, size:16384, iops:115208.00, rt_us:275.45}, {mode:1, size:32768, iops:76882.00, rt_us:414.05}, {mode:1, size:65536, iops:39596.00, rt_us:805.95}, {mode:1, size:131072, iops:20989.00, rt_us:1522.00}, {mode:1, size:262144, iops:10634.00, rt_us:3004.64}, {mode:1, size:524288, iops:5355.00, rt_us:5970.53}, {mode:1, size:1048576, iops:2692.00, rt_us:11877.67}, {mode:1, size:2097152, iops:1309.00, rt_us:24402.57}]]}, log_io={is_inited_:true, device_ability_:null, share_percentage_:100, last_deadline_ts_:0}, user_io={is_inited_:true, device_ability_:null, share_percentage_:100, last_deadline_ts_:0}, sys_io={is_inited_:true, device_ability_:0x32bb7ba8, share_percentage_:90, last_deadline_ts_:1687334746495760}, prewarm_io={is_inited_:true, device_ability_:0x32bb7ba8, share_percentage_:100, last_deadline_ts_:0}, large_query_io={is_inited_:true, device_ability_:0x32bb7ba8, share_percentage_:100, last_deadline_ts_:0}, log_read={}, log_write={start_iops:29.93, cancel_iops:0.00, fail_iops:0.00, succ_iops:29.93, avg_byte:5461.33, device_rt_us:140.00, queue_rt_us:7.33}, user_read={}, user_write={}, sys_read={}, sys_write={}, prewarm_read={}, prewarm_write={}, large_query_read={}, large_query_write={}, avg_cpu=2.126034912718204453e+02)主要フィールドの説明
ログ情報説明io_config このセクションには、システムのI/O設定パラメータが含まれています。例えば、システムI/Oの低および高割合 sys_io_low_percent_とsys_io_high_percent_、ユーザーI/Oの上限user_iort_up_percent_、CPUのハイウォーターマークcpu_high_water_level_、ディスクI/Oスレッド数disk_io_thread_count_、コールバックスレッド数callback_thread_count_、大規模クエリI/O割合large_query_io_percent_、データストレージI/Oタイムアウトミリ秒数data_storage_io_timeout_ms_、I/Oメモリ制限io_memory_limit_などです。io_ability このセクションには、システムのI/O性能測定結果が含まれており、異なるモード（読み取り/書き込み）およびサイズのI/O操作に対するIOPS（1秒あたりの入出力操作数）と応答時間 rt_usが含まれます。- log_io
- user_io sys_io
- prewarm_io
- large_query_io
この部分には、さまざまなタイプのI/Oの状態とデバイスの能力が含まれています。これには、初期化状況を示す is_inited_、デバイス能力を示すdevice_ability_、共有率を示すshare_percentage_、および最終期限のタイムスタンプを示すlast_deadline_ts_が含まれます。- log_read
- log_write user_read
- user_write sys_read
- sys_write prewarm_read
- prewarm_write
- large_query_read
- large_query_write
この部分には、さまざまなタイプのI/O操作の統計情報が含まれています。開始IOPS start_iops、キャンセルIOPScancel_iops、失敗IOPSfail_iops、成功IOPSsucc_iops、平均バイト数avg_byte、デバイス応答時間device_rt_us、およびキュー応答時間queue_rt_usが含まれます。avg_cpu このセクションでは、システムの平均CPU使用率が表示されます。 上記のio stat情報から、以下の方法でI/Oスロットリングが発生しているかどうかを判断できます：
sys_io_high_percent、sys_io_low_percentが設定パラメータsys_bkgd_io_high_percentage、sys_bkgd_io_low_percentageと一致しない場合、I/Oスロットリングが存在します。last_deadline_ts_がログ出力時刻より大きい場合、I/Oがスロットリングされています。
テナントメモリ統計
システムのテナントメモリ使用統計を、10秒ごとに出力します。
ログの特定方法
キーワード
[MEMORY]またはob_malloc_allocator.cppで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "MEMORY" observer.logまたは
[admin@OB /home/admin/oceanbase/log] $grep "ob_malloc_allocator" observer.log典型的な出力例
[2023-06-05 12:09:21.701235] INFO [LIB] ob_malloc_allocator.cpp:495 [88518][0][Y0-0000000000000000-0-0] [lt=5] [dc=0] [MEMORY] tenant: 1, limit: 12,884,901,888 hold: 8,524,922,880 rpc_hold: 0 cache_hold: 6,773,800,960 cache_used: 6,773,800,960 cache_item_count: 3,230 [MEMORY] ctx_id= DEFAULT_CTX_ID hold_bytes= 658,505,728 [MEMORY] ctx_id= MEMSTORE_CTX_ID hold_bytes= 383,778,816 [MEMORY] ctx_id= EXECUTE_CTX_ID hold_bytes= 16,777,216 [MEMORY] ctx_id= SQL_EXEC_CTX_ID hold_bytes= 77,594,624 [MEMORY] ctx_id= TRANS_CTX_MGR_ID hold_bytes= 8,388,608 [MEMORY] ctx_id= REPLAY_STATUS_CTX_ID hold_bytes= 6,291,456 [MEMORY] ctx_id= PLAN_CACHE_CTX_ID hold_bytes= 553,648,128 [MEMORY] ctx_id= WORK_AREA hold_bytes= 27,262,976 [MEMORY] ctx_id= TX_CALLBACK_CTX_ID hold_bytes= 18,874,368 [2023-06-05 12:09:21.701307] INFO [LIB] ob_tenant_ctx_allocator.cpp:167 [88518][0][Y0-0000000000000000-0-0] [lt=16] [dc=0] [MEMORY] tenant_id= 1 ctx_id= DEFAULT_CTX_ID hold= 658,505,728 used= 553,301,808 [MEMORY] hold= 371,125,248 used= 368,276,480 count= 139 avg_used= 2,649,471 mod=MysqlRequesReco [MEMORY] hold= 52,416,000 used= 52,403,200 count= 25 avg_used= 2,096,128 mod=OB_KVSTORE_CACHE [MEMORY] hold= 49,029,760 used= 48,846,080 count= 24 avg_used= 2,035,253 mod=SqlPlanMon [MEMORY] hold= 35,543,040 used= 35,192,202 count= 534 avg_used= 65,903 mod=SqlDtl [MEMORY] hold= 14,696,192 used= 12,591,876 count= 14 avg_used= 899,419 mod=LOCALDEVICE [MEMORY] hold= 8,386,560 used= 8,384,512 count= 4 avg_used= 2,096,128 mod=Election [MEMORY] hold= 6,298,560 used= 6,281,216 count= 257 avg_used= 24,440 mod=BlockMap [MEMORY] hold= 6,289,920 used= 6,288,384 count= 3 avg_used= 2,096,128 mod=ElectionGroup [MEMORY] hold= 2,154,240 used= 408,600 count= 24,952 avg_used= 16 mod=Number主要フィールドの説明
ログ情報説明tenant テナントID。 limit テナントのメモリ上限、単位はバイトです。 hold オペレーティングシステムから取得したテナントのメモリ、単位はバイトです。 rpc_hold RPCスレッドが占有するメモリ、単位はバイトです。 cache_hold KVCacheが占有するメモリ、単位はバイトです。 cache_used KVCacheが使用するメモリ、単位はバイトです。 cache_item_count KVCacheの数。
プロセスメモリ統計
observerプロセスのメモリ使用状況を10秒ごとに出力します。
ログの特定方法
キーワード
[CHUNK_MGR]で検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "CHUNK_MGR" observer.log典型的な出力例
[2023-05-15 16:24:19.728623] INFO [COMMON] ob_tenant_mgr.cpp:643 [87101][0][Y0-0000000000000000-0-0] [lt=7] [dc=0] [CHUNK_MGR] free=40593 pushes=8989641 pops=8949048 limit=107,978,014,720 hold=106,384,326,656 used= 21,254,635,520 freelist_hold= 85,129,691,136 maps=602,804 unmaps=587,963 large_maps=599,637 large_unmaps=587,963 memalign=0 virtual_memory_used=111,853,719,552主要フィールドの説明
ログ情報説明limit OBServerの総メモリ制限。単位はバイトです。 hold OBServerがオペレーティングシステムから取得したすべてのメモリ。単位はバイトです。 used OBServerが実際に使用しているメモリ(Cacheを含む)。単位はバイトです。 freelist_hold OBServerの未使用メモリ。単位はバイトです。 maps、unmaps OBServerが各chunk_sizeに対するMmap回数を監視した結果。単位はバイトです。 large_maps、large_unmaps OBServerが監視したMaps、Unmaps。単位はバイトです。
テナントスレッドキュー統計
テナントスレッドのキュー統計状況を、10秒ごとに出力します。
ログの特定方法
キーワード
ob_multi_tenant.cppまたはdump tenant infoで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "ob_multi_tenant.cpp" observer.logまたは
[admin@OB /home/admin/oceanbase/log] $grep "dump tenant info" observer.log典型的な出力例
[2023-05-15 17:31:43.710008] INFO [SERVER.OMT] ob_multi_tenant.cpp:812 [88299][0][Y0-0000000000000000-0-0] [lt=8] [dc=0] dump tenant info(tenant={id:1001, compat_mode:1, unit_min_cpu:"3.000000000000000000e+00", unit_max_cpu:"3.000000000000000000e+00", slice:"0.000000000000000000e+00", slice_remain:"0.000000000000000000e+00", token_cnt:12, ass_token_cnt:12, lq_tokens:1, used_lq_tokens:0, stopped:false, idle_us:9509657, recv_hp_rpc_cnt:0, recv_np_rpc_cnt:0, recv_lp_rpc_cnt:0, recv_mysql_cnt:0, recv_task_cnt:0, recv_large_req_cnt:0, tt_large_quries:0, actives:12, workers:12, nesting workers:7, lq waiting workers:0, req_queue:total_size=0 queue[0]=0 queue[1]=0 queue[2]=0 queue[3]=0 queue[4]=0 queue[5]=0 , large queued:0, multi_level_queue:total_size=0 queue[0]=0 queue[1]=0 queue[2]=0 queue[3]=0 queue[4]=0 queue[5]=0 queue[6]=0 queue[7]=0 })主要フィールドの説明
ログ情報説明compat_mode テナントの互換モード - 0：MySQLモード
- 1：Oracleモード
unit_min_cpu 最小CPUコア数。 unit_max_cpu 最大CPUコア数。 slice テナントユニットのスライシングサイズ。 slice_remain 残りのスライシングサイズ。 token_cnt スケジューラーが割り当てたトークン数。1つのトークンは1つのワーカースレッドに変換されます。 ass_token_cnt テナントが現在確認しているトークン数（token_cntに基づいて確認され、通常は両者は等しい）。 lq_tokens Large Query Tokenの個数。 used_lq_tokens 現在LQトークンを保有しているワーカーの数。 stopped テナントUnitが削除されているかどうか。 idle_us 1ラウンド(10秒)の処理で、ワーカースレッドがアイドルだった総時間です。いわゆるアイドルとは、待機キューにいた時間のみを集計したものです。 - recv_hp_rpc_cnt
- recv_np_rpc_cnt
- recv_lp_rpc_cnt
テナントが累計で受信した異なるレベルのRPCリクエスト数：HP(High)、NP(Normal)、LP(Low)。 recv_mysql_cnt テナントが累計で受信したMySQLリクエスト数。 recv_task_cnt テナントが累計で受信した内部タスク数。 recv_large_req_cnt テナントが累計で予測した大規模リクエスト数です。増分のみで、リセットはされません。実際には再試行時に増加します。 tt_large_quries テナントが累計で処理した大規模リクエスト数です。増分のみで、リセットはされません。実際にはチェックポイントチェック時に増加します。 actives アクティブ状態のワーカースレッド数。 workers テナントのワーカースレッド数。 nesting workers テナントが保持するネストリクエスト専用スレッド数。合計7つのスレッドは7つのネストレベルに対応します。 lq waiting workers スケジューリングを待機中のワーカースレッド。 req_queue total_sizeは現在待機キューにあるリクエストの総数を指します。 large queued 現在待機キューにある大規模クエリの数。 multi_level_queue ネストリクエストを格納する作業キューです。1～7は7つのネストレベルに対応します（queue [0]は現在未使用）。このフィールドは各レベルのキュー待ちリクエスト数を示します。
RPCスレッド統計
RPCスレッドの使用状況を1秒ごとに出力します。各行は各RPCスレッドの統計です。
ログの特定方法
キーワード
ob_net_easy.cppまたは[RPC EASY STAT]を検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "ob_net_easy.cpp" observer.logまたは
[admin@OB /home/admin/oceanbase/log] $grep "RPC EASY STAT" observer.log典型的な出力例
[2023-05-15 18:28:17.681483] INFO [RPC.FRAME] ob_net_easy.cpp:601 [88307][0][Y0-0000000000000000-0-0] [lt=18] [dc=0] [RPC EASY STAT](log_str="conn count=3/4, request done=7404635/5179373, request doing=0/0") [2023-05-15 18:28:17.682056] INFO [RPC.FRAME] ob_net_easy.cpp:601 [88310][0][Y0-0000000000000000-0-0] [lt=8] [dc=0] [RPC EASY STAT](log_str="conn count=3/3, request done=7402021/5162953, request doing=0/0") [2023-05-15 18:28:17.682108] INFO [RPC.FRAME] ob_net_easy.cpp:601 [88309][0][Y0-0000000000000000-0-0] [lt=11] [dc=0] [RPC EASY STAT](log_str="conn count=3/3, request done=7405199/5164208, request doing=0/0") [2023-05-15 18:28:17.682108] INFO [RPC.FRAME] ob_net_easy.cpp:601 [88308][0][Y0-0000000000000000-0-0] [lt=9] [dc=0] [RPC EASY STAT](log_str="conn count=3/3, request done=7402609/5163322, request doing=0/0")主要フィールドの説明
ログ情報説明conn count このRPCスレッドサービスの接続数(in/out)。 request done このRPCスレッドが完了したリクエスト数(in/out)。 request doing このRPCスレッドが処理中のリクエスト数(in/out)。
アーカイブスレッド統計
一般的なアーカイブスレッド統計には、ログアーカイブ状態統計、clog splitスレッド統計、およびclog sendスレッド統計があり、統計はすべて10秒ごとに出力されます。
ログアーカイブ状態統計
ログの特定方法
キーワード
print_archive_statusを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "print_archive_status" observer.log典型的な出力例
[2023-08-24 13:59:53.565584] INFO [ARCHIVE] ob_archive_mgr.cpp:830 [11357][0][Y0-0000000000000000-0-0] [lt=13] [dc=0] print_archive_status(clog_split_task_num=0, send_task_num=2, pre_send_task_capacity=458752, pg_archive_task_count=903, archive_incarnation=1, archive_round=6, piece_id=0, piece_create_date=20230810, log_archive_status=2, has_encount_error=false)主要フィールドの説明
ログ情報説明clog_split_task_num 実行中のclog splitタスク数。 send_task_num 実行中のclog sendタスク数。 pre_send_task_capacity アーカイブ待ちデータ量。 pg_archive_task_count パーティショングループ（pg）に関連するアーカイブタスク数。 log_archive_status アーカイブ状態、 - 0：無効状態
- 1：アーカイブ開始状態
- 2：アーカイブ実行中状態
- 3：アーカイブ停止中状態
- 4：アーカイブ停止済み状態
clog splitスレッド統計
ログの特定方法
キーワード
archive_clog_split_engine statisticsを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "archive_clog_split_engine statistics" observer.log典型的な出力例
[2023-08-24 14:46:13.179165] INFO [ARCHIVE] ob_archive_clog_split_engine.cpp:1120 [11389][0][Y0-0000000000000000-0-0] [lt=11] [dc=0] archive_clog_split_engine statistics(avg_split_task_used=51, avg_read_log_used=40, avg_read_log_size=3058, avg_get_send_task_used=11, avg_send_task_per_task=1, split_task_count=17)主要フィールドの説明
ログ情報説明avg_split_task_used 各clog splitタスクの実行時間（マイクロ秒）。 avg_read_log_used 各ログ読み取りの実行時間（マイクロ秒）。 avg_read_log_size 各ログ読み取りサイズ。 avg_get_send_task_used 各clog sendタスクの取得にかかる時間（マイクロ秒）。 avg_send_task_per_task 各clog splitタスクに対応するclog sendタスク数。 split_task_count clog splitタスク数。
clog sendスレッド統計
ログの特定方法
キーワード
archive_sender statisticを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "archive_sender statistic" observer.log典型的な出力例
[2023-06-12 16:15:50.311863] INFO [ARCHIVE] ob_archive_sender.cpp:1589 [25879][0][Y0-0000000000000000-0-0] [lt=5] [dc=0] archive_sender statistic in 10s(total_send_buf_size=29384, total_send_log_count=157, avg_log_size=187, total_send_task_count=2, total_send_cost_ts=2809, avg_send_task_cost_ts=1404)典型的な出力例
ログ情報説明total_send_buf_size このアーカイブスレッドが10秒間に送信したログサイズです。ログ転送圧縮が有効な場合、送信量は通常、非圧縮の生ログ量の1/3になります。 total_send_log_count このアーカイブスレッドが10秒間に送信したログレコード数です。 total_send_task_count このアーカイブスレッドが10秒間に行ったネットワークI/Oの総数です。 total_send_cost_ts このアーカイブスレッドが10秒間に費やした総時間（マイクロ秒）です。10秒に近づいたり超えたりすると、I/Oが満杯であることを示します。 avg_send_task_cost_ts 1つのネットワークI/Oあたりの平均時間（マイクロ秒）です。通常は数ミリ秒から数十ミリ秒の範囲です。
DAGスレッド統計
DAGスレッドの統計情報を10秒ごとに出力します。
ログの特定方法
キーワード
dump_dag_statusで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "dump_dag_status" observer.log典型的な出力例
[2023-09-04 17:15:25.494000] INFO [COMMON] ob_dag_scheduler.cpp:1314 [9777][0][Y0-0000000000000000-0-0] [lt=5] [dc=0] dump_dag_status(priority="DAG_PRIO_SSTABLE_MINI_MERGE", low_limit=4, running_task=0) [2023-09-04 17:15:25.494065] INFO [COMMON] ob_dag_scheduler.cpp:1318 [9777][0][Y0-0000000000000000-0-0] [lt=3] [dc=0] dump_dag_status(up_limit_type="DAG_ULT_MINI_MERGE", up_limit=8, running_task_per_ult=0) [2023-09-04 17:15:25.494121] INFO [COMMON] ob_dag_scheduler.cpp:1322 [9777][0][Y0-0000000000000000-0-0] [lt=4] [dc=0] dump_dag_status(type="DAG_MINOR_MERGE", dag_count=0) [2023-09-04 17:15:25.494125] INFO [COMMON] ob_dag_scheduler.cpp:1322 [9777][0][Y0-0000000000000000-0-0] [lt=3] [dc=0] dump_dag_status(type="DAG_MAJOR_MERGE", dag_count=0) [2023-09-04 17:15:25.494210] INFO [COMMON] ob_dag_scheduler.cpp:1324 [9777][0][Y0-0000000000000000-0-0] [lt=3] [dc=0] dump_dag_status(total_worker_cnt=52, total_running_task_cnt=0, work_thread_num=113)主要フィールドの説明
ログ情報説明priority バックグラウンドタスクの優先度。OceanBaseデータベースは、優先度が高いタスクを優先的にスケジュールします。 low_limit バックグラウンドタスクのスレッド数の下限。 up_limit バックグラウンドタスクのスレッド数の上限。 type バックグラウンドタスクのタイプ。 dag_count バックグラウンドタスクキューに投入されたリクエストの総数。 total_worker_cnt 各種バックグラウンドタスクのアクティブスレッドの合計数。 total_running_task_cnt 実行中の各種バックグラウンドタスクの個数。 work_thread_num 各種バックグラウンドタスクのスレッド総数の上限。
トランザクションコンテキスト統計
トランザクションコンテキストの割り当て数統計を、5秒ごとに出力します。
ログの特定方法
キーワード
ObTransCtx statisticsで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "ObTransCtx statistics" observer.log典型的な出力例
[2023-05-15 17:29:07.955826] INFO [STORAGE.TRANS] ob_trans_factory.cpp:175 [88157][0][YB420BA6506F-0005FB92633E1702-0-0] [lt=11] [dc=0] ObTransCtx statistics(active_sche_ctx_count=0, active_coord_ctx_count=0, active_part_ctx_count=1, total_release_part_ctx_count=156)主要フィールドの説明
ログ情報説明active_sche_ctx_count Schedulerロールのアクティブトランザクションコンテキスト数。 active_coord_ctx_count Coordinatorロールのアクティブトランザクションコンテキスト数。 active_part_ctx_count Participantロールのアクティブトランザクションコンテキスト数。 total_release_part_ctx_count 既に解放されたトランザクションコンテキスト数。 説明
各OBServer上で許可される最大Scheduler CTX数は10万、Participant CTX数は70万です。
診断ログ
メモリ割り当て失敗
システムまたはアプリケーションが動的にメモリを割り当てる際に発生したエラーの詳細で、データベースやプログラムの実行ログによく見られます。
ログの特定方法
キーワード
[OOPS]、alloc failed、-4013、-4030などを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "OOPS|alloc failed|-4013|-4030" observer.log典型的な出力例
[2019-11-29 13:32:19.702557] WARN alloc_chunk (achunk_mgr.cpp:156) [116413][1492][XXXXXXXXXXXX-XXXXXXXXXXXXXXXX] [lt=10] [dc=0] oops, over total memory limit, hold=241078108160 limit=243230035968 [2019-11-29 13:32:19.703452] WARN alloc (ob_tenant_ctx_allocator.h:111) [116413][1492][XXXXXXXXXXXX-XXXXXXXXXXXXXXXX] [lt=15] [dc=0] oops, alloc failed, tenant_id=500 ctx_id=0 ctx_name=DEFAULT_CTX_ID ctx_hold=13245612032 ctx_limit=9223372036854775807 tenant_hold=26003955712 tenant_limit=9223372036854775807 [2019-11-29 13:32:19.710755] ERROR [LIB] ob_malloc (ob_malloc.h:49) [116413][1492][XXXXXXXXXXXX-XXXXXXXXXXXXXXXX] [lt=364] [dc=0] allocate memory fail(attr=tenant_id=500, mod_id=253, ctx_id=0, prio=0, nbyte=2097152)主要フィールドの説明
ログ情報説明ctx_name メモリ上限を超えたメモリモジュール（コンテキスト） ctx_hold メモリモジュールが現在占有しているメモリ量 ctx_limit メモリモジュールのメモリ上限 alloc_size 現在のメモリ割り当て要求サイズ
ディスク書き込み失敗
システムがストレージデバイス（ハードディスク、SSDなど）にデータを書き込む際に発生する操作異常で、通常はエラーメッセージが伴います。
ログの特定方法
キーワード
submit_log failedを検索して特定します。ログ特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "submit_log failed" observer.log典型的な出力例
[2023-02-14 16:51:10.255801] ERROR [CLOG] submit_log (ob_partition_log_service.cpp:468) [893][0][Y0-0000000000000000-0-0] [lt=19] submit_log failed(ret=-4264, partition_key={tid:1099511627916, partition_id:0, part_cnt:0}, buff=0xfff80a4aef70, size=805, base_timestamp=1676065578191066, is_trans_related_log=true, role=1, state=4)主要フィールド説明
ログ情報説明ret エラーコード。 partition_key 関連するオブジェクト（table_id+partition_id）。
MemStore スロットリング
MemStore書き込みスロットリングをトリガーした統計ログです。
ログの特定方法
キーワード
report write throttle infoを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "report write throttle info" observer.log典型的な出力例
2022-12-29 04:46:44.841893] INFO [COMMON] ob_fifo_arena.cpp:333 [28948][0][XXXXXXXXXXXX-XXXXXXXXXXXXXXXXXX-X-X] [lt=16] [dc=0] report write throttle info(alloc_size=24, throttling_interval=1000, attr_=tenant_id=1005, label=15, ctx_id=1, prio=0, freed memory(MB):=0, last_base_ts=1672260404842042, cur_mem_hold=11970543616, trigger_mem_limit=21990232512, trigger_mem_remain=5497558128, tenant_memory_remain=5448400896, throttle_info_={decay_factor_:"3.002618459977128736e-04", alloc_duration_:3600000000, trigger_percentage_:80, memstore_threshold_:27487790640, period_throttled_count_:45, period_throttled_time_:315460, total_throttled_count_:181984128, total_throttled_time_:72058595126473244}, mem_overused=49157232)主要フィールドの説明
ログ情報説明cur_mem_hold 現在のMemStoreの使用容量。 trigger_mem_limit スロットリングをトリガーするMemStoreの使用容量しきい値。 trigger_mem_remain スロットリングがトリガーされた時のMemStoreの残り容量。 tenant_memory_remain 現在のMemStoreの残り容量。 mem_overused 現在のMemStoreがスロットリングしきい値を超える使用容量。
ロック競合
行ロック競合が発生し、リトライが行われた際のログ記録です。
ログの特定方法
書き込み競合：キーワード
on_wlock_retry、lock_for_write conflictを検索して特定します。読み書き競合：キーワード
lock_for_read retry、lock_for_read failを検索して特定します。
ログ特定コマンド
書き込み競合
[admin@OB /home/admin/oceanbase/log] $grep "on_wlock_retry" observer.log読み書き競合
[admin@OB /home/admin/oceanbase/log] $grep "lock_for_read retry" observer.log
典型的な出力例
[2022-09-03 11:33:06.624063] WARN [STORAGE.TRANS] on_wlock_retry (ob_memtable_context.cpp:345) [4198][0][XXXXXXXXXXXX-XXXXXXXXXXXXXXXXXX-X-X] [lt=16] [dc=0] lock_for_write conflict(*this=alloc_type=0 ctx_descriptor=45479 … abs_expired_time=1662179586523672 stmt_timeout=3599900482 … pkey={tid:1100611139453777, partition_id:0, part_cnt:0} trans_id={hash:16499054864673064020, inc:284227, addr:“xxx.xxx.xxx.xxx:2882”, t:1662175982313772} checksum_log_ts=0, key=table_id=1100611139453777 rowkey_object=[{“NUMBER”:“1”}] , conflict_ctx=“alloc_type=0 ctx_descriptor=45354 … stmt_start_time=1662175972255438 abs_expired_time=1662179572155922 stmt_timeout=3599900484 … pkey={tid:1100611139453777, partition_id:0, part_cnt:0} trans_id={hash:15878544715862172232, inc:283677, addr:"xxx.xxx.xxx.xxx:2882", t:1662175972255438} checksum_log_ts=0")主要フィールド説明
ログ情報説明*this waiter（ロックを待つトランザクション）。 conflict_ctx blocker（ブロッカー、Holderの可能性あり）。 pkey table_id+partition_idの情報。 rowkey_object 主キー。 trans_id トランザクションの関連情報。
スロークエリ
スロークエリログにはSQLTraceの詳細情報が含まれています。
ログの特定方法
キーワード
[slow query]を検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "slow query" observer.log典型的な出力例
[2022-02-18 11:49:32.557473] TRACE [TRACE]obmp_base.cpp:948 [1837144][3090][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=2] [dc=0] [slow query] (TRACE=begin_ts=1645156047499895 2022-02-18 03:47:27.499895 |[process_begin] u=0 in_queue_time:16, receive_ts:1645156047499878, enqueue_ts:1645156047499879 |[query_begin] u=1 trace_id:XXXXXXXXXX-XXXXXXXXXXXXXX |[session] u=4 sid:3221502589, tenant_id:1| ...... |[parse_begin] u=17 stmt:"select count(*) from TEST1 fetch first 1000 rows only", stmt_len:58 |[cache_get_plan_begin] u=3 |[cache_get_plan_end] u=18 ...... |[cg_begin] u=1 |[cg_end] u=137 |[plan_id] u=96 plan_id:91455 |[exec_begin] u=2 arg1:false, end_trans_cb:false |[do_open_plan_begin] u=2 plan_id:91455 ...... |[result_set_close] u=0 ret:-5066, arg1:-5066, arg2:0, arg3:-5066, async:false |[session] u=34 sid:3226669564, tenant_id:1034 |[exec_end] u=21 |[query_end] u=125 |[process_end] u=38 run_ts:1645156047499900 |total_timeu=125057508)主要フィールドの説明
ログ情報説明[eventbegin]と[eventend] スカラーSQL実行中の内部イベントの開始（begin）と終了（end）。 u=xxx 2つのtraceイベント間の経過時間。 in_queue_time SQL実行開始前にキューで待機した時間。 trace_id SQL実行のtrace_id。 sid SQL実行が行われたsession_id。 stmt SQLステートメント。 plan_id SQL実行のplan_id。 ret 戻り値（エラーコード）。 total_timeu SQL処理の合計時間。
スロートランザクション
トランザクションの実行中の呼び出しチェーンと実行時間を記録します。
ログの特定方法
キーワード
[slow trans]を検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "slow trans" observer.log典型的な出力例
observer.log:[2021-10-08 11:45:44.313295] TRACE [TRACE]:0 [9382][2334][XXXXXXXXXX-XXXXXXXXXXXXXXXXX] [lt=23] [dc=39] [slow trans] (TRACE=begin_ts=1633664744167732 2021-10-08 03:45:44.167732 [init] u=0 arg1:140542173395392, ctx_type:"scheduler", trans_type:2, trans_id:{hash:7103234888693285108, inc:532846, addr:{ip:"192.168.1.1", port:40000}, t:1633664744167658}, pkey:{tid:1000, partition_id:1000, part_cnt:1000}, arg1:false, uref:1073741824 [set_stc] u=1 stc:1633664744167733 [start_trans] u=2 ret:0, uref:1073741825 [start_stmt] u=7 ret:0, tenant_id:1003, sql_no:4294967297, phy_plan_type:3, stmt_type:2, sql_id:"AA2155E24549E97", trace_id:Y9C4064586A6B-0005CDCF253FBE70, start_time:1633664744166256, uref:1073741825 [end_stmt] u=30832 ret:0, is_rollback:false, rollback_to:4294967297, rollback_from:4294967297, uref:1073741825 [start_stmt] u=50000 ret:0, tenant_id:1003, sql_no:4294967298, phy_plan_type:3, stmt_type:2, sql_id:"AA2155E24549E97", trace_id:Y9C4064586A6B-0005CDCF253FBE70, start_time:1633664744166256, uref:1073741825 [end_stmt] u=10 ret:0, is_rollback:false, rollback_to:4294967298, rollback_from:4294967298, uref:1073741825 [submit_commit] u=52 ret:0, uref:1073741824 [end_trans] u=35 ret:0, is_rollback:false, uref:1073741825 [exiting] u=114618 uref:1073741824, arg1:3221531139, arg2:7230647234361492284 [handle_message] u=1 ret:0, msg_type:1, uref:1 [end_trans_cb] u=13 ret:0, param:0, param:true [destroy] u=1 uref:0 total_timeu=195572)主要フィールドの説明
ログ情報説明ctx_type トランザクションコンテキストのタイプ：scheduler、coordinator、participant trans_type トランザクションタイプ： - 0：SP_TRANS(single partition)
- 1：MINI_SP_TRANS(read-only single partition)
- 2：DIST_TRANS(distributed)
trans_id トランザクションのID情報。 pkey 現在のトランザクションコンテキストが変更したobject情報 (table_id+partition_id)。 [start_trans] /[end_trans] このトランザクションコンテキストの開始/終了を示します。 [start_stmt] /[end_stmt] SQL実行の開始/終了を示します。SQLに関するsql_id、trace_idなどの情報も含まれます。 u=xxx 2つのトレースイベント間の経過時間です。 total_timeu トランザクション処理の合計時間です。
ネットワーク転送が遅い
RPCスレッドがパケットを送信するのに時間がかかりすぎます。
ログの特定方法
キーワード
packet fly cost too much timeを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "packet fly cost too much time" observer.log典型的な出力例
[2022-10-27 23:09:58.317505] WARN [RPC.OBRPC] decode (ob_rpc_net_handler.cpp:119) [31273] [Y00000000000000000] [lt=8] packet fly cost too much time(pcode=2311, fly_ts=769195, send_timestamp=1666883397548305)主要フィールドの説明
ログ情報説明pcode イベント処理コード。詳細な意味は __all_virtual_obrpc_statを参照してください。fly_ts ソース側でパケットの送信とエンコードから、ターゲット側での受信とデコードまでの時間です。 send_timestamp リモート側がパケットを送信したタイムスタンプです。 説明
RPC転送が遅いのは、ネットワーク遅延、クロック偏差、システム負荷、およびRPCスレッドの忙しさが原因である可能性が高いです。
ネットワークスロットリング
OBServerはシステムタスクのネットワークスロットリングを設定します。
ログの特定方法
キーワード
network speed changed、reload_bandwidth_throttle_limit、init_bandwidth_throttleを使用して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "network speed changed|reload_bandwidth_throttle_limit|init_bandwidth_throttle" observer.log典型的な出力例
[2021-06-10 11:10:49.397019] INFO [SERVER] ob_server.cpp:2018 [72580][0][Y0-0000000000000000-0-0] [lt=8] [dc=0] succeed to init_bandwidth_throttle(sys_bkgd_net_percentage_=60, network_speed=1310720000, rate=786432000): [2021-06-10 11:14:44.905396] INFO [SERVER] ob_server.cpp:2385 [72582][0][Y0-0000000000000000-0-0] [lt=11] [dc=0] network speed changed(from=1310720000, to=1048576000) [2021-06-10 11:14:44.905421] INFO [SERVER] ob_server.cpp:2055 [72582][0][Y0-0000000000000000-0-0] [lt=3] [dc=0] succeed to reload_bandwidth_throttle_limit(old_percentage=60, new_percentage=60, network_speed=1048576000, rate=629145600)主要フィールドの説明
ログ情報説明sys_bkgd_net_percentage_ システムパラメータ sys_bkgd_net_percentage の値で、バックグラウンドスレッドのネットワーク帯域幅の割合です。デフォルトはNIC帯域幅の60%です。 network_speed NIC帯域幅。関連する設定ファイルに基づいて設定します。 rate バックグラウンドスレッドのネットワーク帯域幅。rate= network_speed * sys_bkgd_net_percentage
高リスク障害
システムにエラーが発生し、DBAの介入による調査が必要です。
ログの特定方法
キーワード
ERROR issue_dba_errorを検索して特定します。ログ特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "ERROR issue_dba_error" observer.log典型的な出力例
2023-05-11 16:05:27.966611] ERROR issue_dba_error (ob_log.cpp:2322) [79165][0][Y0-0000000000000000-0-0] [lt=18] [dc=0][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=0, file="ob_log_file_group.cpp", line_no=412, info="clog disk is almost full") [2023-05-11 16:45:58.135783] ERROR issue_dba_error (ob_log.cpp:2322) [77332][0][Y0-0000000000000000-0-0] [lt=8] [dc=0][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=-4264, file="ob_partition_log_service.cpp", line_no=468, info="submit_log failed") [2023-05-11 16:45:59.448092] ERROR issue_dba_error (ob_log.cpp:2322) [77584][0][Y0-0000000000000000-0-0] [lt=10] [dc=0][errcode=-4388] Unexpected internal error happen, please checkout the internal errcode(errcode=0, file="ob_election.cpp", line_no=2077, info="leader_revoke, please attention!")重要フィールドの説明
ログ情報説明internal errcode エラーコード。 file エラーが検出されたソースコード。 info エラーメッセージ。
rootservice.log
クラスタ管理サービスのログであり、RootService（RS）モジュールの管理操作を記録する専用ファイルです。ノードのスケジューリング、DDLの実行、レプリカのバランシングなどが含まれます。
統計ログ
ロードバランシングタスク統計
ロードバランシングタスクの統計情報です。
ログの特定方法
キーワード
Rebalance task manager statisticsを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "Rebalance task manager statistics" observer.log典型的な出力例
[2023-05-10 05:22:50.862554] INFO [RS] ob_rebalance_task_mgr.cpp:1887 [65048][0][XXXXXXXXXX-XXXXXXXXXXXXXX-X-X] [lt=14] [dc=0] Rebalance task manager statistics(waiting_replication_task_cnt=0, executing_replication_task_cnt=0, waiting_migration_task_cnt=0, executing_migration_task_cnt=0)主要フィールドの説明
ログ情報説明waiting_replication_task_cnt 待機中のレプリケーションタスク数。 executing_replication_task_cnt 実行中のレプリケーションタスク数。 waiting_migration_task_cnt 待機中の移行タスク数。 executing_migration_task_cnt 実行中の移行タスク数。
マージ進捗統計
マージ進捗に関連するログです。
ログの特定方法
キーワード
check merge progress successまたはsucc to finish zone mergeで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "check merge progress success" observer.logまたは
[admin@OB /home/admin/oceanbase/log] $grep "succ to finish zone merge" observer.log典型的な出力例
[2021-04-07 10:37:16.451302] INFO [RS] ob_daily_merge_scheduler.cpp:1840 [4532][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=34] succeed to add_finish_zone_merge_op(zone=bank.ea133_8, last_merged_version=10044, all_merged_version=10044) [2021-04-07 10:37:18.114716] INFO [RS] ob_daily_merge_scheduler.cpp:1986 [4532][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=14] succ to finish zone merge(zone=bank.ea133_8, last_merged_version=10044, all_merged_version=10044)または
[2023-05-16 20:04:48.270903] INFO [RS] ob_partition_table_util.cpp:317 [87321][0][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=10] [dc=0] check merge progress success(version=38, all_majority_merged=false, all_progress=[{zone:"zone1", unmerged_partition_cnt:2301, unmerged_data_size:126884638603, merged_partition_cnt:0, merged_data_size:0, smallest_data_version:37, merged_partition_percentage:0, merged_data_percentage:0}, {zone:"zone2", unmerged_partition_cnt:0, unmerged_data_size:0, merged_partition_cnt:2301, merged_data_size:126884950766, smallest_data_version:38, merged_partition_percentage:100, merged_data_percentage:100}, {zone:"zone3", unmerged_partition_cnt:2301, unmerged_data_size:126884638603, merged_partition_cnt:0, merged_data_size:0, smallest_data_version:37, merged_partition_percentage:0, merged_data_percentage:0}], checking_time_us=202635)主要フィールドの説明
ログ情報説明version 現在のメジャーコンパクションのバージョン番号。 all_majority_merged すべてのゾーンでメジャーコンパクションが完了している場合はtrue、そうでない場合はfalseを返します。 all_progress 各ゾーンのメジャーコンパクションの進捗状況。
診断ログ
DDL実行
ログの特定方法
キーワード
[DDL] execute ddl like stmtを検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "[DDL] execute ddl like stmt" observer.log典型的な出力例
[2023-05-16 10:50:10.834911] INFO [RS] ob_rs_rpc_processor.h:249 [87188][0][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=17] [dc=0] [DDL] execute ddl like stmt(ret=0, cost=44039, ddl_arg={ddl_stmt_str:“CREATE INDEX ”IND_PA_ACCTSENIOR“ on ”T_PA_ACCTSENIOR“ ( ”FSENIOR_CODE“ ) GLOBAL", exec_tenant_id:1005, ddl_id_str:"", is_replay_schema:false, based_schema_object_infos:[{schema_id:1105009185964905, schema_type:5, schema_version:1684205410682568}]})主要フィールドの説明
ログ情報説明ret DDLステートメントの戻り値。 cost 実行時間。 ddl_arg DDLステートメント。 schema_type 作成されたオブジェクトのタイプ。
パーティションによるリーダー切り替え
パーティションでリーダー切り替えが発生した際のログ情報です。
ログの特定方法
キーワード
choose leader infoで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "choose leader info" observer.log典型的な出力例
[2023-05-10 17:41:28.833956] INFO [RS] ob_leader_coordinator.cpp:5004 [65037][0][XXXXXXXXXX-XXXXXXXXXXXXXX-X-X] [lt=27] [dc=0] choose leader info(tenant_id=1005, tablegroup_id=18446744073709551615, server="192.168.1.1:2882", info={server_addr:"192.168.1.1:2882", zone:"zone2", balance_group_score:9223372036854775807, region_score:{region_:"beijing", region_score_:0}, not_merging:true, start_service:true, zone_candidate_count:1, candidate_count:1, is_candidate:true, not_excluded:true, migrate_out_or_transform_count:0, zone_migrate_out_or_transform_count:0, in_normal_unit_count:1, zone_score:{zone_:"zone2", zone_score_:0}, original_leader_count:0, random_score:3, cur_leader_count:1, in_revoke_blacklist_count:0, partition_id:0}, is_stopped=false, is_zone_active=true)主要フィールドの説明
ログ情報説明tablegroup_id プライマリ切り替えが発生したパーティションまたはテーブルグループのID。 server 新しいプライマリが存在するobserverの場所。 is_stopped 新しいプライマリが存在するobserverの状態。 is_zone_active 新しいプライマリが存在するzoneの状態。
パーティションのメジャーコンパクション
ロードバランシングタスクの統計情報です。
ログの特定方法
キーワード
replica not mergedで検索して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "replica not merged" observer.log典型的な出力例
[2021-04-07 10:47:36.835217] INFO [RS] ob_partition_table_util.cpp:180 [4532][XXXXXXXXXX-XXXXXXXXXXXXXX] [lt=5] replica not merged to version(version=10044, replica={table_id:{value:1106108697592732, first:1006, second:50076}, partition_id:0, partition_cnt:1, zone:"bank.mub_2", server:"xxx.xxx.xxx.xxx:2882", sql_port:2881, unit_id:1017, role:1, member_list:[{server:"xxx.xxx.xxx.xxx:2882", timestamp:1557500921627412}, {server:"xxx.xxx.xxx.xxx:2882", timestamp:1560866621699092}, {server:"xxx.xxx.xxx.xxx:2882", timestamp:1592984233874976}, {server:"xxx.xxx.xxx.xxx:2882", timestamp:1614240480439532}, {server:"xxx.xxx.xxx.xxx:2882", timestamp:1614911835988424}], row_count:8635155074, data_size:2061390087129, data_version:10043, data_checksum:3763772143, row_checksum:row:[0], modify_time_us:1617652580558918, create_time_us:1560880959641988, member_time_us:1560866621699092, is_original_leader:false, in_member_list:true, rebuild:false, to_leader_time:1603047186742602, replica_status:"REPLICA_STATUS_NORMAL", replica_type:0, required_size:2295137828864, status:"REPLICA_STATUS_NORMAL", is_restore:0, partition_checksum:14438911093, quorum:5})主要フィールドの説明
ログ情報説明version マージされたグローバルバージョン番号 table_id:{value:v0, first:v1, second:v2} v0 table_id; v1 tenant_id; v2 pure table_id data_version 現在のパーティションのメジャーバージョン番号 replica_type レプリカタイプ：0 - full; 5 logonly; 16 readonly quorum レプリカ数
election.log
分散型選挙トランザクションのログであり、リーダー争奪、ハートビート検出、レプリカの一貫性協議など、Paxos選挙プロトコルの実行状態を全程追跡します。
Leader廃棄エラー
高リスクLeader廃棄イベント（直ちに対処が必要です）。
ログの特定方法
キーワード
leader_revoke、please attentionを使用して特定します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "leader revoke|leader_revoke" observer.log典型的な出力例
[2022-05-08 22:41:38.827689] INFO [ELECT] ob_election.cpp:2072 [201777][0][Y0-0000000000000000-0-0] [lt=1526] take the initiative leader revoke(partition={tid:1100611139404082, partition_id:0, part_cnt:0}, revoke reason="clog disk full") [2022-05-08 22:41:38.827723] ERROR [ELECT] leader_revoke (ob_election.cpp:2077) [201777][0][Y0-0000000000000000-0-0] [lt=8] leader_revoke, please attention!(revoke reason="clog disk full", election={partition:{tid:1100611139404082, partition_id:0, part_cnt:0}, is_running:true, is_changing_leader:false, self:"xxx.xxx.xxx.xxx:2882", proposal_leader:"0.0.0.0", cur_leader:"xxx.xxx.xxx.xxx:2882", curr_candidates:3{server:"xxx.xxx.xxx.xxx:2882", timestamp:1650642269999783, flag:0, need_encrypt:false}{server:"xxx.xxx.xxx.xxx:2882", timestamp:1651730035655503, flag:0, need_encrypt:false}{server:"xxx.xxx.xxx.xxx:2882", timestamp:1650642269999783, flag:0, need_encrypt:false}, curr_membership_version:1651730068793522, leader_lease:[1651816304570000, 1651816418400000], election_time_offset:5570000, active_timestamp:1651808137937449, T1_timestamp:1651816404000000, leader_epoch:1651816299000000, state:1, role:1, stage:-1, type:-1, replica_num:3, unconfirmed_leader:"xxx.xxx.xxx.xxx:2882", unconfirmed_leader_lease:[1651816304570000, 1651816419000000], takeover_t1_timestamp:1651816402600000, is_need_query:false, valid_candidates:0, change_leader_timestamp:0, ignore_log:false, leader_revoke_timestamp:1651816301770881, vote_period:4, lease_time:9800000, move_out_timestamp:1651816300405697, eg_part_array_idx:40, eg_id_hash:6130129687449640250}) BACKTRACE:0xf5c6965 0xf45eeca 0xf44866a 0x530ea4d 0x9bbea6b 0x9b2c627 0x9b2c0cc 0x9b77a60 0x987a46b 0xb472a62 0x93845b5 0x9384519 0x5260906 0x66daf5d 0xf33ee22 0xf33ec7e 0xf5da8ce主要フィールドの説明
ログ情報説明cur_leader 現在のリーダー。 curr_candidates 現在の候補ノードリスト。 is_changing_leader リーダーが変更中かどうかを示します。 is_running 選挙が実行中かどうかを示します。 leader_lease リーダーリース（開始時間、終了時間）。 leader_revoke_timestamp Leader revokeが発生した時間。 proposal_leader 提案されたリーダー。 revoke reason Leader revokeがトリガーされた原因。 self 現在のノード。 unconfirmed_leader 現在確認されていないリーダーノード。
リーダーリースの期限切れ
リーダーリースの期限切れは、リーダー再選出イベントをトリガーします。
ログの特定方法
キーワード
lease is expiredまたはleader lease is expiredで検索します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "lease is expired|leader lease is expired" election.log典型的な出力例
[2022-05-31 15:32:19.849628] INFO [ELECT] ob_election.cpp:1890 [44778][T1010][Y0-000000-0-0] [lt=21] leader lease expired(partition={tid:1106108697592658, partition_id:12}, lease_end=1652078088200000, current_ts=1652078139849628, election={self:"10.xx.xx.xx:2882", cur_leader:"10.xx.xx.xx:2882", state:ACTIVE, role:LEADER, lease:[1652078078000000, 1652078088200000]}) [2022-05-31 15:32:19.849849] ERROR [ELECT] handle_lease_expired (ob_election.cpp:1905) [44778][T1010][Y0-000000-0-0] [lt=8] leader_revoke triggered by lease expire!(revoke_reason="lease expire", partition_idx=12, leader="10.xx.xx.xx:2882", next_election_time=1652078139849849)主要フィールドの説明
ログ情報説明lease_end リースの満了タイムスタンプ。単位はマイクロ秒。 current_ts リース検出時のタイムスタンプ。単位はマイクロ秒。 revoke_reason 解任理由（固定値："lease expire"）。 next_election_time 次回の選挙がトリガーされる時間。 partition_idx パーティションインデックス（システムテーブルのクエリに関連付けられます）。
Leader再選出成功
新しいリーダーレプリカが正常に就任したイベント。
ログの特定方法
キーワード
leader takeover、leader takeover successで検索します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "leader takeover|leader takeover success" observer.log典型的な出力例
[2022-05-31 15:32:24.851006] INFO [ELECT] ob_election.cpp:2153 [44801][T1012][Y0-000000-0-0] [lt=11] leader takeover success!(partition={tid:1106108697592658, partition_id:12}, new_leader="12.xx.xx.xx:2882", takeover_type="HANDLE_DEVOTE_SUCC", election={prev_leader:"0.0.0.0", curr_candidates:3{server:"11.xx.xx.xx:2882"}{server:"12.xx.xx.xx:2882"}{server:"10.xx.xx.xx:2882"}, lease:[1652078144851006, 1652078250000000]})主要フィールドの説明
ログ情報説明new_leader 新しいリーダーのノードアドレス。 takeover_type 就任タイプ（例：HANDLE_DEVOTE_SUCC）。 prev_leader 元リーダーのノード（"0.0.0.0"はリーダーなしを示す）。 lease 新リーダーのリース時間枠。
Leader無効アラート
リーダー状態異常アラートイベント。
ログの特定方法
キーワード
current leader is invalidで検索します。ログの特定コマンド
[admin@OB /home/admin/oceanbase/log] $grep "current leader is invalid" rootservice.log典型的な出力例
[2022-07-16 02:02:12.847602] WARN [RS] ob_leader_coordinator.cpp:2067 [8570][YB420AF4005E-4626EDFC] [lt=8] [dc=0] current leader is invalid!(tenant_id=1005, ls_id=1100611139404082, invalid_reason="location cache mismatch", current_leader="11.xx.xx.xx:2882", actual_leader="11.xx.xx.xx:2882")主要フィールドの説明
ログ情報説明invalid_reason 無効な理由（キャッシュの不整合やハートビートの欠落など）。 current_leader 現在記録されているリーダーアドレス。 actual_leader 実際に選出されたリーダーアドレス。 tenant_id/ls_id テナントとログストリームの識別子。