MyScaleDB 1.x と ClickHouse 23.3 の互換性

目次

• MyScaleDB 1.x と ClickHouse 23.3 の互換性
  • 概要
  • 新機能
    • ベクトルインデックス
      • 説明
    • 逆インデックス
      • 説明
  • 他のバージョンから導入された機能や修正
  • 默认启用的实验特性
    • テーブルエンジンの設定
    • セッションの設定
  • デフォルトで有効化された実験的な機能
    • サーバーの設定
    • テーブルエンジンの設定
    • セッションの設定
  • 追加された設定
    • サーバーの設定
    • テーブルエンジンの設定
    • セッションの設定
    • その他の設定

概要

このドキュメントは、MyScaleDB と ClickHouse 23.3 の互換性について詳細な説明を提供し、MyScaleDB の新機能や強化された機能をリストアップします。これらの機能は現行の ClickHouse のバージョンには存在しません。

新機能

ベクトルインデックス

説明

MyScale では、ベクトルインデックス機能が提供されており、ベクトルデータの効率的な処理とクエリに使用されています。この機能は ClickHouse 23.3 の Distance テーブル関数に類似していますが、MyScale のベクトルインデックスの実装はより高いパフォーマンスと精度を提供します。詳細な情報はドキュメントを参照してください：基本的なベクトル検索

逆インデックス

説明

MyScale では、BM25 アルゴリズムを基にしたより効率的で使いやすい逆インデックスが提供されており、効率的な全文検索を行うことができます。同時に、逆インデックスとベクトルインデックスを基に、MyScale は統合検索を追加し、ユーザーがベクトルと全文検索を組み合わせて自分の求める結果を得るのをサポートします。詳細については、ドキュメントを参照してください：全文検索

他のバージョンから導入された機能や修正

• S3から空のファイルを読み込むサポート
  PR52733 (opens new window)
  PR52763 (opens new window)
  PR49519 (opens new window)

• 増分バックアップへの追記ファイルの書き込みの問題を修正
  PR49725 (opens new window)

• Executable Dictの読み込み失敗時に正しいステータス（FAILED）を報告するよう修正
  PR48775 (opens new window)

• 外部コマンドのstderrストリームにデータがある場合の異なる動作を追加
  PR43210 (opens new window)

• ShellCommandSourceでタスクを正しく破棄するよう修正
  PR53573 (opens new window)

• シェルコマンドのデータ競合を修正
  PR53631 (opens new window)

• ShellCommandSourceコンストラクタで例外が発生した場合に正しくクリーンアップするよう修正
  PR55103 (opens new window)

• ReplicatedMergeTreeでデフォルトの{replica}と{shard}パラメータを使用するよう修正
  PR48961 (opens new window)

• レプリケートされたデータベースの単一シャードでALTER文の実行を最適化するよう修正
  PR51049 (opens new window)

• マージするパーツの選択時に削除された行を考慮するよう修正
  PR58223 (opens new window)

デフォルトで有効化された実験的な機能

テーブルエンジンの設定

• allow_experimental_database_replicated

セッションの設定

• allow_experimental_object_type

変更されたデフォルト設定

設定パラメータの詳細な説明については、公式のClickHouseドキュメントを参照してください。

サーバーの設定

• max_connections: 1024 -> 4096
• max_concurrent_queries: 0（制限なし）-> 1000
• disable_internal_dns_cache: 0 -> 1
• max_table_size_to_drop: 50000000000 -> 1000000000000
• uncompressed_cache_size: 0（無効）-> DYNAMIC_SETTING（サーバーメモリによって動的に調整）
• mark_cache_size: 0（無効）-> DYNAMIC_SETTING（サーバーメモリによって動的に調整）

テーブルエンジンの設定

• index_granularity: 8192 -> 128
• merge_max_block_size: 8192 -> 256
• max_bytes_to_merge_at_max_space_in_pool: 161061273600 -> 5368709120
• number_of_free_entries_in_pool_to_lower_max_size_of_merge: 8 -> 2
• number_of_free_entries_in_pool_to_execute_mutation: 20 -> 2
• old_parts_lifetime: 480 -> 5
• simple_merge_selector_base: 5 -> 1.2

セッションの設定

• min_insert_block_size_bytes: 268402944 -> 33554432
• max_query_size: 262144 -> 262144000
• connect_timeout_with_failover_ms: 50 -> 5000
• use_uncompressed_cache: 0 -> 1
• distributed_directory_monitor_batch_inserts: 0 -> 1
• distributed_product_mode: DENY（無効）-> GLOBAL
• send_progress_in_http_headers: 0 -> 1
• join_use_nulls: 0 -> 1
• prefer_global_in_and_join: 0 -> 1
• max_result_rows: 0（制限なし）-> 10000
• default_table_engine: None（無効）-> ReplicatedMergeTree
• mutations_sync: 0 -> 1
• allow_experimental_database_replicated: 0 -> 1
• database_replicated_allow_replicated_engine_arguments: 1 -> 0
• async_insert: 0 -> 1
• allow_experimental_object_type: 0 -> 1
• background_pool_size: 16 -> 4
• default_database_engine: Atomic -> Replicated

追加された設定

サーバーの設定

• primary_key_cache_size
  • プライマリキーキャッシュのサイズ制限
• vector_index_cache_size
  • キャッシュ内のベクトルインデックスキャッシュのサイズ制限
• vector_index_cache_size_ratio_of_memory
  • ベクトルインデックスキャッシュのメモリ制限（総メモリの比率）
• vector_index_build_size_ratio_of_memory
  • ベクトルインデックスビルドのメモリ制限（総メモリの比率）
• enable_brute_force_vector_search
  • ベクトル検索のためのブルートフォース検索を有効化

テーブルエンジンの設定

• enable_primary_key_cache
  • ベクトル検索のためのプライマリキーキャッシュを有効化
• enable_decouple_vector_index
  • パートのマージとベクトル検索時に古いベクトルインデックスを使用するように有効化
• enable_rebuild_for_decouple
  • 分離されたパートで新しいベクトルインデックスの再構築を有効化
• min_rows_to_build_vector_index
  • ベクトルインデックスを構築するための最小行数
• min_bytes_to_build_vector_index
  • ベクトルインデックスを構築するための最小バイト数
• float_vector_search_metric_type
  • 浮動小数点ベクトル検索のデフォルトのメトリックタイプ
• binary_vector_search_metric_type
  • バイナリベクトル検索のデフォルトのメトリックタイプ
• max_rows_for_slow_mode_single_vector_index_build
  • データパートの遅いモードベクトルインデックスビルドの最大行数
• default_mstg_disk_mode
  • 使用するデフォルトのディスクモード
• vector_index_parameter_check
  • ベクトルインデックスのパラメータチェックを有効化
• vidx_zk_update_period
  • ベクトルインデックス情報のバックグラウンド更新の時間間隔（ZooKeeper上）
• vector_index_cache_recheck_interval_seconds
  • レガシーベクトルインデックスキャッシュのバックグラウンド操作の実行間隔
• build_vector_index_on_random_single_replica
  • 異なるレプリカでランダムにベクトルインデックスを構築

セッションの設定

• database_replicated_always_execute_with_on_cluster
  • レプリケートされたデータベースをクラスタのすべてのレプリカで作成または削除するように常に設定
• database_replicated_default_cluster_name
  • レプリケートされたデータベースを作成または削除するためのクラスタの名前
• database_replicated_allow_explicit_arguments
  • レプリケートされたデータベースの作成に明示的な引数を許可するかどうか
• database_replicated_always_convert_table_to_replicated
  • データベース内のテーブルを常にReplicatedエンジンを使用したレプリケートテーブルに変換するかどうか
• database_replicated_default_zk_path_prefix
  • データベースを作成する際にレプリケートデータベースエンジンのzk_pathに自動的に設定するためのプレフィックス。空の場合、zk_pathは自動的に設定されません。
• optimize_move_to_prewhere_for_vector_search
  • SELECTクエリのベクトル検索に対する特別なPREWHERE最適化を有効または無効にする
• two_stage_search_option
  • ベクトル検索のための2段階検索を有効化
• enable_brute_force_vector_search
  • ベクトル検索のためのブルートフォース検索を有効化
• max_build_index_train_block_size
  • インデックスのトレーニング用の最大ブロックサイズ（バイト単位）
• max_build_binary_vector_index_train_block_size
  • バイナリベクトルのインデックスのトレーニング用の最大ブロックサイズ（バイト単位）
• max_build_index_add_block_size
  • インデックスビルドの1ラウンドでベクトルを追加するための最大ブロックサイズ（バイト単位）

その他の設定

• vector_index_event_log
  • ベクトルインデックスイベントテーブルの設定
• vector_index_cache_path
  • ベクトルインデックスキャッシュのディレクトリ
• tantivy_index_cache_path
  • 全文検索ベクトルキャッシュのディレクトリ