# SQLとベクトルの結合クエリ

MyScaleは、AIデータのワークロードにおいてSQLとベクトルのパワーを組み合わせています。SQLの包括的なシンタックスライブラリを使用して、構造化（ベクトル化）および非構造化のデータに対して複雑な伝統的なSQLクエリとベクトルクエリを実行することができます。これにより、迅速かつ効率的なデータ分析操作が可能となります。

# SQL + ベクトル: なぜ重要なのか？

伝統的なSQLとベクトルの結合クエリの重要性は、構造化データとベクトル埋め込み（データ）を組み合わせて複雑なクエリを処理し、高次元データを統一的かつ効率的に分析する能力にあります。このアプローチには、以下のようないくつかの利点と機能があります。

さまざまなデータ型と関数を扱う: MyScaleは、高次元ベクトルデータと思いつくようなメタデータを格納およびクエリできます。このシームレスな統合により、ユーザーはより複雑なクエリとデータ分析を設計・実行することができます。AIモデルとビジネスデータを使用することで、より包括的なデータの視点を提供し、意思決定の利益をもたらします。
ハイブリッド検索: ハイブリッド検索では、ベクトル化されたドキュメントの意味検索と伝統的なキーワードマッチングを組み合わせることで、ベクトル化されたドキュメントの意味的なカバレッジの不足に対処します。特に、レアな単語を特定する場合や、特定の用語を検索する意図がある場合に有益です。さらに、ハイブリッド検索の基盤は、SQLとベクトルの結合クエリを通じて確立されます。
統一的なクエリ言語: SQLは、多くの開発者やデータアナリストによって使用される広く使われているデータベースクエリ言語です。ユーザーは、SQLとベクトル検索を1つのクエリで結合することで、既に知っているシンタックスをシームレスに統合することができます。新しいクエリ言語を学ぶ必要がなくなります。
効率的なデータの取得: ベクトル化（非構造化）および構造化データは、効率的かつ効果的なデータの取得には特殊なベクトルインデックスと検索アルゴリズムが必要とされることがあります。SQLとベクトルの結合クエリを1つのクエリで結合することで、MyScaleエンジンはベクトル関連の検索を実行し、クエリの実行計画を最適化してデータをより高速かつ効率的に取得することができます。

TIP

データを効果的に取得する方法の例については、高度なアプリケーション: クエリ設計を参照してください。
データワークフローの効率化: MyScaleは、ネイティブのSQLからベクトル検索クエリまでの統一されたデータソリューションを提供します。SQLユーザーはベクトル検索を含めたクエリを拡張することができ、ベクトル検索ユーザーはメタデータをよく構造化されたテーブルに格納することができます。

まとめると、伝統的なSQLとベクトルクエリは、高次元ベクトルデータを処理・分析することができ、データベースのアプリケーション領域を拡張し、データ分析の能力を向上させることができます。これは、機械学習、データサイエンス、画像処理など、多くの分野において重要です。

TIP

伝統的なSQLクエリとベクトル検索の堅牢さを理解するために、サンプルアプリケーションと高度なアプリケーションを参照してください。

# SQL + ベクトルの使用方法: ChatDataをベースにしたデモ

ChatDataは、LLMチャットアプリであり、ドキュメントとの対話時に効率と正確性を提供します。強力なメタデータフィルターと高度なベクトル検索機能により、ドメインデータに関する質問に簡単に答えることができます。

TIP

ChatDataを使用すると、学術論文を含む数百万のドキュメントとシームレスに対話することができます。研究者、学生、知識愛好家のいずれであっても、ChatDataを使用して学術論文や研究文書を探索することはこれまで以上に簡単です。ChatDataを使用して情報検索の真のポテンシャルを引き出し、知識の世界を手に入れましょう。

以下のセクションでは、ChatDataのクエリ検索実装に基づいたMyScaleのデモを作成し、SQLとベクトルの結合クエリを実行する方法を説明します。

# データベーステーブルの作成

このサンプルアプリケーションでは、PDFドキュメントライブラリを使用して、クエリ時に格納および取得される学術論文データ（ベクトル形式）を使用します。MyScaleのSQLワークスペースで、以下のSQLステートメントを実行して、ドキュメントライブラリの関係テーブルを作成します。

# `chatPDF` テーブル

このテーブルは、以下のフィールドに格納されるPDFドキュメントライブラリから抽出された段落テキストデータを格納します。

id: 段落のID
pdf (SHA256): 対応するPDFのID
content: 段落の内容
section: 段落が所属するセクション
page: ページ番号
vector: 段落の特徴ベクトル

CREATE TABLE default.chatPDF (
    `id` String,
    `pdf` String,
    `content` String,
    `section` String,
    `page` Int32,
    `vector` Array(Float32),
    VECTOR INDEX vec_idx vector TYPE MSTG('metric_type=Cosine'),
    CONSTRAINT vec_len CHECK length(vector) = 512)
ENGINE = ReplacingMergeTree ORDER BY id SETTINGS index_granularity = 8192;

# `chatPDF_meta` テーブル

このテーブルは、以下のフィールドにリンクされたドキュメントライブラリのPDFファイルに関連するメタデータ情報を格納します。

pdf (SHA256): PDFのID
title: PDFのタイトル
authors: PDFの著者
abstract: PDFの要約
pub_date: 公開日
doi: ドキュメントのDOI（デジタルオブジェクト識別子）- https://doi.org (opens new window)
publisher: ドキュメントの出版社
article_type: 記事のタイプ/カテゴリ - {'arXiv', 'Finance'}
vector: 著者の特徴ベクトル

CREATE TABLE default.chatPDF_meta (
    `pdf` String,
    `title` String,
    `authors` Array(String),
    `abstract` String,
    `pub_date` Nullable(Date32),
    `doi` String,
    `publisher` String,
    `article_type` String,
    `vector` Array(Float32),
    VECTOR INDEX vec_idx vector TYPE MSTG('metric_type=Cosine'),
    CONSTRAINT vec_len CHECK length(vector) = 512)
ENGINE = ReplacingMergeTree ORDER BY pdf SETTINGS index_granularity = 8192;

# `chatPDF_ref` テーブル

このテーブルは、以下のフィールドに引用されたドキュメントライブラリのPDFファイルに関する情報を格納します。

pdf (SHA256): 引用されたPDFのID
title: 引用された記事のタイトル
authors: 引用された記事の著者
journal: 引用された記事の要約
year: 引用された記事の発行年

CREATE TABLE default.chatPDF_ref (
    `title` String,
    `pdf` String,
    `journal` String,
    `authors` Array(String),
    `year` Nullable(Date32))
ENGINE = ReplacingMergeTree ORDER BY title SETTINGS index_granularity = 8192;

# `chatPDF_user` テーブル

このテーブルは、ドキュメントライブラリのPDFドキュメントに対するユーザーのアクセス権限を以下のフィールドに格納します。

id: ACL（アクセス制御リスト）のID
user: ACLユーザー
pdf: ユーザーがアクセスできるACL PDFドキュメントコード

CREATE TABLE default.chatPDF_user (
    `id` String, 
    `user` String, 
    `pdf` String) 
ENGINE = ReplacingMergeTree ORDER BY id SETTINGS index_granularity = 8192;

TIP

ユーザーが複数のPDFドキュメントへのアクセス権限を持っている場合、chatPDF_user テーブルには、そのユーザーに関連する複数の行のレコードが存在します。