Hinweis:
Wir aktualisieren kontinuierlich die Benchmark-Ergebnisse für MyScale und andere Vektordatenbank-Produkte in unserem Open-Source-Projekt, vector-db-benchmark (opens new window).
Es wird allgemein angenommen, dass relationale Datenbanken nicht mit der Leistung spezialisierter Vektordatenbanken mithalten können. Zum Beispiel hat PostgreSQL mit Vektorerweiterungen einen erheblichen Leistungsnachteil im Vergleich zu spezialisierten Vektordatenbanken wie Pinecone. Deshalb gibt es heute so viele spezialisierte Vektordatenbanken. Menschen bevorzugen relationale Datenbanken aus verschiedenen Gründen, darunter Produktionsbereitschaft, einen robusten Funktionsumfang, Unterstützung und Community, Integration, Sicherheit und natürlich SQL, die vertraute und leistungsstarke Sprache zur Kommunikation mit Daten. In spezialisierten Vektordatenbanken sind all diese Funktionen in gewisser Weise beeinträchtigt.
Was wäre, wenn wir eine relationale Datenbank hätten, die mit spezialisierten Vektordatenbanken konkurrieren oder sie sogar übertreffen könnte?
Wir freuen uns, eine bedeutende Verbesserung von MyScale bekannt zu geben, die genau dies erreicht. Zum ersten Mal kann eine relationale Datenbank in Bezug auf Vektorleistung die fortschrittlichsten spezialisierten Vektordatenbanken übertreffen und dabei alle Vorteile einer relationalen Datenbank und von SQL beibehalten. Im direkten Vergleich mit Pinecone, einer führenden spezialisierten Vektordatenbank, übertrifft MyScale diese um das 10-fache in Bezug auf die Abfragegeschwindigkeit des s1-Pods von Pinecone und um das 5-fache in Bezug auf die Datendichte des p2-Pods. Wenn die Wirtschaftlichkeit berücksichtigt wird, ist MyScale bei verschiedenen Genauigkeitsstufen 3,6-mal kosteneffektiver als andere leistungsstarke spezialisierte Vektordatenbanken. Dies wird in der folgenden Abbildung veranschaulicht. Während Pinecone eine führende Datenbank ist, bezieht sich der Kosten-Nutzen-Vergleich in diesem Kontext auf eine Reihe der leistungsstärksten spezialisierten Vektordatenbanken, nicht nur auf Pinecone.
Dies wird durch die nahtlose Integration von strukturierten Daten und Vektoren mithilfe einer Reihe von Innovationen sowohl im algorithmischen als auch im Systemtechnikbereich erreicht:
- Algorithmische Innovationen. Im Kern von Vektordatenbanken stehen Suchalgorithmen für den nächstgelegenen Nachbarn. Im Gegensatz zu den meisten Vektordatenbanken, die auf demselben Satz von Algorithmen wie IVF und HNSW oder deren Varianten beruhen und daher ähnliche Leistungsgrenzen haben, implementiert MyScale einen proprietären Algorithmus namens MSTG (Multi-Scale Tree Graph), der IVF und HNSW manchmal um das 10-fache oder mehr übertrifft.
- Systemtechnik. MyScale basiert auf ClickHouse. Wir lieben ClickHouse wegen seiner hohen Leistung und seines umfangreichen Funktionsumfangs. Es hat jedoch einige bekannte Probleme und Systemoverheads. Wir haben zahlreiche Systemverbesserungen und Fehlerkorrekturen vorgenommen, um Vektoren mit ClickHouse zu verwenden (einige wurden der ClickHouse-Community zurückgegeben, wie z. B. leichte Löschungen).
Die Leistungsverbesserungen, die jetzt über MyScale verfügbar sind, ermöglichen es Benutzern, noch leistungsfähigere KI-Anwendungen zu erstellen. MyScale umfasst die folgenden Hauptfunktionen:
- Hohe Datenkapazität und Leistung: In MyScale unterstützt ein einzelner Standard-Pod 5 Millionen 768-dimensionale Datenpunkte mit hoher Genauigkeit und erreicht über 150 Abfragen pro Sekunde (QPS).
- Schnelle Datenübernahme: Nehmen Sie 5 Millionen Datenpunkte in weniger als 30 Minuten auf, minimieren Sie die Wartezeit und ermöglichen Sie eine schnellere Bereitstellung Ihrer Vektordaten.
- Unterstützung mehrerer Indizes: Sie können mehrere Tabellen mit eindeutigen Vektorindizes in jedem MyScale-Pod erstellen (siehe Vektorreferenz (opens new window)). Durch die Nutzung dieser Funktion in Kombination mit hoher Datenkapazität können Sie heterogene Vektordaten effizient in einem MyScale-Cluster verwalten und so die Systemkomplexität und -kosten weiter reduzieren.
- Einfacher Datenimport und -sicherung: Mit Unterstützung für Standardformate wie Parquet oder komprimierte Tar-Dateien können Sie Daten problemlos aus S3 importieren/exportieren (opens new window) oder andere kompatible Objektspeichersysteme mithilfe eines einzigen SQL-Befehls verwenden.
MyScale befindet sich derzeit in der Beta-Phase mit einer kostenlosen Entwicklerversion und einem kommerziellen Plan in Arbeit. Nach unserem besten Wissen bietet MyScale den ersten kostenlosen Plan, der 5 Millionen 768-dimensionale Vektordatenpunkte mit einer leistungsstarken Suche unterstützt.
# Benchmarking von MyScale gegen führende Vektordatenbankdienste
In diesem Artikel führen wir einen gründlichen Benchmark-Vergleich von MyScale mit anderen weit verbreiteten Vektordatenbankdiensten durch. Der Benchmark-Code und die Ergebnisse sind öffentlich hier (opens new window) verfügbar und werden regelmäßig aktualisiert. Dieser Beitrag enthält eine kurze Zusammenfassung der wichtigsten Ergebnisse.
Die für diesen Benchmark-Vergleich ausgewählten Dienste umfassen Branchenführer wie Pinecone, Qdrant, Weaviate und Zilliz Cloud. Wir haben diese Dienste anhand von drei wichtigen Parametern bewertet: Zeit für die Datenübernahme, Such-QPS (Abfragen pro Sekunde) und durchschnittliche Latenz. Der für den Test verwendete Datensatz besteht aus 5 Millionen 768-dimensionalen Vektoren, die aus den LAION 2B-Bildern (opens new window) generiert wurden. Dieser Datensatz ist ebenfalls öffentlich zugänglich (opens new window).
Unser Hauptaugenmerk während dieses Benchmark-Vergleichs lag auf Diensten mit hoher Kapazität. Wenn ein Dienst mehrere Pod-Konfigurationen bereitstellte, haben wir uns für diejenige mit der größten Datendichte entschieden. Beispiele hierfür sind Pinecone's s1-Pod und Zilliz Cloud's kapazitätsoptimierter 1CU, die eine Datenkapazität von 5 Millionen Vektoren bieten. Darüber hinaus bieten Dienste wie MyScale, Weaviate und Zilliz Cloud verschiedene Abstimmungsoptionen, um Suchgeschwindigkeit und Genauigkeit auszugleichen. Im Fall von MyScale haben wir eine Konfiguration mit alpha=3 ausgewählt, die eine Top-10-Erinnerungsrate von 98,5% lieferte, und sie mit anderen Diensten mit ähnlichen Genauigkeitsniveaus verglichen. Alle Tests wurden mit vier parallelen Client-Verbindungen durchgeführt.
# Kosten-Leistungs-Verhältnis
Ein wesentlicher Bestandteil dieser Benchmark-Studie ist die Bewertung des Kosten-Leistungs-Verhältnisses, das das Verhältnis der monatlichen Kosten zu den QPS (Abfragen pro Sekunde) des Dienstes pro einhundert Einheiten misst. Es quantifiziert die monatlichen Kosten, die erforderlich sind, um 100 QPS auf 5 Millionen Vektordatenpunkten zu erreichen. Unsere Analyse hebt das überlegene Kosten-Leistungs-Verhältnis von MyScale hervor, das über 3,6-mal günstiger ist als andere Vektordatenbanken. Trotz seiner hohen Datendichte wird Pinecone's s1 durch seine niedrigere QPS beeinträchtigt, was zu einem weniger günstigen Kosten-Leistungs-Verhältnis führt. Die Kosteneffizienz von Weaviate wird durch seine Preismodelle eingeschränkt, die sich nach der Anzahl der Abfragen richten. Selbst bei einer Mindestabfragerate von einem pro Monat bleibt der Grundpreis bei 192 $/Monat, und bei einer durchschnittlichen QPS von 5 steigen die Kosten auf 690 $/Monat, die in der vorherigen Abbildung zur Berechnung der Kosteneffizienz verwendet wurden. Trotz seiner großen Datenspeicherkapazität hat Zilliz Cloud eine niedrigere QPS, was sich negativ auf das Kosten-Leistungs-Verhältnis auswirkt. Qdrant Cloud erfordert 32 GB Speicher, um 5 Millionen Datenpunkte effizient zu verwalten, was zu erhöhten Kosten führt. Trotz der Untersuchung zahlreicher HNSW-Abstimmungsparameter und der Festlegung auf m=32 ef_c=256 für optimale Leistung ist die Abfragerate pro Sekunde (QPS) für ein zufriedenstellendes Kosten-Leistungs-Verhältnis unzureichend.
Um einen gründlichen Vergleich durchzuführen, haben wir auch den Pinecone p2-Pod untersucht. Jeder p2-Pod unterstützt 1 Million 768-dimensionale Daten, und wir haben die 5 p2.x1-Skalierungskonfiguration ausgewählt, um die Daten aufzunehmen und gleichzeitig die Kosten zu minimieren. Pinecone's p2 hat eine Top-10-Erinnerungsrate von etwa 93%, die niedriger ist als die Leistung anderer Vektordatenbankdienste, aber vergleichbar mit der Leistung von MyScale's alpha=1-Einstellung. Daher haben wir einen separaten Vergleich für Pinecone p2 in der rechten Grafik durchgeführt. In diesem Fall erweist sich MyScale als 3,7-mal kosteneffektiver als 5 p2.x1. Der Rest des Artikels betont hauptsächlich die Einstellung mit hoher Genauigkeit, die dem vorherrschenden Standard unter Vektordatenbankdiensten entspricht.
Hier ist eine Zusammenfassung der in diesem Artikel getesteten Dienste, siehe vorherige Abbildung für das Kosten-Leistungs-Verhältnis jedes Dienstes.
| Genauigkeit | Dienst | QPS | Monatliche Kosten ($) | Kommentar |
|---|---|---|---|---|
| 98,5% | MyScale Standard-Pod (alpha=3) | 150 | 120 | Beta mit kostenlosem Test, Standard-Tier kommt bald |
| Pinecone s1 | 9 | 69 | GCP Basistarif | |
| Weaviate | 66 | 690 | Gesamte monatliche Abfragen berechnet als 5 * 3600 * 24 * 30 | |
| Zilliz Cloud 1CU Capacity Optimized | 63 | 186 | - | |
| Qdrant 4c32g | 81 | 273 | HNSW m=32 ef_c=256 | |
| 93% | MyScale Standard-Pod (alpha=1) | 288 | 120 | - |
| Pinecone 5 p2.x1 | 331 | 518 | Horizontale Skalierung von 5 p2-Pods |
Betrachten wir einige spezifischere Leistungsmetriken wie QPS, durchschnittliche Abfrage-Latenz und Zeit für die Datenübernahme.
# Abfragen pro Sekunde (QPS)
MyScale übertrifft andere Vektordatenbanken in Bezug auf QPS auf dem LAION 5M-Datensatz mit einer Erinnerungsrate von 98,5% und erreicht über 150 QPS. Im Vergleich dazu hat Pinecone s1 eine QPS von etwa 10, was deutlich niedriger ist als bei MyScale. Weaviate und Zilliz Cloud erreichen beide etwa 65 QPS, während Qdrant 81 QPS erreicht.
# Durchschnittliche Abfrage-Latenz
Die Abfrage-Latenz ist eine wichtige Leistungsmetrik, die von dem Zeitpunkt gemessen wird, an dem der Client die Anfrage sendet, bis er die Antwort erhält. MyScale erreicht 150 QPS bei einer durchschnittlichen Latenz von nur 25,8 ms. Pinecone s1 hat eine relativ hohe Latenz von über 400 ms. Weaviate und Zilliz Cloud haben beide Latenzen von etwa 60 ms, während Qdrant eine etwas höhere Latenz von etwa 100 ms aufweist.
# Zeit für die Datenübernahme
Die Zeit von der Datenübertragung bis zur Fertigstellung des Vektorindex und zur Bereitschaft zur Bereitstellung wird als Zeit für die Datenübernahme bezeichnet. Die Indexerstellung kann lange dauern, insbesondere bei graphenbasierten Algorithmen wie HNSW. Unter allen getesteten Diensten hatte MyScale die schnellste Datenübernahmezeit für 5 Millionen Datenpunkte und erledigte die Aufgabe in etwa 30 Minuten. Pinecone s1 benötigt etwa 53 Minuten, während Weaviate 72 Minuten benötigt. Zilliz Cloud erfordert eine längere Dauer von etwa 113 Minuten, während Qdrant die längste Datenübernahmezeit hat und 145 Minuten benötigt, um 5 Millionen Datenpunkte zu verarbeiten.
# Fazit
Zusammenfassend lässt MyScale, das auf ClickHouse basiert, erkennen, dass es möglich ist, spezialisierte Vektordatenbanken zu übertreffen, indem es eine 3,6-mal höhere Kosteneffizienz erzielt und dabei alle Vorteile von relationalen Datenbanken und SQL beibehält. Und das ist erst der Anfang.
MyScale wurde nun offiziell mit einer kostenlosen Entwicklerstufe gestartet. Der kommerzielle Plan bietet zusätzliche Funktionen, einschließlich erhöhter Datenkapazität sowie Multi-Replikation und Multi-Zonen-Verfügbarkeit. Für weitere Informationen kontaktieren Sie uns bitte unter contact@myscale.com oder treten Sie unserem Discord (opens new window) bei.
