Wenn Sie schnell KI-Anwendungen erstellen möchten, bietet Dify eine effiziente Lösung. Wenn Sie nach einer Vektordatenbank suchen, die für die Verarbeitung und Abfrage von Vektordaten innerhalb von Dify für Ihre KI-Anwendung optimiert ist, ist MyScaleDB (opens new window) die beste Option. Die SQL-Vektordatenbank MyScaleDB wurde erfolgreich in Dify integriert (opens new window) und unterstützt Vektorabfragen, Volltextsuche und hybride Suche. Entwickler können nun die leistungsstarken SQL-Fähigkeiten und Vektorsuchfunktionen von MyScaleDB nutzen und gleichzeitig über die intuitive Benutzeroberfläche von Dify Prompts einfach orchestrieren und debuggen, um intelligente Chatbots, Textgenerierung und andere KI-Anwendungen zu erstellen. Diese Integration vereinfacht die Entwicklung von KI-Anwendungen und verbessert die Interaktion, indem sie Vitalität und Kreativität in die KI-Community bringt.
# Was ist Dify?
Dify (opens new window) ist eine Open-Source-Plattform der nächsten Generation für die Entwicklung von Anwendungen mit großen Sprachmodellen (LLM), die Entwicklern dabei hilft, KI-Anwendungen einfacher und schneller zu erstellen und zu betreiben.
Es bietet folgende Hauptfunktionen und Möglichkeiten:
- Visuelle Prompt-Orchestrierung: Durch promptbasiertes Schreiben und Debuggen können Entwickler schnell KI-Anwendungen erstellen.
- Datensatzverwaltung: Unterstützt das Hochladen und Verwalten von Unternehmenswissensdatenbanken oder Produktunterlagen zur Erstellung von KI-Anwendungen auf der Grundlage domänenspezifischen Wissens.
- API-Integration: Bietet benutzerfreundliche APIs, die problemlos in bestehende Systeme integriert werden können.
- Fertige Webanwendungen: Bietet einsatzbereite Webanwendungsschnittstellen und unterstützt weitere Entwicklung.
- Unterstützung mehrerer Modelle: Integriert verschiedene große Sprachmodelle wie die OpenAI GPT-Serie und Claude, sodass Entwickler Modelle auswählen und vergleichen können.
- Low-Code-Entwicklung: Bietet eine visuelle Benutzeroberfläche, mit der auch nichttechnische Benutzer KI-Anwendungen erstellen und optimieren können.
- Betriebs- und Analysetools: Enthält Funktionen wie Datenbeschriftung und Protokollanalyse, um die Leistung von KI-Anwendungen kontinuierlich zu verbessern.
Dify wurde entwickelt, um die Entwicklung von KI-Anwendungen so einfach wie die Verwendung von Cloud-Computing-Diensten zu gestalten. Dadurch können Entwickler ihre Ideen schnell in praktische KI-Anwendungen umsetzen, ohne sich mit den zugrunde liegenden technischen Details auseinandersetzen zu müssen. Es eignet sich für den Aufbau verschiedener KI-Anwendungen wie intelligente Chatbots, Wissensdatenbank-gesteuerte Q&A-Systeme und Textgenerierungstools.
# Was ist MyScaleDB?
MyScaleDB ist eine Open-Source-Hochleistungs-SQL-Vektordatenbank (opens new window), die auf ClickHouse aufbaut. Sie ist vollständig mit SQL kompatibel und unterstützt Vektorsuche, gefilterte Suche und SQL-Vektor-Gemeinschaftsabfragen. MyScaleDB vereint SQL-Datenbanken, Data Warehouses, Vektordatenbanken und Volltextsuchmaschinen und bietet effizientes Datenmanagement für multimodale Daten.
In Bezug auf die Beobachtbarkeit von LLM-Anwendungen zeichnet sich MyScaleDB durch die Speicherung großer Mengen von Ausführungsprotokolldaten aus. MyScaleDB Telemetry sammelt und analysiert unterschiedliche Daten, während RAG (Retrieval-Augmented Generation)-Systeme auf MyScaleDB ausgeführt werden und wertvolle Einblicke in diese Daten liefern. Dies hilft Benutzern, Agenten-Workflows zu optimieren, Modelle anzupassen und die Zuverlässigkeit und Leistung des Systems basierend auf der Datenanalyse kontinuierlich zu verbessern.
Darüber hinaus ist MyScaleDB explizit für den Aufbau und die Skalierung von KI-Anwendungen konzipiert. Es hilft Entwicklern, effizient KI-Anwendungen mit vertrautem SQL zu erstellen und zu erweitern, während leistungsstarke Datenverarbeitungsfunktionen gewährleistet werden. MyScaleDB eignet sich für KI-Anwendungsszenarien, die die Verarbeitung von Vektordaten im großen Maßstab und komplexe Abfragen in Kombination mit strukturierten Daten erfordern.
# Verwendung von MyScaleDB in Dify
Nachdem Sie nun ein solides Verständnis dafür haben, wie Dify die Entwicklung von KI-Anwendungen verbessert und welche grundlegenden Funktionen es bietet, zusammen mit den robusten Funktionen von MyScaleDB zur Verwaltung von Vektordaten im großen Maßstab und zur Optimierung der Leistung von KI-Anwendungen, wollen wir nun die Integration von MyScaleDB in Dify erkunden, um die Funktionalität und Skalierbarkeit weiter zu verbessern:
# Erstellen Sie einen MyScaleDB-Cluster
Dify unterstützt sowohl das Open-Source MyScaleDB als auch die Enterprise-Version von MyScale Cloud (opens new window). Wenn Sie die Open-Source-Version von MyScaleDB bevorzugen, können Sie diesen Abschnitt überspringen. Für MyScale Cloud besuchen Sie https://console.myscale.com/ (opens new window), registrieren Sie sich, melden Sie sich an und klicken Sie oben rechts auf die Schaltfläche "Neuer Cluster", um Ihren MyScale-Cluster zu erstellen.
Geben Sie nach Eingabe des Clusternamens auf die Schaltfläche "Weiter" und warten Sie, bis der Cluster gestartet ist.
Klicken Sie auf die Schaltfläche "Aktionen" auf der rechten Seite des Clusters. Wählen Sie dann "Verbindungsdetails" aus der Popup-Liste aus. Notieren Sie sich die Informationen zu Host/Port/Benutzername/Passwort aus dem Tab "Python". Diese Informationen werden verwendet, um den Zugriff von Dify auf den MyScale-Cluster zu konfigurieren.
# Konfigurieren und Starten Sie Dify
Um MyScale mit Dify zu integrieren, beginnen Sie mit der Bereitstellung von Dify.
Lesen Sie die offizielle Dokumentation (opens new window) für detaillierte Anweisungen.
Bevor Sie Dify mit docker-compose starten, stellen Sie sicher, dass Sie die .env-Datei bearbeiten und die MyScale-bezogenen Konfigurationen ausfüllen:
- Setzen Sie
VECTOR_STOREaufMyScale
VECTOR_STORE=MyScale
- Wenn Sie MyScale Cloud verwenden, passen Sie die relevanten Konfigurationen an (Sie können
MyScale_DATABASEunverändert lassen) basierend auf den Details, die Sie von der MyScale Cloud-Webseite erhalten haben. Wenn Sie das Open-Source MyScaleDB verwenden, sind keine Änderungen für die folgenden Konfigurationen erforderlich:
MyScale_HOST=MyScale
MyScale_PORT=8123
MyScale_USER=default
MyScale_PASSWORD=
MyScale_DATABASE=dify
- Wenn Sie mehrere Sprachen unterstützen müssen, wie z.B. chinesische Dokumente, lesen Sie die offizielle MyScale-Dokumentation (opens new window) zur Konfiguration des Parameters
MyScale_FTS_PARAMS. Verwenden Sie zum Beispiel den folgenden SQL-Befehl, um einen Volltextindex in MyScale zu erstellen (angenommen, die Textinformationen befinden sich in der Spalte mit dem Namen "text" in der MyScale-Tabelle):
ALTER TABLE [table_name] ADD INDEX text_idx text
TYPE fts('{"text":{"tokenizer":{"type":"chinese",
"case_sensitive":false}}}');
Passen Sie entsprechend MyScale_FTS_PARAMS an:
MyScale_FTS_PARAMS='{"text":{"tokenizer":{"type":"chinese",
"case_sensitive":false}}}'
- Nachdem Sie diese Änderungen vorgenommen haben, starten Sie Dify wie folgt:
docker compose up -d
- Greifen Sie über den Browser auf http://localhost (opens new window) auf Dify zu.
Bei der Verwendung der Dify knowledge base (opens new window) Funktion haben die Benutzer die Möglichkeit, MyScaleDB zu integrieren, das die Methoden der Vektorrecherche, Volltextrecherche und hybriden Recherche unterstützt. Anschließend können Benutzer eine dieser Recherchemethoden auswählen, wenn sie die Wissensdatenbank erstellen (opens new window).
# Vorteile für Entwickler
Dify und MyScaleDB bieten zusammen eine umfassende Suite von Tools und Funktionen, die darauf abzielen, die Entwicklererfahrung zu verbessern. Hier sind einige wichtige Vorteile für Entwickler, die diese Plattformen nutzen:
# Einfacher Einstieg in die Entwicklung Ihrer KI-Anwendungen
Dify schafft eine Low-Code-Entwicklungsumgebung, die den Entwicklungsprozess mit intuitiven visuellen Tools und einer Reihe von vorgefertigten Funktionen vereinfacht. Dadurch können sowohl Entwickler als auch nichttechnische Benutzer aktiv an der Erstellung und Optimierung von KI-Anwendungen teilnehmen.
Gleichzeitig ermöglicht die volle SQL-Kompatibilität von MyScaleDB Entwicklern, vertraute SQL-Syntax für Aufgaben wie Vektorsuche, gefilterte Suche und SQL-Vektor-Gemeinschaftsabfragen zu nutzen, ohne komplexe neue Tools oder Frameworks beherrschen zu müssen. Darüber hinaus bietet MyScaleDB eine einheitliche Plattform für das Management und die Verarbeitung von strukturierten Daten, Vektordaten, Texten und anderen Datentypen, was den gesamten Entwicklungsprozess vereinfacht. Dieser kombinierte Ansatz senkt signifikant die Lernkurve bei der Entwicklung und dem Betrieb von KI-Anwendungen und ermöglicht eine schnelle Bereitstellung und Skalierbarkeit von KI-Lösungen.
# Hohe Leistung und Skalierbarkeit
Dify enthält einen hochwertigen Retrieval-Augmented Generation (RAG)-Motor, der die Genauigkeit und Reaktionsgeschwindigkeit von wissensbasierten KI-Anwendungen effektiv verbessern kann. Dify ist darauf ausgelegt, eine schnelle Skalierung von Anwendungen zu unterstützen, sodass Benutzer die Skalierung und Funktionalität von KI-Anwendungen einfach erweitern können, wenn die Geschäftsanforderungen wachsen. Dify bietet auch Funktionen wie Prompt-Engineering, Kontextverwaltung, Protokollanalyse und Datenbeschriftung, um Benutzern bei der kontinuierlichen Optimierung ihrer KI-Anwendungen zu helfen.
MyScaleDB nutzt eine fortschrittliche OLAP-Datenbankarchitektur und seinen selbst entwickelten MSTG-Vektoralgorithmus, um Anwendungen nicht nur einfach skalieren zu können, sondern auch eine schnelle Vektorsuche zu gewährleisten. MyScaleDB Telemetry bietet ähnliche Funktionen wie LangSmith zur Verbesserung der Beobachtbarkeit und Bewertung von LLM-Anwendungen. Durch nahtlose Integration mit LangChain Callbacks erfasst es detaillierte Trace-Daten und speichert sie in MyScaleDB, um die Problembehandlung, Leistungsoptimierung und das Verständnis des Anwendungsverhaltens zu erleichtern.
# Kostenersparnis
Dify wurde mit verschiedenen Vektordatenbanken integriert, sodass Benutzer je nach Bedarf die geeignete zugrunde liegende Datenbank auswählen können. Als einzige SQL-Vektordatenbank, die in Dify integriert ist, bietet MyScaleDB nicht nur Vektorsuche, Volltextsuche und hybride Suche in derselben Datenbank ohne zusätzliche Elasticsearch, sondern hat auch einen erheblichen Vorteil bei der grundlegenden Abfrageleistung bei der Verarbeitung von großen Datenmengen im Vergleich zu anderen spezialisierten Vektordatenbanken wie Weaviate und Qdrant.
# Ein Blick in die Zukunft
MyScaleDB und Dify werden ihre Zusammenarbeit weiter vertiefen und gemeinsam weitere innovative Richtungen für KI-Anwendungen erkunden. Wir sind der Meinung, dass diese starke Partnerschaft Entwicklern bequemere und effizientere Tools bietet und die weitreichende Anwendung von KI-Technologie in verschiedenen Bereichen vorantreibt.
MyScaleDB wird sich auch weiterhin der Innovation und Entwicklung von leistungsstarken Vektordatenbanken widmen, unsere technischen Fähigkeiten und Servicelevels kontinuierlich verbessern und mehr Vitalität und Schwung in die Open-Source-Community und das KI-Ökosystem bringen. Lassen Sie uns gemeinsam vorangehen und die Ankunft des KI-Zeitalters vorantreiben, um eine intelligentere und bequemere Zukunft zu schaffen.
In kommenden Artikeln werden wir zeigen, wie Sie mit MyScaleDB und Dify einfach KI-Anwendungen erstellen können. Wenn Sie weiterhin diskutieren oder Ihre Anwendungsfälle von MyScaleDB und Dify teilen möchten, kontaktieren Sie uns gerne auf Discord (opens new window).
