MyScale (opens new window) ha introducido la función EmbedText (opens new window) en la última versión de su base de datos vectorial SQL integrada. Esta potente característica combina la eficiencia de las consultas SQL y la tecnología de incrustación de texto impulsada por IA de última generación, lo que te permite utilizar la sintaxis SQL familiar para realizar coincidencias de texto precisas y realizar cálculos eficientes de similitud semántica.
Con la integración completa de los modelos de Jina Embeddings v2 (opens new window), MyScale EmbedText permite a los usuarios aprovechar las capacidades de Jina AI dentro de MyScale para procesar texto con una longitud de entrada de hasta 8K utilizando la sintaxis SQL estándar, lo que hace posible comprender y procesar textos mucho más largos que nunca. Ya sea que estés procesando datos complejos multilingües o creando aplicaciones de IA avanzadas, los desarrolladores pueden aprovechar al instante los mejores modelos de incrustación de Jina AI a través de MyScale en cada etapa del proceso de desarrollo.
# ¿Qué es MyScale?
MyScale es una base de datos vectorial SQL nativa de la nube que permite a los desarrolladores familiarizados con SQL construir aplicaciones de IA generativas de calidad de producción. Construido sobre ClickHouse (opens new window), MyScale integra búsqueda y almacenamiento vectorial con una base de datos relacional escalable, proporcionando almacenamiento y procesamiento eficientes de datos estructurados y no estructurados, y simplificando la ingeniería de bases de datos complejas, al tiempo que garantiza la mayor confiabilidad y rendimiento para aplicaciones de IA.
La Función EmbedText de MyScale aprovecha la sintaxis familiar de SQL para simplificar la generación de vectores de incrustación de texto, lo que permite a los usuarios adoptar modelos de IA populares para sus proyectos. Utilizando el procesamiento por lotes automatizado de EmbedText, los desarrolladores pueden mejorar en gran medida el rendimiento en el procesamiento de grandes cantidades de datos sin depender de herramientas externas ni realizar programación compleja.
# ¿Qué son las Incrustaciones de Jina?
Jina Embeddings v2 es el primer y, hasta ahora, único modelo de incrustación de texto de código abierto en el mundo que admite tamaños de entrada de hasta 8192 tokens. Está disponible en tres versiones: solo inglés (opens new window), bilingüe chino-inglés (opens new window) y bilingüe alemán-inglés (opens new window).
Características:
- Rendimiento líder en la industria comparable al modelo Ada 2 de OpenAI, que es de código cerrado.
- Soporte para textos de más de 8 mil tokens, rompiendo la barrera de las representaciones vectoriales de texto largo y permitiendo a los desarrolladores representar completamente la semántica de los textos en múltiples escalas.
- Soporte multilingüe, con un modelo que representa el chino y el inglés en un mismo espacio de incrustación, y otro que hace lo mismo para el alemán y el inglés, con más idiomas por venir. Las incrustaciones de Jina permiten aplicaciones de varios idiomas utilizando modelos especializados en esos idiomas específicos, en lugar de un modelo de IA masivo e ineficiente con un rendimiento desigual e incierto para grandes cantidades de idiomas diferentes.
- Clasificado por LlamaIndex (opens new window) entre los mejores modelos de incrustación del mundo para aplicaciones de RAG (Recuperación con Generación Mejorada).
# Uso de las Incrustaciones de Jina v2 en MyScale
Los desarrolladores pueden utilizar las Incrustaciones de Jina con la Función EmbedText en MyScale para dos operaciones: inserción de datos y consultas basadas en incrustaciones. Esta sección entrará en detalles sobre ambas.
# Crear una Función Simplificada
Una estrategia práctica es declarar una Función Definida por el Usuario (UDF, por sus siglas en inglés) de SQL que cree incrustaciones de texto y contenga el nombre del modelo relevante, el proveedor y la clave de API para que esta información no tenga que repetirse y se pueda cambiar fácilmente cuando sea necesario.
La declaración SQL a continuación declara la función JinaAIEmbedText con ese propósito. Inserta tu propia clave de API en el lugar correspondiente.
CREATE FUNCTION JinaAIEmbedText ON CLUSTER '{cluster}'
AS (x) -> EmbedText(x, 'Jina', '', 'YOUR_API_KEY', '{"model":"jina-embeddings-v2-base-en"}')
Ahora, para obtener una incrustación para un texto, solo tienes que llamar a JinaAIEmbedText:
SELECT JinaAIEmbedText('YOUR_TEXT')
# Optimizar Búsquedas Vectoriales utilizando las Incrustaciones de Jina
Una vez que hayas creado la función simplificada, puedes utilizar las Incrustaciones de Jina en MyScale para optimizar la búsqueda vectorial. Las consultas utilizando incrustaciones siguen los métodos SQL estándar. Es muy sencillo utilizando JinaAIEmbedText:
SELECT id, distance(vector_column_name, JinaAIEmbedText('YOUR_QUERY_TEXT')) AS dist
FROM table_name ORDER BY dist LIMIT 10
Esto llenará una tabla con los diez registros que mejor coincidan con tu consulta según sus vectores de incrustación.
# Inserción de Datos
Puedes crear una tabla SQL que convierta datos de texto en vectores utilizando la función JinaAIEmbedText mencionada anteriormente. Por ejemplo:
CREATE TABLE jina_embedding
(
id UInt32,
paragraph String,
vector Array(Float32) DEFAULT JinaAIEmbedText(paragraph),
CONSTRAINT check_length CHECK length(vector) = 768
)
ENGINE = MergeTree
ORDER BY id
Luego, inserta datos en esta tabla para generar automáticamente las incrustaciones:
INSERT INTO jina_embedding (id, paragraph)
VALUES (1, 'TU_TEXTO_1'), (2, 'TU_TEXTO_2')
# Beneficios para los Desarrolladores de IA
La integración de MyScale con los modelos de Incrustaciones de Jina v2 ofrece a los desarrolladores un marco sólido para construir aplicaciones de IA generativas impulsadas por bases de datos, ahorrando tiempo, esfuerzo y dinero al llevar nuevas aplicaciones al mercado.
Sus beneficios específicos incluyen:
- Reducción de costos de cómputo: MyScale ofrece un rendimiento superior de la base de datos con una notable reducción en el consumo de memoria en comparación con sus competidores, lo que lo convierte en una opción altamente rentable para respaldar una aplicación de IA. Las Incrustaciones de Jina, al dar a los desarrolladores la opción entre diferentes tamaños de modelo y tamaños de vector de incrustación, les ofrecen herramientas para gestionar sus costos de cómputo y almacenamiento.
- Mayor flexibilidad: La sinergia entre MyScale y las Incrustaciones de Jina proporciona a los desarrolladores una mayor flexibilidad, especialmente en escenarios de aplicación desafiantes como documentos largos y grandes colecciones de documentos.
- Búsqueda más precisa: MyScale logra una potente búsqueda filtrada de metadatos a través de su exclusivo algoritmo MSTG (opens new window), mientras que las Incrustaciones de Jina ofrecen representaciones más precisas de la semántica del texto, mejorando la precisión en la recuperación de información. Esto conduce a una toma de decisiones más informada y un rendimiento superior de la aplicación, especialmente en la mejora de la precisión de las aplicaciones de RAG. La combinación de estas dos tecnologías eleva la búsqueda a nuevas alturas.
La combinación de MyScale con las Incrustaciones de Jina abre aplicaciones prácticas, especialmente para chatbots mejorados con RAG. MyScale, mejorado con las Incrustaciones de Jina, puede actuar como una única fuente de datos para tu chatbot, asegurando la seguridad, consistencia e integridad de los datos. MyScale también reduce la redundancia de datos almacenando referencias a registros, mejorando la accesibilidad y ofreciéndote un control de acceso avanzado.
La capacidad de las Incrustaciones de Jina v2 para procesar textos largos las hace ideales para gestionar las entradas a sistemas de diálogo. Los chatbots creados con las Incrustaciones de Jina tienen una mayor comprensión del contexto de la conversación, lo que mejora drásticamente el rendimiento en chats largos y escenarios complejos.
# Mirando hacia el Futuro
La integración profunda de MyScale y las Incrustaciones de Jina v2 capacita a los desarrolladores para incorporar IA en sus proyectos. Esto incluye la creación de robots de servicio al cliente inteligentes, el desarrollo de aplicaciones de búsqueda interlingüística más precisas y la optimización de los procesos de análisis y gestión de documentos legales y comerciales. Los desarrolladores pueden explorar una amplia gama de escenarios de aplicación con MyScale y las Incrustaciones de Jina y construir aplicaciones de IA más innovadoras y prácticas que brinden un mayor valor a los usuarios.
Si tienes alguna idea sobre cómo construir una aplicación de IA con la integración de MyScale y Jina AI, no dudes en compartirla con nosotros en el Discord de MyScale (opens new window) o en Twitter (opens new window).
