# Planificación de la capacidad del índice vectorial

Al prepararse para crear un clúster MyScale, seleccionar la configuración adecuada es crucial, considerando sus necesidades de capacidad y rendimiento vectorial.

La configuración de los clústeres MyScale es sencilla, y se basa en dos parámetros clave: el tamaño del pod y el número de réplicas. Estos parámetros se pueden ajustar fácilmente para adaptarse a los requisitos cambiantes.

Configuración del clúster

# Factores a tener en cuenta

Para determinar la mejor configuración del clúster MyScale, considere:

Tipo de índice vectorial
Número de vectores
Dimensiones de los vectores
Requerimiento de consultas por segundo (QPS)

Recomendamos utilizar el algoritmo MSTG de MyScale para el indexado vectorial, conocido por su rendimiento excepcional y densidad vectorial. Nuestras pautas de capacidad y rendimiento se basan en MSTG (consulte nuestra publicación en el blog (opens new window) para obtener benchmarks detallados).

Otros metadatos tienen un impacto mínimo en la capacidad vectorial, pero el QPS podría verse afectado si las consultas incluyen metadatos adicionales. Para optimizar el QPS en estos escenarios, MyScale proporciona búsquedas eficientes con filtros (opens new window).

# Tamaños de pod

MyScale combina innovaciones algorítmicas, como MSTG, con ingeniería de sistemas para lograr una alta densidad y rendimiento vectorial. Ofrecemos un único tipo de pod, con opciones de tamaño como x4, que proporciona cuatro veces la capacidad y el rendimiento de CPU de un pod x1.

Los tamaños de pod disponibles son x1, x2, x4, x8, x16 y x32. Utilice nuestro Estimador de precios en la página de precios (opens new window) para encontrar el mejor tamaño de pod para sus necesidades.

Estimador de precios

A continuación se muestran algunos benchmarks estimados de capacidad y rendimiento para el pod x1.

# Capacidad

Tabla 1: Capacidad máxima de vectores por pod según la dimensión

Tamaño del pod	Dimensiones	Capacidad máxima
x1	512	7,500,000
	768	5,000,000
	1024	3,750,000
	1536	2,500,000

Opte por un tamaño de pod más grande para aumentar la capacidad de vectores.

# QPS

Tabla 2: Estimaciones de QPS para 5M de vectores con 768 dimensiones según top_k*

Tamaño del pod	`top_k` 10	`top_k` 100
x1	152	117

*Basado en el índice MSTG con alpha=3 (configuración predeterminada). Consulte los benchmarks completos (opens new window) para obtener más información.

Aumente el QPS agregando réplicas.

# Réplicas

Las réplicas mejoran la disponibilidad y el QPS del clúster. El QPS total de un clúster es aproximadamente igual al QPS de un solo pod multiplicado por el número de réplicas. Tenga en cuenta que las réplicas no aumentan la capacidad de vectores.

# Ejemplos

# Ejemplo 1: Aplicación ChatData

En nuestra aplicación ChatData (opens new window), gestionamos un conjunto de datos de artículos de arXiv con aproximadamente 2.25 millones de vectores en 768 dimensiones. Un solo pod x1, que admite hasta 5 millones de vectores en esta dimensión, es suficiente para este conjunto de datos.

# Ejemplo 2: Búsqueda de imágenes a gran escala

Considere una aplicación de búsqueda de imágenes a gran escala que requiere 80 millones de vectores en 512 dimensiones. Según la sección Capacidad, se necesita un pod x16. Para una mayor disponibilidad y QPS, aumente el número de réplicas a 2 o 3.

::: detalles ¿Por qué el pod x16? Un pod x1 admite 7.5 millones de vectores en 512 dimensiones. Dado el requisito de 80 millones de vectores, x16 es la opción adecuada entre nuestros tamaños de pod x1, x2, x4, x8, x16 y x32. :::

# Uso visualizado

La página de monitoreo del clúster muestra un gráfico que muestra el uso de memoria del índice vectorial cargado en relación con la memoria total disponible. Esta herramienta ayuda a los usuarios a realizar un seguimiento del uso de vectores y planificar actualizaciones de tamaño de pod antes de alcanzar los límites de capacidad.

Porcentaje de memoria del índice vectorial cargado

Utilizamos el algoritmo LRU para la gestión del índice vectorial en memoria. Si se supera el límite de vectores de un pod, algunos índices se descargan de la memoria. Volver a cargar estos índices para búsquedas posteriores puede reducir el QPS o aumentar la latencia de las consultas. En estos casos, consulte el gráfico mencionado anteriormente y considere aumentar el tamaño del pod en consecuencia.