Dimensionamiento de Splunk SmartStore
SmartStore separa cuánto tiempo conservas los datos de cuánto disco local necesitas. Esta guía muestra cómo dimensionar la caché, el object store y las réplicas de hot buckets, y cuándo conviene este compromiso.
En resumen
- Disco local ≈
días de caché × indexado/día+ hot buckets replicados, y luego el crecimiento. La retención no aparece. - Object store ≈
indexado/día × (retención − ventana hot), una copia, y luego el crecimiento. - En el ejemplo ilustrativo de abajo (250 GB/día, RF2/SF2, caché de 30 días), el disco local es de 4,84 TB ya sea que conserves 90 días o un año; solo crece el object store (13,9 TB frente a 56,9 TB).
Dónde viven los datos
| Estado | Ubicación | Copias | Qué determina el tamaño |
|---|---|---|---|
| Hot | Disco local del indexer | RF copias de rawdata, SF copias con capacidad de búsqueda | Ingesta diaria × ventana hot |
| Warm (copia maestra) | Object store remoto | Una copia, que se sube cuando el bucket pasa de hot a warm | Indexado/día × (retención − ventana hot) |
| Warm (en caché) | Caché local del indexer | Copias que se descargan bajo demanda y se desalojan cuando se necesita espacio | Días de caché que eliges |
El cache manager desaloja los buckets usados hace más tiempo cuando la caché se llena, así que la caché es un conjunto de trabajo, no un archivo. Una búsqueda sobre buckets que no están en caché los descarga primero del almacén remoto.
La caché no es retención
Los requisitos de SmartStore de Splunk recomiendan almacenamiento local para unos 30 días de datos indexados, al menos 7–10 días porque la mayoría de las búsquedas apuntan a datos recientes, y unos 90 días con Enterprise Security.
Escenario de referencia 1 TB/día, RF3/SF2, conservado 365 días:
| Ventana de caché | Caché local | Almacenamiento local con réplicas hot y crecimiento | Enlace |
|---|---|---|---|
| 7 días (mínimo) | 3,5 TB | 5,19 TB | Abre este escenario en Splunk |
| 30 días (predeterminado) | 15 TB | 19,6 TB | Abre este escenario en Splunk |
| 90 días (Enterprise Security) | 45 TB | 57,1 TB | Abre este escenario en Splunk |
| 365 días (= retención) | 182,5 TB | 228,9 TB | Abre este escenario en Splunk |
Una caché dimensionada igual que la retención renuncia al principal beneficio de SmartStore: el disco local termina cerca de una copia completa de cada bucket. Dimensiona la caché según la ventana de búsqueda que realmente usan tus usuarios y tus búsquedas programadas. Splunk también advierte que la caché comparte partición con el sistema operativo, los binarios y los artefactos de búsqueda, que también deben caber.
Ejemplo resuelto: 250 GB/día, RF2/SF2, 90 días
Ejemplo ilustrativo datos de entrada elegidos para comparar con el escenario clásico mediano.
| Paso | Fórmula | Resultado |
|---|---|---|
| Tamaño indexado por día | 250 GB × (0.15 + 0.35) | 125 GB/día |
| Caché local | indexed/day × 30 days | 3,75 TB |
| Réplicas de hot buckets | 250 GB × 1 day × (0.15 × (RF−1) + 0.35 × (SF−1)) | 125 GB |
| Almacenamiento local con 25% de crecimiento | (cache + hot replicas) × 1.25 | 4,84 TB |
| Object store | indexed/day × (90 − 1) days | 11,1 TB |
| Object store con 25% de crecimiento | × 1.25 | 13,9 TB |
Los mismos datos en almacenamiento clásico necesitan 28,1 TB de disco en los indexers. Abre este escenario en Splunk · Abre la versión clásica.
Clásico frente a SmartStore
Ejemplo ilustrativo los mismos 250 GB/día con dos retenciones.
| Retención | Almacenamiento clásico en indexers | SmartStore local | Object store de SmartStore |
|---|---|---|---|
| 90 días | 28,1 TB | 4,84 TB | 13,9 TB |
| 365 días | 114,1 TB | 4,84 TB | 56,9 TB |
El almacenamiento clásico crece con la retención sobre disco rápido y replicado. SmartStore mantiene constante el disco local y hace crecer una única copia remota. Cuanto mayor es la retención respecto de la ventana de búsqueda, mayor es la diferencia.
Advertencia de Enterprise Security
Los requisitos de Splunk piden unos 90 días de datos indexados en caché con Enterprise Security, cuyas búsquedas de correlación y data models acelerados suelen leer más atrás que las búsquedas ad hoc. Para 1 TB/día con RF3/SF2 eso es 57,1 TB de almacenamiento local en lugar de 19,6 TB. Si ES corre en el clúster, empieza con la caché en 90 días y redúcela solo con evidencia del comportamiento de cache hits.
Cuándo conviene SmartStore
- Retención larga, ventana de búsqueda corta. Se conserva un año, se buscan 30 días: el disco local se mantiene en el tamaño de la caché.
- Almacenamiento de objetos con throughput adecuado cercano a los indexers, ya que cada cache miss descarga buckets completos.
- Cantidad de indexers elástica. Agregar o reemplazar peers no obliga a copiar entre ellos todos los datos retenidos.
Encaja peor cuando las búsquedas abarcan de forma habitual toda la retención (la mayoría se convierten en descargas), cuando la retención ya es corta (la caché igualaría a la retención) o cuando no hay un object store adecuado. En Splunk Cloud Platform, SmartStore lo administra Splunk, por lo que este dimensionamiento aplica a Splunk Enterprise.
Errores comunes
- Caché = retención. 228,9 TB de disco local en lugar de 19,6 TB en el ejemplo de 1 TB/día: 11,7× más.
- Ignorar las réplicas de hot buckets. Los hot buckets siguen RF y SF en local: 650 GB por día de ventana hot con 1 TB/día y RF3/SF2.
- Replicar el object store en la estimación. Los warm buckets existen una sola vez en el almacén remoto; aplicarle RF triplica el object store con RF3.
- Usar el valor de 30 días pensado para clústeres sin ES con Enterprise Security. Las búsquedas que no encuentran datos en caché descargan buckets y vuelven lentas las búsquedas de correlación.
- Olvidar los datos que no son buckets en la partición de la caché. El SO, los binarios de Splunk y los artefactos de búsqueda la comparten.
Limitaciones
- Una sola ventana hot para todo el clúster; la vida real de un hot bucket depende del tamaño del bucket y de los ajustes de roll.
- No se modelan los ajustes de caché por índice, las políticas de desalojo ni los tamaños de bucket.
- Los costos de solicitudes del object store, el egress y la replicación dentro del propio object store quedan fuera de la estimación.
- No se modelan clústeres multisite ni los derechos de Splunk Cloud.
Fuentes
- Descripción general de la arquitectura de SmartStore — documentación de Splunk Enterprise, 10.2.
- Requisitos del sistema de SmartStore — documentación de Splunk, 10.2: 30 días, mínimo de 7–10 días, 90 días con Enterprise Security, partición de caché compartida.
- Requisitos del sistema y otras consideraciones de despliegue para clústeres de indexers — documentación de Splunk Enterprise, 10.6: proporciones de rawdata y de archivos de índice.
- Buckets y clústeres de indexers — documentación de Splunk Enterprise, 10.2.
Última revisión: · Calculadora de dimensionamiento y almacenamiento de Splunk · Planificación de capacidad · Metodología