Acerca de MetaDefender Cloud
MetaDefender Cloud es la plataforma de análisis de malware y prevención de amenazas avanzadas basada en la nube OPSWAT. Nuestra combinación única de la tecnología Deep CDR™ y Multiscanning más de 20 de los mejores motores antivirus protege a las organizaciones frente a ataques de día cero y malware cada vez más sofisticado. El entorno de pruebasCloud MetaDefender Cloud, junto con el análisis en tiempo real de hash, IP y dominios mediante la base de datos de inteligencia sobre amenazas de primer nivel OPSWAT, ayuda a los investigadores de malware y proporciona un conocimiento profundo de las amenazas existentes y potenciales.
Cloud MetaDefender Cloud gestiona actualmente más de 5 millones de solicitudes de análisis al día de nuestros clientes, al tiempo que les ofrece un tiempo medio de análisis de 0,4 segundos.
¿Por qué hemos desarrollado MetaDefender a Service (MDaaS)?
Para satisfacer las necesidades del mercado y ofrecer un mejor servicio a nuestros clientes
Queríamos asegurarnos de que MetaDefender Cloud adaptarse para satisfacer los requisitos cambiantes, la creciente necesidad de servicios avanzados de seguridad de aplicaciones y la complejidad cada vez mayor de la seguridad en DevOps, a medida que más aplicaciones se trasladan a la nube. Con el aumento del tráfico de archivos, era imprescindible que MetaDefender Cloud y mejorara su rendimiento para garantizar una experiencia fluida a nuestros clientes finales.
Para mejorar el seguimiento y el escalado predictivo
Decidimos migrar nuestra arquitectura local a un entorno nativo de la nube basado en Kubernetes y microservicios, con infraestructura como código, para poder ofrecer una experiencia fluida y coherente con respecto al modelo actual de implementación y supervisión.
Arquitectura de MetaDefender servicio
Al migrar a MDaaS, nuestros Multiscanning se trasladaron de la AMI basada en Windows AMI un clúster basado en Kubernetes. Ahora, los administradores pueden configurar la escalabilidad por motor. Dado que el rendimiento de los motores varía, los motores más lentos pueden ampliarse para mantener unos tiempos de análisis rápidos.
El proceso de tramitación de expedientes es ahora el siguiente:
1. Un solicitante externo envía un mensaje a un tema de Kafka denominado «request» (1) con instrucciones para la solicitud, tales como escanear un archivo con AV1, AV2, etc., depurarlo con la tecnología Deep CDR™ y analizarlo con Sandbox, etc.
2. A continuación, un extractor Lambda (2), que está suscrito para recibir los mensajes, divide la solicitud en varios comandos diferentes y los envía a otro tema de Kafka (3), donde se clasifican y se asignan al motor o motores correspondientes (4).
3. El motor de procesamiento (4) es el núcleo del sistema. Contiene varios contenedores de motor, se ejecuta en Amazon Elastic Kubernetes Service (EKS) y puede ampliarse o reducirse en función de la carga de trabajo. Cada motor gestiona una solicitud específica que mejora el rendimiento del procesamiento.
4. Durante el proceso, también se utiliza un depósito de S3 (5) para almacenar los archivos de entrada y salida.
5. Al mismo tiempo, un módulo de procesamiento de registros (6) recibe los registros de los motores y los envía a un sistema de análisis de registros.
6. Una vez procesado el archivo, el resultado obtenido por cada motor se envía al tema de Kafka «results» (7)
7. Posteriormente, un agregador de microservicios que utiliza AWS Lambda (8) consolida los resultados en un único informe y lo envía a un tema de Kafka (9), devolviéndolo al solicitante.
Retos técnicos y soluciones
Predicción del comportamiento del motor y detección de anomalías
AMI tradicional de MD Core AMI permite que los motores se ejecuten en un ordenador potente, donde pueden compartir recursos (CPU, RAM, disco, red, etc.) entre sí. Sin embargo, con la arquitectura de microservicios, cada motor funciona de forma independiente en un contenedor de menor potencia. Por ello, nos resultó difícil definir los requisitos de recursos del sistema en este caso.
Para resolver este problema, utilizamos datos históricos del sistema anterior para establecer una referencia para cada motor e incorporamos la monitorización de Datadog. Seguimos supervisando el comportamiento de los motores y ajustando la infraestructura hasta que el producto alcanzó un rendimiento óptimo.
Mantener un equilibrio entre el rendimiento y los costes de alojamiento
Gracias a la nueva arquitectura, MetaDefender Cloud escalar fácilmente para adaptarse a las necesidades ilimitadas de nuestros clientes y funcionar a niveles óptimos. Sin embargo, esto también implicaba que los costes de mantenimiento podían dispararse de forma proporcional. Sin controles de gasto ni modelos de gobernanza, el escalado podría resultar incontrolable, lo que provocaría un aumento de las facturas de los servicios en la nube muy por encima del presupuesto inicial asignado.
Por lo tanto, se llevaron a cabo revisiones arquitectónicas periódicas con las partes interesadas para garantizar una experiencia coherente con unos costes estables y equilibrados.
Simulación de entornos
Simular una carga de producción en un entorno que no es de producción sin datos reales supone todo un reto. Para hacer frente a esto, configuramos flujos de trabajo paralelos de modo que los datos reales pasaran tanto por la arquitectura antigua como por la nueva, lo que nos permitió evaluar las métricas clave de ambas en paralelo. Esta comparación directa nos permitió identificar de forma rápida y eficaz aquellas áreas en las que la nueva arquitectura era superior a la antigua, así como aquellas en las que era necesario mejorarla.
Seguimiento, presentación de informes y control
Supervisión en tiempo real de la infraestructura en la nube
MetaDefender Cloud gran importancia a la integración de un sistema de supervisión sólido en sus plataformas para ofrecer una visión clara del estado del sistema. Para un servicio como MDaaS, capaz de gestionar más de 44 solicitudes por segundo (RPS) con una tasa de error del 0,6 %, que depende de varios sistemas ascendentes y ecosistemas de socios como fuente de tráfico y que, al mismo tiempo, genera un tráfico intenso para diferentes sistemas descendentes internos y externos, es importante contar con una sólida combinación de métricas, alertas y registros.
Alertas de tráfico anormalmente elevado por entornos en Datadog
Además de las métricas estándar de estado del sistema, como la CPU, la memoria y el rendimiento, hemos añadido varias métricas «en el borde del servicio», como el crecimiento de la cola, el tiempo de respuesta del servicio, el estado general y el registro de eventos, para detectar cualquier anomalía procedente de los sistemas situados antes o después en la cadena. Además, hemos incorporado un análisis de tendencias para las métricas importantes, con el fin de detectar deterioros a largo plazo. Implementamos MDaaS con una aplicación de procesamiento de flujos en tiempo real llamada Datadog (puedes obtener más información al respecto aquí). Esto nos permitió realizar un seguimiento de los eventos en tiempo real a través de la red con un nivel de detalle específico para cada contenedor, lo que facilitó la depuración. Por último, nos resultó útil contar con alertas específicas para cada servicio que nos ayudaran a identificar más rápidamente las causas raíz de los problemas.
Creación de incidencias a partir de excepciones que requieren la intervención de los ingenieros de fiabilidad del sitio en Datadog
La monitorización de SaaS con la plataforma Datadog permite a los equipos incorporarse de forma más rápida y sencilla, y elimina la necesidad de realizar tareas continuas de mantenimiento, ampliación de la capacidad, actualización o gestión de las herramientas. Estas ventajas permiten a los equipos dedicar más tiempo al producto principal y evitar tener que crear una solución de monitorización por su cuenta.
Resultados
• Al migrar a MDaaS, el microservicio del motor ofrece ahora una mayor flexibilidad para ayudar a cumplir los requisitos de control de seguridad de la línea de base «moderada» de FedRAMP.
• La supervisión del rendimiento de las aplicaciones se ha mejorado con alertas en tiempo real y paneles de control. La nueva arquitectura de microservicios permite a los administradores supervisar la aplicación y cada uno de sus componentes de forma fácil y eficaz. Además, facilita la implementación y la escalabilidad.
• En la medida en que la infraestructura se define como código, permite a los usuarios editar y distribuir fácilmente las configuraciones, al tiempo que garantiza el estado deseado de la infraestructura. Esto significa que se pueden crear configuraciones de infraestructura reproducibles.
Más información sobre MetaDefender Cloud o ponte en contacto con nosotros para obtener más información.
