Story Transcript
Protección de endpoints en pequeñas empresas Comparación de rendimiento Windows 7 Septiembre de 2010 Documento: Comparación del rendimiento de protección de endpoints en pequeñas empresas Autores: K. Lai, D. Wren, T. Rowling Empresa: PassMark Software Fecha: 5 de octubre de 2010 Informe: 1
Protección de endpoints
Pequeña empresa
PassMark Software
Resumen ejecutivo En septiembre de 2010, PassMark Software® realizó pruebas objetivas de rendimiento en cinco productos de software públicamente disponibles para la protección de endpoints en pequeñas empresas. Estas pruebas se llevaron a cabo con Windows 7 Ultimate Edition. En la siguiente tabla, el máximo valor alcanzable equivale a 52 puntos. Symantec Endpoint Protection Small Business Edition obtuvo el primer puesto alcanzando los 43 puntos. Nombre del producto
Puntaje general
Symantec Endpoint Protection Small Business Edition
43
Kaspersky Business Space Security
33
Trend Micro Worry‐Free Business Security
30
McAfee Total Protection for Endpoint Essentials
24
Este puntaje general es un indicador fehaciente del rendimiento del producto en comparación con otros productos que hemos probado. Cada producto fue sumando puntos según la calificación obtenida en cada prueba: Prueba
Puntaje alcanzado
1
4
2
3
3
2
4
1
Las pruebas se llevaron a cabo en todos los productos utilizando trece medidas de rendimiento. Las medidas de rendimiento son las siguientes: Tiempo de instalación Tiempo de arranque Tiempo de análisis según demanda Uso promedio de la CPU durante el análisis Tiempo de inicio de la interfaz de usuario Tiempo de apertura de documento de Word Tiempo de navegación Velocidad de transferencia de la red Copiar, mover y eliminar archivos Compresión y descompresión de archivos Uso de la memoria durante el tiempo de inactividad del sistema Uso de la memoria durante el análisis Uso promedio de la CPU durante el tiempo de inactividad
Comparación de rendimiento Informe 11
Página 2 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Tabla de contenidos RESUMEN EJECUTIVO .................................................................................................................................... 2 TABLA DE CONTENIDOS ................................................................................................................................ 3 HISTORIAL DE REVISIÓN ................................................................................................................................ 4 PRODUCTOS Y VERSIONES ............................................................................................................................. 5 RESUMEN DE LAS MEDIDAS DE RENDIMIENTO .............................................................................................. 6 RESULTADOS DE LA PRUEBA ......................................................................................................................... 9 EVALUACIÓN COMPARATIVA 1: TIEMPO DE INSTALACIÓN (SEGUNDOS) ............................................................................. 9 EVALUACIÓN COMPARATIVA 2: TIEMPO DE ARRANQUE (SEGUNDOS) ............................................................................... 9 EVALUACIÓN COMPARATIVA 3: TIEMPO DE ANÁLISIS SEGÚN DEMANDA (SEGUNDOS) ......................................................... 10 EVALUACIÓN COMPARATIVA 4: USO DE LA CPU DURANTE EL ANÁLISIS (PORCENTAJE) ....................................................... 10 EVALUACIÓN COMPARATIVA 5: TIEMPO DE INICIO DE LA INTERFAZ DE USUARIO (MILISEGUNDOS) ......................................... 11 EVALUACIÓN COMPARATIVA 6: TIEMPO DE INICIO DE DOCUMENTOS DE WORD (MILISEGUNDOS) ......................................... 11 EVALUACIÓN COMPARATIVA 7: TIEMPO DE NAVEGACIÓN (SEGUNDOS) ........................................................................... 12 EVALUACIÓN COMPARATIVA 8: VELOCIDAD DE TRANSFERENCIA DE LA RED (SEGUNDOS) ..................................................... 12 EVALUACIÓN COMPARATIVA 9: COPIAR, MOVER Y ELIMINAR ARCHIVOS (SEGUNDOS) ......................................................... 13 EVALUACIÓN COMPARATIVA 10: COMPRESIÓN Y DESCOMPRESIÓN DE ARCHIVOS (SEGUNDOS) ............................................ 13 EVALUACIÓN COMPARATIVA 11: USO DE LA MEMORIA DURANTE EL TIEMPO DE INACTIVIDAD DEL SISTEMA (MEGABYTES) .......... 14 EVALUACIÓN COMPARATIVA 12: USO DE LA MEMORIA DURANTE EL ANÁLISIS (MEGABYTES) ................................................ 15 EVALUACIÓN COMPARATIVA 13: USO DE LA CPU DURANTE EL TIEMPO DE INACTIVIDAD (PORCENTAJE) ................................. 15 RENUNCIA DE RESPONSABILIDAD Y DIVULGACIÓN ...................................................................................... 16 DETALLES DE CONTACTO ............................................................................................................................. 16 APÉNDICE 1: ENTORNO DE PRUEBA ............................................................................................................. 17 SISTEMA DE ENDPOINTS EN WINDOWS 7 (64 BITS) .................................................................................................... 17 WEB Y SERVIDOR DE ARCHIVOS ............................................................................................................................. 17 SERVIDOR ACTIVE DIRECTORY ............................................................................................................................... 17 SERVIDOR DE LA CONSOLA DE ADMINISTRACIÓN DE AV ............................................................................................... 17 APÉNDICE 2:DESCRIPCIÓN METODOLÓGICA ................................................................................................ 18
Comparación de rendimiento Informe 11
Página 3 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Historial de revisión Rev. Informe 1
Historial de revisión
Versión inicial de este informe
Comparación de rendimiento Informe 11
Fecha 27 de septiembre de 2010
Página 4 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Productos y versiones En este informe, se han probado o incluido las siguientes versiones del software Endpoint Protection1:
Año de la versión
Versión del producto
Endpoint Protection Small Business 2 Edition
2010
12.0.1
McAfee
Total Protection for Endpoint Essentials
2010
4.5.0.1270
Trend Micro
Worry‐Free Business Security
2010
6.0 SP2
Business Space Security
2010
6.0.4.1424
Fabricante
Symantec
Kaspersky
Nombre del producto
1
Todos los productos se probaron usando su configuración predeterminada
2
El sistema de prevención de intrusiones (IPS) está habilitado en Symantec Endpoint Protection Small Business
Edition de forma predeterminada Comparación de rendimiento Informe 11
Página 5 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Resumen de las medidas de rendimiento Se ha seleccionado un conjunto de medidas objetivas que son un indicador completo y realista de las áreas en las que los productos para la protección de endpoints pueden afectar el rendimiento del sistema de los usuarios finales. Las medidas prueban el impacto del software en tareas comunes que los usuarios finales llevan a cabo diariamente. Todos los métodos de prueba de PassMark Software pueden ser replicados por otros fabricantes que usan el mismo entorno para obtener resultados de evaluaciones comparativas similares. Las descripciones detalladas de las metodologías usadas en las pruebas están disponibles en el “Apéndice 2: Descripción metodológica” de este informe.
Evaluación comparativa 1: Tiempo de instalación Esta prueba mide el tiempo de instalación mínimo que requiere el software de protección de endpoints para ser completamente funcional y estar preparado para el uso por parte del usuario final. Las instalaciones que requieren una menor cantidad de tiempo representan los productos que son más rápidos de instalar por los usuarios.
Evaluación comparativa 2: Tiempo de arranque Esta medida se usa para determinar el tiempo que requiere el equipo para arrancar el sistema operativo. El software de seguridad, por lo general, se inicia junto con Windows, lo cual implica una demanda de tiempo extra y retrasa el inicio del sistema operativo. Los tiempos de arranque más breves indican que la aplicación ha generado un impacto menor en el funcionamiento normal del equipo.
Evaluación comparativa 3: Tiempo de análisis según demanda Todas las soluciones de protección de endpoints incluyen funcionalidad diseñada para detectar virus y muchas otras formas de malware mediante el análisis de archivos en el sistema. Esta medida determinó el tiempo necesario para analizar un conjunto de archivos limpios. El conjunto de archivos de muestra incluía un tamaño total de archivos de 5,42 GB y estaba constituido por archivos que suelen encontrarse en equipos de usuarios finales, como archivos de soportes, archivos del sistema y documentos de Microsoft Office.
Evaluación comparativa 4: Uso promedio de la CPU durante el análisis Esta medida determina el porcentaje de uso de la CPU cuando se lleva a cabo un análisis.
Evaluación comparativa 5: Tiempo de inicio de la interfaz de usuario Esta medida indica de manera objetiva la capacidad de respuesta que un producto ofrece al usuario. Esto se logra mediante la medición del tiempo que le lleva a la interfaz de usuario del software de protección de endpoints iniciarse desde Windows. A fin de tener en cuenta los efectos del sistema operativo en la memoria caché, se midió tanto el tiempo de inicio como de los tiempos de inicio subsiguientes. El resultado final es el promedio de estas dos mediciones.
Comparación de rendimiento Informe 11
Página 6 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 6: Tiempo de apertura de documentos de Word El tiempo de inicio promedio de la interfaz de Word se tomó mediante AppTimer. Esto incluye el tiempo que requiere iniciar una aplicación de Word 2007 y abrir un documento de 10 MB. Esta prueba fue prácticamente idéntica a la prueba del tiempo de inicio de la interfaz de usuario. Para cada producto probado, se recopiló un total de quince muestras de cinco grupos de tres inicios de Word; asimismo, se llevó a cabo un reinicio antes de operar con cada grupo a fin de borrar los efectos del sistema operativo en la memoria caché. En el momento de recopilar los resultados, se separó la primera información obtenida de cada grupo a fin de que hubiera un conjunto de valores correspondientes al primer inicio después del reinicio y otro conjunto de valores de los inicios subsiguientes. Se obtuvo un promedio de los tiempos de inicio subsiguientes para obtener un valor promedio de éstos. El resultado final de esta prueba es un promedio a partir del valor promedio de los inicios subsiguientes y del primer tiempo de inicio.
Evaluación comparativa 7: Tiempo de navegación Es un comportamiento común para los productos de seguridad analizar datos en busca de malware a medida que se descargan de Internet o de la intranet. Este comportamiento puede afectar negativamente la velocidad de navegación, mientras los productos analizan contenido web para detectar malware. Esta medida determina el tiempo que requiere navegar por un conjunto de sitios de Internet conocidos para efectuar cargas de manera consecutiva desde un servidor local en una ventana de navegador de un usuario.
Evaluación comparativa 8: Velocidad de transferencia de la red Esta medida determina el tiempo que requiere bajar una variedad de archivos de un servidor local por medio del protocolo de transferencia de hipertexto (HTTP), que es el protocolo principal que se usa en la Web para navegar, establecer vínculos y llevar a cabo transferencia de datos. Los archivos usados en esta prueba incluyen los formatos de archivo que los usuarios, por lo general, descargan de la Web, por ejemplo, imágenes, archivos, archivos de música y archivos de películas.
Evaluación comparativa 9: Copiar, mover y eliminar archivos Esta medida determina el tiempo que requiere transferir, copiar y eliminar un conjunto de muestra de archivos. El conjunto de muestra de archivos contiene distintos tipos de formatos de archivo que un usuario de Windows podría manejar de manera diaria. Estos formatos incluyen documentos (por ejemplo, documentos de Microsoft Office, Adobe PDF, archivos Zip, etc.), formatos de soportes (por ejemplo, imágenes, películas y música) y archivos del sistema (por ejemplo, ejecutables, bibliotecas, etc.).
Evaluación comparativa 10: Compresión y descompresión de archivos Esta medida determina el tiempo que requiere comprimir y descomprimir diferentes tipos de archivos. Entre los formatos de archivo de esta prueba se incluyeron documentos, películas e imágenes.
Comparación de rendimiento Informe 11
Página 7 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 11: Uso de la memoria durante el tiempo de inactividad del sistema Esta medida determina la cantidad de memoria (RAM) que usa el producto mientras el software de protección de endpoints y los equipos están inactivos. El uso total de la memoria se calculó mediante la identificación de todos los procesos del software de protección de endpoints y la cantidad de memoria usada para cada proceso. La cantidad de memoria utilizada mientras el equipo está inactivo es un buen indicador de la cantidad de recursos que consume el software de protección de endpoints de manera permanente. Los productos que presentan un mejor rendimiento requieren menos memoria mientras el equipo se encuentra inactivo.
Evaluación comparativa 12: Uso de la memoria durante el análisis Esta medida determina la cantidad de memoria (RAM) que usa el producto mientras el software de endpoints ejecuta un análisis del sistema. El uso total de la memoria se calculó mediante la identificación de todos los procesos del software de protección de endpoints y la cantidad de memoria usada para cada proceso. La cantidad de memoria utilizada mientras el equipo se encuentra inactivo es un buen indicador de la cantidad de recursos que consume el software para la protección de endpoints durante un análisis activo.
Evaluación comparativa 13: Uso promedio de la CPU durante el tiempo de inactividad Esta medida determina la proporción que se usa de la CPU cuando el sistema y el producto se encuentran inactivos.
Comparación de rendimiento Informe 11
Página 8 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Resultados de la prueba Evaluación comparativa 1: Tiempo de instalación (segundos) El siguiente cuadro compara el tiempo mínimo de instalación que requieren los productos para ser completamente funcionales y estar preparados para el uso por parte del usuario final. Los productos cuyo tiempo de instalación es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 2: Tiempo de arranque (segundos) El siguiente cuadro compara el tiempo promedio que requiere el sistema para arrancar (a partir de una muestra de cinco inicios) en cada producto probado. Los productos cuyo tiempo de arranque es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 9 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 3: Tiempo de análisis según demanda (segundos) El siguiente cuadro compara el tiempo promedio que requiere analizar un conjunto de archivos de soportes, archivos del sistema y documentos de Microsoft Office que equivalen a un total de 5,42 GB. Este tiempo se calcula obteniendo un promedio entre el tiempo de análisis inicial (Ejecución 1) y los tiempos de análisis subsiguientes (Ejecuciones de la 2 a la 5). Los productos cuyo tiempo de análisis es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 4: Uso de la CPU durante el análisis (porcentaje) El siguiente cuadro compara el uso promedio de la CPU que requiere analizar un conjunto de archivos de soportes, archivos del sistema y documentos de Microsoft Office que equivalen a un total de 5,42 GB. Este valor se calcula obteniendo un promedio entre los resultados de uso de la CPU iniciales (Ejecución 1) y los resultados subsiguientes (Ejecuciones de la 2 a la 5). Los productos cuyo uso de la CPU es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 10 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 5: Tiempo de inicio de la interfaz de usuario (milisegundos) El siguiente cuadro compara el tiempo promedio que requiere iniciar la interfaz de usuario de un producto. Los productos cuyo tiempo de inicio es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 6: Tiempo de inicio de documentos de Word (milisegundos) El siguiente cuadro compara el tiempo promedio que requiere iniciar Microsoft Word y abrir un documento de 10 MB. Los productos cuyo tiempo de inicio es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 11 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 7: Tiempo de navegación (segundos) El siguiente cuadro compara el tiempo promedio que requiere Internet Explorer para cargar sucesivamente un conjunto de sitios web conocidos a través de la red de área local desde un equipo de servidor local. Los productos cuyo tiempo de navegación es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 8: Velocidad de transferencia de la red (segundos) El siguiente cuadro compara el tiempo promedio para descargar un conjunto de muestra de tipos de archivos comunes para cada producto probado. Los productos cuyo tiempo es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 12 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 9: Copiar, mover y eliminar archivos (segundos) El siguiente cuadro compara el tiempo promedio que requiere copiar, mover y eliminar varios conjuntos de archivos de muestra para cada producto probado. Los productos cuyo tiempo es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 10: Compresión y descompresión de archivos (segundos) El siguiente cuadro compara el tiempo promedio que se requiere para comprimir y descomprimir los archivos de muestra en cada producto probado. Los productos cuyo tiempo es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 13 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 11: Uso de la memoria durante el tiempo de inactividad del sistema (megabytes) El siguiente cuadro compara la cantidad promedio de memoria RAM que usa cada producto durante un período de inactividad del sistema. Este promedio se obtiene a partir de una muestra de diez instantáneas de memoria que se toman con una diferencia de alrededor de 60 segundos después del reinicio. Los productos cuyo uso de memoria RAM en estado de inactividad es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 14 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 12: Uso de la memoria durante el análisis (megabytes) El siguiente cuadro compara la cantidad promedio de memoria RAM que usa cada producto durante un análisis de virus. Este promedio se obtiene a partir de una muestra de diez instantáneas de memoria que se toman con una diferencia de alrededor de 5 segundos. Los productos cuyo uso de RAM es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Evaluación comparativa 13: Uso de la CPU durante el tiempo de inactividad (porcentaje) El siguiente cuadro compara el uso promedio de la CPU durante el tiempo de inactividad del sistema. Este valor se calcula obteniendo un promedio entre los resultados de uso de la CPU iniciales (Ejecución 1) y los resultados subsiguientes (Ejecuciones de la 2 a la 5). Los productos cuyo uso de la CPU es más bajo se consideran productos con un mejor rendimiento en esta categoría.
Comparación de rendimiento Informe 11
Página 15 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Renuncia de responsabilidad y divulgación Este informe sólo abarca versiones de productos que estaban disponibles en el momento de la prueba. Las versiones que se probaron son las especificadas en la sección “Productos y versiones” de este informe. Los productos probados no son una lista exhaustiva de todos los productos disponibles en estas categorías de productos tan competitivos.
Renuncia de responsabilidad Si bien se han hecho todos los esfuerzos para garantizar que la información presentada en este informe sea precisa, PassMark Software Pty Ltd no se responsabiliza de errores, omisiones ni información desactualizada. Asimismo, tampoco asume la responsabilidad de ningún tipo por daños directos, indirectos, accidentales, emergentes o punitivos que son consecuencia de la disponibilidad, el uso o la incapacidad de utilización de esta información, además de la posibilidad de acceder a ella.
Divulgación Symantec Corporation financió la elaboración de este informe y proporcionó algunos de los scripts de prueba usados para llevar a cabo las pruebas.
Marcas registradas Todas las marcas registradas pertenecen a sus respectivos propietarios.
Detalles de contacto PassMark Software Pty Ltd Suite 202, Level 2 35 Buckingham St. Surry Hills, 2010 Sidney (Australia) Teléfono
+ 61 (2) 9690 0444
Fax
+ 61 (2) 9690 0445
Web
www.passmark.com
Ubicación del documento para su descarga Podrá encontrar una copia electrónica de este informe en la siguiente ubicación: http://www.passmark.com/avreport
Comparación de rendimiento Informe 11
Página 16 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Apéndice 1: Entorno de prueba Para llevar a cabo la prueba, PassMark Software utilizó un entorno de prueba que ejecutaba Windows 7 Ultimate (64 bits) con las siguientes especificaciones de hardware:
Sistema de endpoints en Windows 7 (64 bits) CPU: Tarjeta de video: Placa base: RAM: HDD: Red:
Intel Core i5 750 de 2,66 GHz ATI Radeon 4350 de 1 GB ASUS V‐P7H55E, LGA1156 RAM DDR3 de 4 GB, 1.333 Mhz Samsung de 1,5 TB a 7.200 rpm Gigabit (1GB/s)
Web y servidor de archivos No se lleva a cabo una evaluación comparativa del servidor de manera directa. Sin embargo, es necesario determinar las páginas web y los archivos usados durante las pruebas en los endpoints.
CPU: Tarjeta de video: Placa base: RAM: HDD: Red:
Dual Xeon de 3,2 Ghz Quadro NVS 280 PCI‐E HP 08B4h ECC Infineon RAM de 2 GB 30 GB SCSI a 10.000 rpm, SATA de 600 GB Gigabit (1GB/s)
Servidor Active Directory No se lleva a cabo una evaluación comparativa del servidor. Sin embargo, se requiere para ciertos productos a fin de simplificar la implementación remota de los productos en los endpoints.
CPU: Tarjeta de video: Placa base: RAM: HDD: Red:
Dual Xeon de 3,4 Ghz RADEON X600 PRO HP 08B4h ECC Infineon RAM de 2 GB WD740GD‐50FLA2 (Raptor) de 74 GB a 10.000 rpm Gigabit (1GB/s)
Servidor de la consola de administración de AV No se lleva a cabo una evaluación comparativa del servidor. Sin embargo, se requiere para la implementación del software de endpoints y para la programación de los análisis de malware. Las máquinas virtuales se usarán para las consolas de administración de cada producto. CPU: Tarjeta de video: Placa base: RAM: HDD: Red:
AMD Phenom II x4 940 (Núcleo cuádruple) ASUS GeForce 9400GT Gigabyte GA‐MA790XT‐UD4P memoria DDR3 PC3‐10600 de 16 GB, 1.333 MHz Western Digital Caviar Green WD10EADS 1 TB Serial ATA‐II Gigabit (1GB/s)
Comparación de rendimiento Informe 11
Página 17 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Apéndice 2: Descripción metodológica Creación de imágenes en Windows 7 Al igual que con las pruebas en Windows Vista, Norton Ghost se usó para crear una imagen de base de línea “limpia” antes de realizar la prueba. Nuestro objetivo es crear una imagen de línea base con el menor espacio utilizado posible y disminuir la posibilidad de variación generada por factores de sistemas operativos externos. La imagen de línea base se restauró antes de probar cada producto diferente. Este proceso garantiza la instalación y la prueba de todos los productos en el mismo equipo “limpio”. Los pasos que se siguieron para crear la imagen base de Windows 7 son los siguientes: 1.
Instalación y activación de Windows 7 Ultimate Edition.
2.
Actualizaciones automáticas desactivadas.
3.
Modificación de la configuración del control de la cuenta de usuario a “No notificar”.
4.
Desactivación de los análisis de Windows Defender para evitar actividad inesperada en segundo plano.
5.
Desactivación del firewall de Windows para evitar interferencias con software de seguridad.
6.
Instalación de Norton Ghost con fines de creación de imágenes.
7.
Desactivación de Superfetch para garantizar resultados coherentes.
8.
Instalación de HTTP Watch para las pruebas de tiempo de navegación.
9.
Instalación de Windows Performance Toolkit x64 para la prueba del Tiempo de arranque.
10.
Instalación de Active Perl para la interpretación de algunos scripts de prueba.
11.
Desactivación de actualizaciones, aceleradores y actualizaciones de vista de compatibilidad en Internet Explorer 8.
12.
Creación de una imagen de línea base mediante el uso de Norton Ghost.
Evaluación comparativa 1: Tiempo de instalación Esta prueba mide el tiempo de instalación mínimo que requiere un producto para ser completamente funcional y estar preparado para el uso por parte del usuario final. El tiempo de instalación, por lo general, se divide en tres fases principales: La fase de Extracción y e instalación consiste en la extracción de archivos, el aviso de EULA, la activación de productos y las opciones configurables del usuario para la instalación. La fase de Copiado de archivos se lleva a cabo durante la instalación del producto; por lo general, esta fase se indica mediante una barra de progreso. La fase Posterior a la instalación consiste en cualquier parte de la instalación que se lleva a cabo después de la fase de Copiado de archivos. Esta fase varía en gran medida entre los productos; el tiempo registrado en esta fase puede incluir un proceso de reinicio para finalizar la instalación o el tiempo que requiere el programa para lograr el estado de inactividad en la bandeja del sistema. A fin de disminuir el impacto de las variables de las unidades de disco, cada producto se copió en el escritorio antes de inicializar la instalación. Cada paso del proceso de instalación se midió en tiempo de manera manual con un cronómetro y se tomó nota de toda esta información con el máximo nivel de detalle. En los momentos
Comparación de rendimiento Informe 11
Página 18 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
en los que el usuario final debía introducir cierta información, el cronómetro se ponía en estado de pausa y los resultados originales se anotaban entre paréntesis después de la descripción de la fase. Siempre que fue posible, todas las solicitudes de los productos para efectuar análisis previos o posteriores a la instalación se rechazaban o se omitían. En los casos en que no era posible omitir un análisis, el tiempo que requería su ejecución se incluía como parte del proceso. En los casos en que la instalación de un componente opcional era una parte razonable de la funcionalidad del software, la instalación también se llevaba a cabo (por ejemplo, vínculo de sitio web que controla el software como parte de los productos de seguridad de endpoints). El tiempo de instalación incluye el tiempo que requiere el instalador del producto para llevar a cabo la descarga de componentes necesarios en el proceso de instalación. Es posible que esto abarque actualizaciones obligatorias o la entrega de la aplicación en sí a partir de una descarga. Se ha registrado en los resultados cuando un producto descargó componentes para la instalación de productos. No se ha incluido el tiempo de activación del producto a causa de la variabilidad de la red para establecer contacto con los servidores del proveedor o a causa del tiempo que requiere la creación de la cuenta.
Evaluación comparativa 2: Tiempo de arranque PassMark Software usa las herramientas disponibles de Windows Performance Toolkit versión 4.6 (como parte de Microsoft Windows 7 SDK que se obtiene en el sitio web de Microsoft) para obtener resultados de tiempo de arranque más precisos y coherentes en la plataforma de Windows 7. El proceso de arranque, en primer lugar, se optimiza con xbootmgr.exe por medio del comando “xbootmgr.exe ‐trace boot –prepSystem” que prepara el sistema para llevar a cabo pruebas en más de seis arranques de optimización. Se descartan las pistas de arranque obtenidas en el proceso de optimización. Después de la optimización del arranque, se lleva a cabo la evaluación comparativa por medio del comando “xbootmgr.exe ‐trace boot ‐numruns 5”. Este comando arranca el sistema cinco veces sucesivas, tomando notas detalladas de las pistas de arranque para cada ciclo de arranque. Finalmente, se usó una herramienta posterior al procesamiento a fin de analizar las pistas de arranque y obtener el valor de BootTimeViaPostBoot . Este valor ilustra la cantidad de tiempo que requiere el sistema para completar todos (y únicamente) los procesos de tiempo de arranque. El resultado final es un promedio de cinco pistas de arranque.
Evaluación comparativa 3: Tiempo de análisis según demanda El tiempo de análisis es el tiempo que requirió cada producto para analizar un conjunto de archivos de muestra. La muestra que se usó era idéntica en todos los casos e incluía una combinación de archivos del sistema y archivos de Office. En total, se operó con 8.502 archivos cuyo tamaño combinado equivalía a 5,42 GB. La mayoría de estos archivos provienen de las carpetas del sistema de Windows. Dado que los tipos de archivos pueden influir en la velocidad de análisis, el desglose de los principales tipos de archivo, la cantidad de archivos y el tamaño total de los archivos en el conjunto de muestra también se especifican aquí. Comparación de rendimiento Informe 11
Página 19 de 24 3 November 2010
.avi .dll .exe .gif .doc .docx
247 773 730 681 160 267
1.024 MB 25 MB 198 MB 63 MB 60 MB 81 MB
.jpg .mp3 .png .ppt .sys .wav
2904 333 451 97 501 430
318 MB 2.048 MB 27 MB 148 MB 80 MB 260 MB
.wma .xls .zip
585 329 14
925 MB 126 MB 177 MB
En los casos en que fue posible, este análisis se ejecutó sin iniciar la interfaz de usuario del producto, haciendo clic con el botón derecho en la carpeta de prueba y seleccionando la opción “Analizar ahora”. Sin embargo, algunos productos requirieron el ingreso de una interfaz de usuario para analizar una carpeta. Para registrar el tiempo de análisis, usamos el sistema de elaboración de informes o el tiempo de análisis integrado del producto. En los casos en que no fue posible, los tiempos de análisis se tomaron manualmente con un cronómetro. Para cada producto, se tomaron cinco muestras y se llevó a cabo un arranque del equipo antes de cada muestra para borrar los efectos del sistema operativo en la memoria caché. Como consecuencia de este mecanismo, obtuvimos un promedio de los cuatro tiempos de análisis subsiguientes. El resultado final de esta prueba es un promedio a partir del valor promedio de los análisis subsiguientes y del primer tiempo de análisis.
Evaluación comparativa 4: Uso promedio de la CPU durante el análisis Para esta medida se usa la herramienta CPUAvg. La información del sistema se borra, éste se arranca y espera en estado de inactividad (aproximadamente cinco minutos después del arranque). El análisis de virus se ejecuta en un conjunto predefinido de archivos mientras que CPUAvg se ejecuta durante el proceso de análisis.
Evaluación comparativa 5: Tiempo de inicio de la interfaz de usuario El tiempo de inicio de la interfaz de usuario de un producto se tomó mediante el uso de AppTimer (v1.0.1008). Para cada producto probado, se recopiló un total de quince muestras de cinco grupos de tres inicios de interfaces de usuario; se llevó a cabo un arranque antes de operar con cada grupo a fin de borrar los efectos del sistema operativo en la memoria caché. En el momento de recopilar los resultados, se separó la primera información obtenida de cada grupo a fin de que hubiera un conjunto de valores correspondientes al primer inicio después del arranque y otro conjunto de valores de los inicios subsiguientes. Se obtuvo un promedio de los tiempos de inicio subsiguientes para obtener un valor promedio de éstos. El resultado final de esta prueba es un promedio a partir del valor promedio de los inicios subsiguientes y del primer tiempo de inicio. AppTimer está públicamente disponible en el sitio web de PassMark.
Evaluación comparativa 6: Tiempo de apertura de documentos de Word El tiempo de inicio promedio de la interfaz de Word se tomó mediante AppTimer. Esto incluye el tiempo que requiere iniciar una aplicación de Word 2007 y abrir un documento de 10 MB. Esta prueba fue prácticamente idéntica a la prueba del tiempo de inicio de la interfaz de usuario. Para cada producto probado, se recopiló un total de quince muestras de cinco grupos de tres inicios de Word; asimismo, se llevó a cabo un arranque antes de operar con cada grupo a fin de borrar los efectos del sistema operativo en la memoria caché. En el momento de recopilar los resultados, se separó la primera información obtenida de cada grupo a fin de que hubiera un
Protección de endpoints
Pequeña empresa
PassMark Software
conjunto de valores correspondientes al primer inicio después del arranque y otro conjunto de valores de los inicios subsiguientes. Se obtuvo un promedio de los tiempos de inicio subsiguientes para obtener un valor promedio de éstos. El resultado final de esta prueba es un promedio a partir del valor promedio de los inicios subsiguientes y del primer tiempo de inicio.
Evaluación comparativa 7: Tiempo de navegación Se usó un script en combinación con HTTPWatch (Basic Edition, versión 6.1) para registrar la cantidad de tiempo que requiere un conjunto de 106 sitios web “populares” para efectuar el proceso de carga de manera consecutiva desde un servidor local. Este script alimenta una lista de direcciones URL en HTTPWatch, que ordena al navegador que cargue páginas en secuencia y supervisa el tiempo que requiere el navegador para cargar todos los elementos en una página. Para esta prueba, usamos Internet Explorer 8 (versión 8.0.6001.18783) como nuestro navegador. El conjunto de sitios web usados en esta prueba incluye páginas frontales de páginas de alto tráfico. Esto abarca sitios web de compras, de noticias, de referencias, sociales y financieros. La prueba de Tiempo de navegación se ejecutó cinco veces y el resultado final obtenido es un promedio de estas cinco muestras. El servidor local se reinicia entre diferentes productos y se lleva a cabo la ejecución de una “prueba” inicial antes de la prueba para instalar Adobe Flash Player, un complemento que usan varios sitios web populares.
Evaluación comparativa 8: Velocidad de transferencia de la red Esta evaluación comparativa se usó para medir el tiempo necesario para descargar un conjunto de muestra de archivos binarios de distintos tamaños y tipos por medio de una conexión de red de 100 MB/s. Estos archivos estaban alojados en un equipo de servidor que ejecutaba Windows Server 2008 e IIS 7. CommandTimer.exe se usó en combinación con GNU Wget (versión 1.10.1) para tomar el tiempo de la prueba de descarga y ejecutarla. El conjunto completo de archivos de muestra constaba de 553.638.694 bytes en más de 484 archivos y dos categorías de tipos de archivos: archivos de soportes [74% del total] y documentos [26% del total]. El desglose de los tipos de archivo, la cantidad de archivos y el tamaño total de los archivos en el conjunto de muestra se detallan en la siguiente tabla: Formato de
Categoría
Cantidad
archivo
Comparación de rendimiento Edición 1
Tamaño (bytes)
JPEG
Soportes
343
30.668.312
GIF
Soportes
9
360.349
PNG
Soportes
5
494.780
MOV
Soportes
7
57.360.371
RM
Soportes
1
5.658.646
AVI
Soportes
8
78.703.408
WMV
Soportes
5
46.126.167
Página 21 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
Formato de
Categoría
Cantidad
archivo
PassMark Software
Tamaño (bytes)
MP3
Soportes
28
191.580.387
PDF
Documentos
73
136.298.049
ZIP
Documentos
4
6.295.987
7Z
Documentos
1
92.238
Total
484
1503.382
Esta prueba se llevó a cabo cinco veces para obtener el tiempo promedio para realizar la descarga de esta muestra de archivos. Se llevó a cabo un arranque del equipo de prueba entre cada muestra para eliminar los efectos potenciales en la memoria caché.
Evaluaciones comparativas 9 y 10: Rendimiento en tiempo real Se usó un sólo script para las pruebas comparativas de la 10 a la 15. Este script ejecuta pruebas de manera consecutiva para las evaluaciones comparativas de la 10 a la 15. El script determina el tiempo de cada fase en estas evaluaciones comparativas por medio de CommandTimer.exe y adjunta los resultados en un archivo de registro
Evaluación comparativa 9: Copiar, mover y eliminar archivos Esta prueba mide el tiempo que requiere el sistema para copiar, mover y eliminar muestras de archivos en varios formatos de archivos. Esta muestra constaba de 809 archivos con más de 683.410.115 bytes y puede categorizarse como documentos [28% del total], archivos de soportes [60% del total] y archivos PE (es decir, archivos del sistema) [12% del total]. Esta prueba se llevó a cabo cinco veces para obtener el tiempo promedio para copiar, mover y eliminar esta muestra de archivos. Se llevó a cabo un arranque del equipo de prueba entre cada muestra para eliminar los efectos potenciales en la memoria caché.
Evaluación comparativa 10: Compresión y descompresión de archivos Esta medida determina el tiempo que requiere comprimir y descomprimir un conjunto de muestra de archivos. Para esta prueba, se usó un subconjunto de archivos de soportes y documentos utilizados en la evaluación comparativa de Copiar, mover y eliminar archivos. CommandTimer.exe registró el tiempo que requirió 7zip.exe para comprimir los archivos en un *.zip y descomprimir este archivo creado con posterioridad.
Comparación de rendimiento Edición 1
Página 22 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Este subconjunto comprendía 404 archivos con más de 280.475.493/277.346.661 bytes. El desglose de los tipos de archivo, la cantidad de archivos y el tamaño total de los archivos en el conjunto de muestra se detallan en la siguiente tabla: Formato de
Categoría
Cantidad
Tamaño (bytes)
DOC
Documentos
12
30.450.176
DOCX
Documentos
4
13.522.409
PPT
Documentos
3
5.769.216
PPTX
Documentos
3
4.146.421
XLS
Documentos
4
2.660.352
XLSX
Documentos
4
1.426.054
JPG
Soportes
343
30.668.312
GIF
Soportes
9
360.349
PNG
Soportes
5
494.780
MOV
Soportes
7
57.360.371
RM
Soportes
1
5.658.646
AVI
Soportes
8
78.703.408
WMV
Soportes
5
46.126.167
Total
404
1135.149
archivo
Esta prueba se llevó a cabo cinco veces para obtener la velocidad promedio para realizar la compresión y descompresión de archivos. Se llevó a cabo un arranque del equipo de prueba entre cada muestra para eliminar los efectos potenciales en la memoria caché.
Evaluación comparativa 11: Uso de la memoria durante el tiempo de inactividad del sistema La utilidad Perflog++ se utilizó para registrar el uso de la memoria en los procesos en el arranque del sistema, y luego a cada minuto durante los quince minutos posteriores. Esto se realizó sólo una vez por producto y el resultado obtenido fueron 15 muestras. La primera muestra obtenida en el inicio se descarta. La utilidad PerfLog++ registra el uso de la memoria en todos los procesos, no sólo en los productos contra malware. Como consecuencia, todos los procesos anti‐malware del producto se aislaron de todos los demás procesos en ejecución en el sistema. Para poder aislar el proceso pertinente, se usó un programa denominado Process Explorer que se ejecutó de manera inmediata al terminar el registro del uso de memoria mediante PerfLog++. Process Explorer es una herramienta de software de Microsoft Windows Sysinternals que muestra una lista de todos los procesos DLL que están cargados en el sistema en ese momento.
Evaluación comparativa 12: Uso de la memoria durante el análisis PerfLog++ se utilizará para registrar el uso de memoria en el sistema mientras hay un análisis en progreso, ver el uso de memoria cuando el sistema se encuentra en estado de inactividad para la descripción de PerfLog++ y el modo en que se identifican los procesos que usan los productos.
Comparación de rendimiento Edición 1
Página 23 de 24 3 November 2010
Protección de endpoints
Pequeña empresa
PassMark Software
Evaluación comparativa 13: Uso promedio de la CPU durante el tiempo de inactividad La herramienta CPUAvg se usa con este propósito. La información del sistema se borra, éste se arranca y espera en estado de inactividad (aproximadamente cinco minutos después del inicio); CPUAvg luego se ejecuta durante cinco minutos mientras el sistema se encuentra inactivo. .
Comparación de rendimiento Edición 1
Página 24 de 24 3 November 2010