RoboHornet: Crónica de un benchmark para navegadores

Hace poco más de una semana fue presentado un proyecto llamado RoboHornet, que en esencia se trata de un nuevo benchmark para navegadores web. El proyecto es una creación de GitHub y Google, y en su primera versión alfa, reportaba que Chrome salía vencedor en la mayoría de las pruebas, salvo en Windows 8, donde el dominio de Internet Explorer 10 era completo. Desde entonces, se desató el infierno: Microsoft creó a su propia variante “RoboHornet Pro”, y representantes de Mozilla han llegado a pedir la eliminación y prohibición de “micro-benchmarks” como RoboHornet.

La guerra de los navegadores había entrado en una etapa un poco más fría de lo normal, pero no se necesitó de mucho para que saliera del letargo y se retomen las acusaciones. El objeto de la discordia fue RoboHornet, un nuevo benchmark para navegadores disponible a través de GitHub, pero que tiene cierta influencia proveniente de Google. Si lo observamos un poco más de cerca, RoboHornet es en realidad un paquete de micro-benchmarks, que mide diferentes aspectos en un navegador, los cuales deberían ser beneficiosos para cualquier desarrollador Web. Con los primeros resultados flotando en la Web, RoboHornet colocó a Chrome al tope de la mayoría de las pruebas, mientras que en Windows 8, Internet Explorer 10 se quedó con el primer puesto. Un dato no menor es que Firefox terminó último en la mayoría de las pruebas.

A partir de ese punto fue cuando comenzaron los problemas. Por un lado, Microsoft “apreció el gesto” que RoboHornet ha tenido con Internet Explorer 10, pero de todas maneras descalifica al benchmark, indicando que el paquete “no representa” a la experiencia que los usuarios pueden encontrar en situaciones reales. A esto también se le sumó Mozilla, cuando Justin Lebar directamente abrió un nuevo reporte de bugs en RoboHornet titulado: “Eliminen y prohíban a los micro-benchmarks”, donde menciona que los micro-benchmarks presentes en RoboHornet son “una forma muy pobre” de medir rendimiento. Como si eso fuera poco, Microsoft tomó el código de RoboHornet (porque no deja de ser open source), y creó su propia variante, llamada “RoboHornet Pro”. Ahora, el benchmark con la esencia de Microsoft en su interior se ha convertido en una plataforma que ejecuta pruebas mientras mantiene una animación al estilo Matrix de fondo. Cualquier interrupción en la animación hace que el benchmark falle automáticamente.

De más está decirlo, los resultados son un carnaval. Bajo Windows 7, no hay ni un sólo navegador capaz de superar a RoboHornet Pro. En Windows 8, el único aprobado es obviamente Internet Explorer 10. Y tanto en OS X como en plataformas móviles, el benchmark demuestra una clara preferencia por los navegadores integrados. En lo personal, esto me causa mucha tristeza. Si no logran ponerse de acuerdo por algo tan básico como un benchmark, no quiero imaginar el tiempo que les tomará coincidir en cosas de mayor relevancia como estándares y protocolos. Y al final, el que nuevamente paga los platos rotos es el usuario final. Más abajo podrás encontrar los enlaces a las dos versiones del benchmark, pero no queda mucho espacio para sacar conclusiones.