Standardizing Evaluation of Neural Network Pruning

Abstract

En este trabajo presentamos un framework que facilita el desarrollo y evaluación de métodos de poda para redes neuronales. Debido a la falta de estandarización en la literatura existente sobre los métodos de poda, es difícil comparar y evaluar los métodos desarrollados de una forma rigurosa. Nuestra librería es capaz de realizar experimentos de forma estandarizada, controlando posibles factores de confusión tales como la elección de conjunto de datos, modelo predictivo o las métricas de evaluación. Demostramos la eficacia de la metodología desarrollada implementando varios métodos de poda de redes neuronales. Nuestros resultados indican cómo el uso un proceso de evaluación estandarizado es necesario para evitar alcanzar conclusiones incorrectas a la hora de comparar métodos de poda.

Neural network pruning consists of reducing the size of a network by removing parameters. In this work, we introduce an open-source library to facilitate standardized evaluation of neural network pruning methods. Our framework simplifies using standardized datasets, pretrained models, and evaluation metrics for implementing pruning methods. In addition to describing its functionality, we demonstrate its utility by using it to implement and evaluate several pruning methods. We show that our comprehensive evaluation can prevent common pitfalls when comparing pruning methods.