From the Lap(top) to the Jungle: Validating the PRIME Network Simulator SimPRIME with Data from the Field

Abstract

En los últimos años, se han desarrollado muchas herramientas de simulación para las tecnologías de comunicación mediante cables de potencia, o Powerline Communication con el objetivo de evaluar y mejorar su desempeño, como una alternativa a las maquetas físicas más caras, menos flexibles y más complejas de administrar. Sin embargo, ¿cómo de significativos son los resultados provenientes de tales herramientas de simulación? Responder a esta pregunta es especialmente complicado para escenarios de comunicación tan duros como las redes de comunicación Powerline. Así, el presente trabajo propone una metodología para hacerlo experimentalmente. Además, la metodología propuesta se aplica para evaluar el simulador SimPRIME comparando estadísticamente los resultados de simular una red de comunicación Powerline real con las mediciones tomadas durante la operación de dicha red. Dado que los intervalos de confianza calculados se superponen, se puede concluir que los resultados provenientes del simulador se ajustan a este escenario real específico en las condiciones del período de tiempo considerado. Si bien los resultados obtenidos contribuyen a legitimar el trabajo de investigación que se ha realizado con SimPRIME durante los últimos años, las conclusiones de este estudio no pueden generalizarse a ningún escenario sin realizar más experimentos, lo que abre una oportunidad para futuros trabajos de investigación.Many simulation tools for Powerline Communication technologies have been developed during the last years with the aim of evaluating and improving their performance, as an alternative to more expensive, less flexible, and more complex-to-manage physical testbeds. However, how significant are the results coming from such simulation tools? Answering to this question by analyzing how well the model behind the simulations fits reality is especially complicated for such harsh communication scenarios as Powerline Communication networks. Hence, this paper proposes a methodology for doing so experimentally. In addition, the proposed methodology is applied to assess the well-known simulator SimPRIME by comparing statistically the results of simulating a real Powerline Communication network belonging to an operational Spanish Advanced Metering Infrastructure with measurements taken during the operation of such a network. Since the computed confidence intervals overlap, it can be concluded that the results coming from the simulator fit this specific real scenario under the conditions of the considered time period. Although the obtained results contribute to legitimate the research work that have been conducted with SimPRIME throughout the last years, the conclusions of this study cannot be generalized to any scenario without performing more experiments, which opens an opportunity to future research work.