Analytics system with interval-valued data

Abstract

El análisis de datos está a la orden del día del Business Intelligence y es esencial en las nuevas tendencias, como Big Data, Internet de las cosas (IoT), la nube o ciudades inteligentes. La toma de decisiones en el mundo real incorpora diferentes tipos de datos.

Hasta ahora, los datos simples o numéricos únicos han sido el paradigma de la estadística, el Machine Learning y la Inteligencia Artificial, las numerosas herramientas y softwares existentes cubren muchos métodos consensuados para trabajar y analizar datos simples. Sin embargo, están surgiendo nuevos tipos de datos. Los datos de intervalo son los compuestos por un intervalo típico con límites inferiores y superiores, como los máximos y mínimos semanales en finanzas (mercados FOREX, acciones o materias primas ...), temperaturas mínimas y máximas diarias, valores de tensión cardíaca y muchas otras magnitudes que no proporcionan una visión completa con un único valor simple como estamos acostumbrados.

El resultado final de este proyecto es la herramienta BASIVD que incluye dos principales componentes: visualización y regresión. En la parte de visualización se han incluido gráficas y representaciones originales e innovadoras para intentar solucionar la complejidad de representar datos por intervalos. Para la parte de regresión, una de las más completas en la herramienta, se realizaron análisis para comparar los diferentes métodos. Las conclusiones sacadas de este análisis es que no existe un método claramente superior al resto. Los modelos más modernos y avanzados realizan una predicción ligeramente mejor que los demás, pero esto lo realizan a cambio de complejidad y poder computacional. Por tanto, depende de las necesidades del usuario si prefiere un modelo ligeramente más preciso y complejo o le sirve una proyección buena con un modelo más sencillo.

Analytics is at the core of Business Intelligence and is essential to new trends such as Big Data, the Internet of Things, Cloud Computing or Smart Cities. Decision-making in the real world incorporates different kinds of data.

Single or crisp data have been the paradigm until now in Statistics, Machine Learning and Artificial Intelligence, the numerous existing tools and software cover many agreed upon methods for working and analysing crisp data. However, a new kind of data is arising. Interval data is a typical interval with lower and upper bounds such as weekly highs and lows in finance (FOREX, stock or commodity markets...), daily minimum and maximum temperatures, heart tension values and many other magnitudes that do not give the full picture with only a crisp value data point like we are used to.

This project final product is the BASIVD tool which includes two main fields of work: visualisation and regression. For the visualisation part, some innovative and original plots have been created to deal with the complexity of representing interval-valued data. Regarding regression, one of the most complete parts of the tool, some analysis was made of the different methods included in it. The conclusions drawn on this part was that there is not a clear better model. The most modern and advanced ones produced slightly better but they did that on more complexity and computational power. In the end, it is up to the user if they desire a slightly better performance with more complexity or if does prefer a simpler method with a good enough approximation.