Relationship Between Kendall's tau Correlation and Mutual Information

Abstract

La informacion mutua (MI) puede ser vista como una medida de asociacion multivariante en un vector aleatorio. Sin embargo, la estimacion de MI es dificil ya que la estimacion de la funcion de densidad de probabilidad conjunta (PDF) de datos distribuidos no gaussianos es un problema dificil. La funcion copula es una herramienta apropiada para estimar el MI ya que la funcion de densidad de probabilidad de las variables aleatorias se puede expresar como el producto de la funcion de densidad de copula asociada y de los PDF marginales. Con una pequena busqueda, encontramos que la informacion mutua propuesta basada en copulas es mucho mas precisa que los metodos convencionales, como el histograma de la articulacion y el MI basado en ventana de Parzen. En este articulo, al utilizar el metodo basado en copulas, calculamos el MI para algunas familias de funciones de distribucion bivariadas y estudiamos la relacion entre la correlacion tau de Kendall y el MI de las distribuciones bivariadas. Finalmente, usando un conjunto de datos real, ilustramos la eficiencia de este enfoque.