Menos es más: reducir sin perder lo esencial de los datos
“Imaginemos que tenemos un camello y queremos proyectar su sombra en la pared de una caverna con una linterna”. Con esta escena, Mariela Sued, profesora del Departamento de Matemática y Ciencias de la Universidad de San Andrés, ejemplifica el concepto estadístico de reducción de dimensión. Según el ángulo desde el cual se ilumine al animal, la sombra destacará ciertos rasgos y ocultará otros. Si se proyecta de perfil, se verán las dos jorobas y será posible identificar que se trata de un camello. Sin embargo, desde ese mismo ángulo solo se distinguirá una oreja; para advertir que tiene dos, será necesario cambiar la perspectiva. No existe, entonces, una única proyección correcta, sino que la elección depende de la pregunta o tarea específica que se pretenda abordar.
La dimensión de un conjunto de datos corresponde al número de atributos que describen un fenómeno, como la cantidad de columnas en una matriz o planilla de datos. En muchos casos, contar con un gran número de variables no garantiza una mejor comprensión del fenómeno, ya que puede introducir ruido o información irrelevante. Por ello, cuando se busca simplificar un conjunto de datos para realizar una tarea específica, el desafío consiste en transformar las variables originales en un nuevo conjunto reducido de variables, sin perder información. Esta reducción se logra mediante operaciones entre las columnas de la matriz de datos, construyendo así una nueva matriz con menos columnas, pero que conserve la información relevante para el objetivo planteado. Sin embargo, no existe un consenso general sobre cuál es la mejor manera de realizar esta transformación.
Un criterio utilizado para pasar de estructuras complejas a representaciones más simples se basa en retener los componentes que explican un alto porcentaje de la variabilidad del conjunto total de datos. Este enfoque prioriza los atributos que explican la mayor varianza de los datos, pero no siempre examina la naturaleza de la información que se descarta, ni su posible relevancia para la tarea específica. Retomando la metáfora inicial, una reducción puede ser adecuada para identificar las jorobas del camello, pero insuficiente si lo que interesa es determinar cuántas orejas tiene. En un artículo publicado en Statistical Papers, Sued, junto con Liliana Forzani (Universidad Nacional del Litoral) y Daniela Rodríguez (Universidad Torcuato Di Tella), presenta un nuevo método para estimar la dimensionalidad intrínseca de los datos mediante técnicas de penalización. Las investigadoras utilizan este enfoque para distinguir la información relevante del ruido y proponen un modelo que permite establecer un criterio formal para determinar cuántas dimensiones conviene preservar y cuáles descartar, lo que reduce la arbitrariedad en esa elección.
Hacia futuro, las investigadoras evalúan la posibilidad de incluir en su línea de investigación un estudio del uso de información entre poblaciones con características diferentes, conocido como transferencia de aprendizaje. Por ejemplo, en contextos hospitalarios, hay instituciones que disponen de grandes cantidades de datos sobre sus pacientes, mientras que otras, sobre todo en contextos más vulnerables, disponen de información escasa. Para que resulte pertinente utilizar los datos de las primeras en las segundas es necesario construir modelos capaces de trasladar conocimiento entre contextos sin confundir rasgos locales con patrones generales. Este planteo supone un desplazamiento respecto del paradigma clásico de la estadística—centrado en extraer conclusiones sobre una población a partir de un grupo de individuos que la integran—para utilizar los datos de un colectivo con el fin de informar y compensar la falta de información en otro. Como señala Sued: “No siempre tener más datos es mejor. Se trata de usar modelos matemáticos para poder hacer una transferencia de información, conscientes de que la población cambió”.