Los conjuntos de datos más grandes no siempre son mejores

Los investigadores del MIT desarrollaron una forma de identificar el conjunto de datos más pequeño que garantice soluciones óptimas a problemas complejos.

Análisis de datos – impresión artística. Crédito de la imagen: Alius Noreika / AI

Determinar el camino menos costoso para una nueva línea de metro debajo de una metrópolis como la ciudad de Nueva York es un desafío de planificación colosal, que involucra miles de rutas potenciales a través de cientos de cuadras de la ciudad, cada una con costos de construcción inciertos. La sabiduría convencional sugiere que se necesitarían extensos estudios de campo en muchos lugares para determinar los costos asociados con la excavación debajo de ciertas manzanas de la ciudad.

Debido a que estos estudios son costosos de realizar, un planificador de la ciudad querría realizar la menor cantidad posible y al mismo tiempo recopilar los datos más útiles para tomar una decisión óptima.

Con casi innumerables posibilidades, ¿cómo sabrían por dónde empezar?

Un nuevo método algorítmico desarrollado por investigadores del MIT podría ayudar. Su marco matemático identifica de manera demostrable el conjunto de datos más pequeño que garantiza encontrar la solución óptima a un problema, y ​​a menudo requiere menos mediciones de las que sugieren los enfoques tradicionales.

En el caso de la ruta del metro, este método considera la estructura del problema (la red de manzanas, las restricciones de construcción y los límites presupuestarios) y la incertidumbre que rodea los costos. Luego, el algoritmo identifica el conjunto mínimo de ubicaciones donde los estudios de campo garantizarían encontrar la ruta menos costosa. El método también identifica cómo utilizar estos datos recopilados estratégicamente para encontrar la decisión óptima.

Este marco se aplica a una amplia clase de problemas estructurados de toma de decisiones en condiciones de incertidumbre, como la gestión de la cadena de suministro o la optimización de la red eléctrica.

«Los datos son uno de los aspectos más importantes de la economía de la IA. Los modelos se entrenan con más y más datos, consumiendo enormes recursos computacionales. Pero la mayoría de los problemas del mundo real tienen una estructura que puede ser explotada. Hemos demostrado que con una selección cuidadosa, se pueden garantizar soluciones óptimas con un pequeño conjunto de datos, y proporcionamos un método para identificar exactamente qué datos se necesitan», dice Asu Ozdaglar, profesor de Mathworks y jefe del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, vicedecano del MIT Schwarzman Facultad de Computación e investigador principal del Laboratorio de Sistemas de Información y Decisión (LIDS).

Ozdaglar, coautor principal de un artículo sobre esta investigaciónestá acompañado por los autores coautores Omar Bennouna, un estudiante de posgrado de EECS, y su hermano Amine Bennouna, un ex postdoctorado del MIT que ahora es profesor asistente en la Universidad Northwestern; y el coautor principal Saurabh Amin, codirector del Centro de Investigación de Operaciones, profesor del Departamento de Ingeniería Civil y Ambiental del MIT e investigador principal de LIDS. La investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.

Una garantía de optimización

Gran parte del trabajo reciente en investigación de operaciones se centra en cómo utilizar mejor los datos para tomar decisiones, pero esto supone que estos datos ya existen.

Los investigadores del MIT comenzaron haciendo una pregunta diferente: ¿cuáles son los datos mínimos necesarios para resolver un problema de manera óptima? Con este conocimiento, se podrían recopilar muchos menos datos para encontrar la mejor solución, gastando menos tiempo, dinero y energía en realizar experimentos y entrenar modelos de IA.

Los investigadores primero desarrollaron una caracterización geométrica y matemática precisa de lo que significa que un conjunto de datos sea suficiente. Cada conjunto posible de costos (tiempos de viaje, gastos de construcción, precios de la energía) hace que una decisión particular sea óptima. Estas “regiones de optimización” dividen el espacio de decisión. Un conjunto de datos es suficiente si puede determinar qué región contiene el costo real.

Esta caracterización ofrece la base del algoritmo práctico que desarrollaron y que identifica conjuntos de datos que garantizan encontrar la solución óptima.

Su exploración teórica reveló que a menudo todo lo que se necesita es un conjunto de datos pequeño y cuidadosamente seleccionado.

«Cuando decimos que un conjunto de datos es suficiente, queremos decir que contiene exactamente la información necesaria para resolver el problema. No es necesario estimar todos los parámetros con precisión; sólo se necesitan datos que puedan discriminar entre soluciones óptimas en competencia», dice Amine Bennouna.

Sobre la base de estos fundamentos matemáticos, los investigadores desarrollaron un algoritmo que encuentra el conjunto de datos más pequeño y suficiente.

Capturando los datos correctos

Para utilizar esta herramienta, se ingresa la estructura de la tarea, como el objetivo y las restricciones, junto con la información que se conoce sobre el problema.

Por ejemplo, en la gestión de la cadena de suministro, la tarea podría ser reducir los costos operativos en una red de docenas de rutas potenciales. Es posible que la empresa ya sepa que algunas rutas de envío son especialmente costosas, pero carece de información completa sobre otras.

El algoritmo iterativo de los investigadores funciona preguntando repetidamente: «¿Existe algún escenario que cambiaría la decisión óptima de una manera que mis datos actuales no puedan detectar?» En caso afirmativo, agrega una medida que captura esa diferencia. En caso negativo, el conjunto de datos es probablemente suficiente.

Este algoritmo señala el subconjunto de ubicaciones que deben explorarse para garantizar la búsqueda de la solución de costo mínimo.

Luego, después de recopilar esos datos, el usuario puede enviarlos a otro algoritmo que desarrollaron los investigadores y que encuentra la solución óptima. En este caso, esas serían las rutas de envío a incluir en una cadena de suministro de costo óptimo.

«El algoritmo garantiza que, sea cual sea el escenario que pueda ocurrir dentro de su incertidumbre, identificará la mejor decisión», dice Omar Bennouna.

Las evaluaciones de los investigadores revelaron que, utilizando este método, es posible garantizar una decisión óptima con un conjunto de datos mucho más pequeño que el que normalmente se recopilaría.

«Desafiamos esta idea errónea de que los datos pequeños significan soluciones aproximadas. Estos son resultados exactos de suficiencia con pruebas matemáticas. Hemos identificado cuándo se garantiza obtener la solución óptima con muy pocos datos; no probablemente, pero con certeza», dice Amin.

En el futuro, los investigadores quieren ampliar su marco a otro tipo de problemas y situaciones más complejas. También quieren estudiar cómo las observaciones ruidosas podrían afectar la optimización del conjunto de datos.

«Me impresionó la originalidad, claridad y elegante caracterización geométrica del trabajo. Su marco ofrece una nueva perspectiva de optimización sobre la eficiencia de los datos en la toma de decisiones», dice Yao Xie, presidente de la Fundación Coca-Cola y profesor de Georgia Tech, que no participó en este trabajo.

Escrito por Adam Zewe

Fuente: Instituto de Tecnología de Massachusetts