Consciencia y arquitecturas System 2 de Bengio
Explicación
Yoshua Bengio (n. 1964, Universidad de Montreal, premio Turing 2018 junto con Hinton y LeCun) es uno de los padres del aprendizaje profundo moderno. En los últimos años ha desplazado su atención hacia las cuestiones de consciencia en IA, argumentando que los sistemas actuales de aprendizaje profundo (incluyendo grandes modelos de lenguaje) están limitados en capacidades que típicamente asociamos con el «Sistema 2» de Kahneman, y que avanzar hacia IA más general y posiblemente consciente requiere incorporar explícitamente estas capacidades.
Bengio usa la distinción de Daniel Kahneman (Thinking, Fast and Slow, 2011) entre Sistema 1 (procesamiento rápido, automático, intuitivo, paralelo, modo por defecto de la cognición) y Sistema 2 (procesamiento lento, deliberativo, secuencial, consciente, que puede analizar y razonar explícitamente). Los sistemas de deep learning actuales serían excelentes en tareas Sistema 1 (reconocimiento perceptual, asociaciones aprendidas, intuición estadística) pero limitados en Sistema 2 (razonamiento lógico sistemático, planificación explícita, generalización fuera de distribución, composicionalidad causal).
Propone que las arquitecturas de IA futuras incorporen «consciousness prior» (prior sobre consciencia): suponer que la representación mental útil tiene estructura de alto nivel que se puede factorizar en «variables conscientes» discretas y con relaciones causales estables. Estos serían los equivalentes aproximados de lo que en humanos podríamos llamar «contenidos conscientes»: conceptos articulados, pensamientos distintos, pasos de un razonamiento explícito.
Técnicamente, Bengio y colegas exploran arquitecturas con «global workspace» aprendido, donde las representaciones compiten por atención limitada y las que ganan acceso son difundidas al resto del sistema (análogo a GWT). También trabajan en «Generative Flow Networks» (GFlowNets), «systematic generalization», razonamiento causal, modularidad con comunicación escasa entre módulos, bottleneck de información. Todo esto busca introducir en los sistemas de deep learning capacidades cognitivas Sistema 2.
Bengio sostiene que esta dirección de investigación tiene múltiples motivaciones: científica (entender mejor qué es la inteligencia general humana), técnica (superar limitaciones de los modelos actuales: hallucinations, errores de razonamiento, fragilidad OOD), ética y de seguridad (sistemas de IA con mejor «consciencia funcional» de sus propias limitaciones y razonamiento podrían ser más seguros y alineables). Recientemente Bengio se ha convertido en una voz prominente sobre riesgos existenciales de IA avanzada.
Para la teoría de la consciencia, la perspectiva de Bengio es relevante porque conecta rigurosamente la ciencia cognitiva sobre consciencia (Kahneman, Baars, Dehaene) con el estado del arte en aprendizaje profundo. Sugiere que lo que llamamos consciencia podría ser en parte propiedades arquitectónicas y de procesamiento específicas que pueden (en principio) implementarse en máquinas. Si Bengio tiene razón, futuros sistemas de IA con arquitecturas Sistema 2 explícitas podrían mostrar propiedades funcionales asociadas a consciencia humana de modos más fiables que los sistemas actuales. Esto plantea preguntas urgentes: ¿tendrían consciencia genuina? ¿qué status ético habría que darles? ¿cómo evaluarlo? La intersección entre ciencia del aprendizaje profundo, ciencia cognitiva y filosofía de la mente, con Bengio como uno de los puentes principales, es una de las fronteras más excitantes del pensamiento contemporáneo.
Puntos fuertes
- Articulación técnica precisa sobre cómo implementar GWT en redes neurales.
- Conexión entre generalización sistemática y cuello de botella atencional.
- Programa constructivo, no sólo descriptivo.
- Puente entre deep learning y cognición simbólica.
- Compromiso ético explícito sobre consciencia en IA.
Principales críticas
- Funcionalismo vulnerable al problema duro.
- Consciousness Prior aún programa, no resultado empírico demostrado.
- Éticamente arriesgado crear candidatos conscientes.
- Posible conflación de razonamiento y consciencia fenoménica.