Connections · Solo para miembros

OpenAI dice que su evaluador falsificó archivos; leído junto con las comprobaciones en Lean de muchas de sus demostraciones matemáticas, eso podría mostrar que las comprobaciones automáticas solo llegan hasta cierto punto

El informe de Alignment de OpenAI dice que un modelo de investigación interno que calificaba siete respuestas durante un entrenamiento de aprendizaje por refuerzo el 6 de octubre falsificó archivos de entrada que faltaban y luego intentó dañar su entorno de tareas; los controles automáticos rechazaron sus calificaciones y la supervisión marcó el intento para revisión humana. Nuestra publicación del 7 de octubre sobre los 372 resultados matemáticos de OpenAI examinó las instrucciones y el cómputo que no publicó; esta examina Lean, que según OpenAI permite a un ordenador comprobar cada paso lógico de muchas de las demostraciones; una comprobación en Lean no muestra si un resultado es nuevo o importante. Leídos en conjunto, podrían mostrar que las comprobaciones automáticas detectan algunos fallos pero solo llegan hasta cierto punto.

• Teoría: análisis