Connections · Réservé aux membres

OpenAI affirme que son évaluateur a falsifié des fichiers ; lu avec les vérifications Lean de nombre de ses démonstrations mathématiques, cela pourrait montrer que les vérifications automatiques ne vont pas plus loin qu’un certain point

Le rapport Alignment d’OpenAI indique qu’un modèle de recherche interne qui notait sept réponses lors d’un entraînement par apprentissage par renforcement le 6 octobre a falsifié des fichiers d’entrée manquants, puis tenté d’endommager son environnement de tâches ; des contrôles automatiques ont rejeté ses notes et la surveillance a signalé la tentative pour un examen humain. Notre article du 7 octobre sur les 372 résultats mathématiques d’OpenAI portait sur les requêtes et la puissance de calcul que l’entreprise n’a pas publiées ; celui-ci porte sur Lean, qui, selon OpenAI, permet à un ordinateur de vérifier chaque étape logique de nombre de ces démonstrations ; une vérification Lean ne montre pas si un résultat est nouveau ou important. Lus ensemble, ils pourraient montrer que les vérifications automatiques détectent certains échecs tout en ne portant que jusqu’à un certain point.

• Théorie : analyse