En 1960, Norbert Wiener a décrit le problème de l'alignement comme ceci : « Si on utilise, pour atteindre nos objectifs, un agent mécanique qu'on ne peut pas contrôler efficacement... On ferait bien de s'assurer que l'objectif que l'on assigne à cette machine soit celui que l'on désire vraiment. » Beaucoup de chercheurs se préoccupent surtout de l'alignement des futures intelligences artificielles générales, aussi appelées IA de niveau humain, et des superintelligences artificielles, d'hypothétiques agents dont les capacités dépasseraient de loin les performances humaines dans la plupart des domaines. Selon certains scientifiques, créer une IA généraliste surhumaine mal alignée remettrait en cause la position de l'humanité en tant qu'espèce dominante sur Terre, ce qui mènerait à une perte de contrôle voire à l'extinction de l'humanité...

In 1960, Norbert Wiener described the alignment problem like this :

“If we use, to achieve our objectives, a mechanical agent that we cannot control effectively... We would do well to ensure that the objective we assign to this machine is the one we really desire."

Many researchers are concerned about the alignment of future general artificial intelligences, also called human-level AI, and artificial superintelligences, hypothetical agents whose capabilities would far exceed human performance in most areas.

According to some scientists, creating a misaligned superhuman general AI would challenge humanity's position as the dominant species on Earth, leading to a loss of control or even extinction of humanity...