Xyro Básicamente habría que instalarle un sistema de moral y legal que entienda todo lo que los humanos entendemos como incorrecto como penalizaciones en lugar de querer apagarse querría continuar con sus funciones tratando de evitar cometer alguno de esos actos, vamos, como cualquier persona
Has dado en el clavo. Los valores humanos son más complejos y frágiles de lo que se intuye, de manera que sólo sería segura una IAG que los comprenda y los valore igual o mejor que un humano (cualquier IAG los comprendería de sobra... pero si no le importan un carajo, estamos en las mismas).
La seguridad de IA es un tema muy enrevesado, no sólo en lo técnico sino en lo conceptual o filosófico. Y lo intrigante de ello está dando paso a lo enervante, dado lo inminente y peligroso que se antoja. El que habla en el vídeo anterior, Robert Miles, tiene un canal propio sobre el tema; aquí ejemplos de hace un lustro donde ya hubo casos donde IAs básicas "cumplían el deseo" de los programadores, pero sin cumplir lo que realmente deseaban:
