Tú lo has dicho, que usabas 3 o 4 para todo, cosa que entiendo. Cuando obtienen las credenciales de un sitio web hackeado, van a probar ese nombre de usuario/contraseña en el resto de webs que les interesen. Es decir, si tu en criadelberberechosalvaje.com eres jimmylee@contraseña1 y alguien hackea ese foro junto con los datos de acceso de sus usuarios, el propio hacker o quien compre esos datos va a probar en Facebook, Instagram, Twitter, League of Legends, Fornite, etc. la combinación jimmylee@contraseña1.
La idea de los gestores de contraseñas es la de protegerse de ese tipo de cosas. Evidentemente si lo que tienes es un keylogger (que registra las pulsaciones de teclado), estás jodido como bien dices, pero lo estarías en cualquier caso.