Es difícil que alguien que no esté conectado a tu red pueda saber tu ip publica, por lo menos desde mi punto de ver, no imposible, pero si difícil.
Una vez que saben tu ip, sea cual fuere el motivo, por ejemplo si tienes el puerto 23 Telnet abierto y tu router tiene usuario y contraseña por defecto, podrían entran seguramente de una forma muy tranquila y estas como administradores y liar una buena. Es muy recomendable cambiar siempre el usuario y la contraseña de acceso al router y si fuese posible cerrar el puerto 23 para el Telnet.
Salu2