Vale, ya me parecia raro ya que hasta donde tengo entendido todos los drivers deberian soportar trabajar en modo cliente y efectivamente, usando el driver kmod-brcm-wl como ya estaba haciendo acaba funcionando, lo que pasa es que asocia cuando le da la gana, unas veces asocia nada mas reiniciar la wifi, otras tarda muchisimo tiempo y otras no asocia directamente.
No se donde puede estar el problema...