Pues si le sumamos la carga del USB externo (irqs) + driver USB + driver wifi + utilizar la red como cliente y enrutar como WAN...
Si dices que la wifi interna no llega, significa que la wifi externa aunque llegue, no llegará al 100% de calidad tampoco, con lo cual también tiene pérdidas.
No sé si el ping se puede mejorar, pero que más carga tiene, seguro...