Autor Tema: [Mini guía] Cómo filtrar dominios basura por DNS +OpenDNS y archivo hosts (Leído 20579 veces)

peperfus · « **Respuesta #20 en:** 27-04-2017, 01:56 (Jueves) »

Además de sustituir el 0.0.0.0 por 127..., más que nada por unificar criterios...; también convendría reemplazar los tabs por espacio, por el mismo motivo, y para que detecte las líneas duplicadas correctamente, ya que si hay una con espacio y otra con tabulador, serán distintas, aunque sea el mismo dominio.

Se puede utilizar el comando:

Código: [Seleccionar]

sed 's/\t/ /g' archivocontabs > archivosintabsLo he probado y va.

Sustituir 0.0.0.0 por 127.0.0.1:

Código: [Seleccionar]

sed -i -- 's/0.0.0.0/127.0.0.1/g' archivo0000
La opción -i hace los cambios en el propio archivo. No sé que hace el -- (lo copié de internet ¿alguien lo sabe?). Sería conveniente aplicar también -i en el sed del cambio de tabs a espacios, por tema de routers con poco espacio en flash.

EDITO:
Después de añadir estos cambios al script, el archivo hosts resultante se me ha reducido a 3 MB

Tki2000 · « **Respuesta #21 en:** 27-04-2017, 14:04 (Jueves) »

He hecho unas cuantas pruebas con los ficheros hosts, y parece que funciona bastante bien, y el router ni se despeina.

He bajado el archivo hosts de vk496 ( de aquí ), y lo he subido a la RAM del router. He agregado el fichero hosts en luci -> DHCP -> Additional hosts file. Con el servidor de DNS puesto a un Windows, como el router openwrt, la resolución de nombres la da a 127.0.0.1, luego funciona. Cambiando el servidor de DNS a 8.8.8.8, se salta el router, pero agregando las reglas de iptables de peperfus ( de allá ) interceptamos el tráfico, y el router vuelve a resolver los nombres a 127.0.0.1, luego también funciona. Aunque mi consejo, es que se utilicen las tablas prerouting_lan_rule de iptables, para la intercepción del tráfico en el puerto 53, de esta forma:

Código: [Seleccionar]

iptables -t nat -A prerouting_lan_rule -p udp --dport 53 -j DNAT --to 192.168.0.253
iptables -t nat -A prerouting_lan_rule -p tcp --dport 53 -j DNAT --to 192.168.0.253

La navegación no se resiente. La CPU del router es más o menos potente ( QCA9558@720MHz / 128MB ).

peperfus · « **Respuesta #22 en:** 27-04-2017, 16:44 (Jueves) »

Lo acabo de poner en la academia, donde tengo como firewall un HG556a (CPU 300 Mhz, 64 MB RAM) y de momento va perfecto.

Una cosa:

El fichero, tras el cambio de tabs a espacios (1 por 1), me da muchas lineas con 2 espacios. Algo debe haber mal en los seds que hacen el cambio....
Sería conveniente arreglarlo para reducir más aún el tamaño del hosts y conseguir eliminar más duplicados (que seguramente debe haber).

Edito: debe haber 2 tabs en muchas lineas, por eso quedan 2 espacios. Hay que reducirlo a 1 espacio para conseguir más coincidencias duplicadas y sanearlo más aún.

EDITO:
Lo tengo. Hay que usar este comando:
sed -i "s/[[:space:]]\+/ /g" /root/block.build.list

Con permiso de cimbor, pongo su script modificado que utilizo ahora mismo:

Código: [Seleccionar]

#!/bin/sh

# ACTUALIZACION DEL ARCHIVO HOSTS FILTRO DE BASURA DE INTERNET

rm /etc/hosts

#Descargar las listas de hosts indeseables
wget -qO- http://winhelp2002.mvps.org/hosts.txt|grep "^0.0.0.0" > /root/block.build.list
# Reemplazamos 0.0.0.0 por 127...
sed -i 's/0.0.0.0/127.0.0.1/g' /root/block.build.list

wget -qO- http://www.malwaredomainlist.com/hostslist/hosts.txt|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- http://adaway.org/hosts.txt|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- "http://pgl.yoyo.org/as/serverlist.php?hostformat=hosts&showintro=1&mimetype=plaintext"|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- http://www.hostsfile.org/Downloads/hosts.txt|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- http://someonewhocares.org/hosts/hosts|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- http://sysctl.org/cameleon/hosts|grep "^127.0.0.1" >> /root/block.build.list
wget -qO- http://hosts-file.net/ad_servers.txt|grep "^127.0.0.1" >> /root/block.build.list
# Reemplazamos tabs por espacios (1x1)
sed -i 's/\t/ /g' /root/block.build.list
# Eliminamos espacios intermedios sobrantes, convirtiendolos a 1 solo
sed -i "s/[[:space:]]\+/ /g" /root/block.build.list


#Ordenamos el contenido y eliminamos duplicados
sort /root/block.build.list|uniq -u >/root/block.sorted

#Eliminamos el retorno de carro que introduce windows y nos quedamos con el archivo hosts definitivo
sed -e 's/\r//g' /root/block.sorted > /root/block.hosts
#Borramos los archivos intermedios creados
rm -f /root/block.sorted
rm -f /root/block.build.list
mv /root/block.hosts /etc/hosts
#Reiniciamos el demonio dnsmasq
/etc/init.d/dnsmasq restart

Con este script se consigue reducir el tamaño del susodicho hosts a 2,8 MB
Eso sí, (al menos a mí), el HG556a se toma sus 5 minutos largos para "compilarlo"...

cimbor · « **Respuesta #23 en:** 29-04-2017, 01:14 (Sábado) »

Hay un error en el uso de uniq; con el parametro -u que tiene lo que hace es no mostrar ninguna de las lineas repetidas, cuando lo que queremos es que muestre una; para ello hay que quitar ese parámetro.

Además hay algunas lineas que siguen repetidas porque algunas tienen un comentario al final, también hay que quitarlas usando sed.

Con esos cambios el hosts queda en 2,73MB y tarda un minuto en mi ARV7519RW22 usando el script:

Código: [Seleccionar]

#!/bin/bash

DIR=/tmp
DIRFINAL=/mnt/hdd

# ACTUALIZACION DEL ARCHIVO HOSTS FILTRO DE BASURA DE INTERNET

#Borramos el anterior fichero hosts para hacer espacio
rm -f $DIR/block.hosts

#Descargar las listas de hosts indeseables
wget -qO- http://winhelp2002.mvps.org/hosts.txt|grep "^0.0.0.0" > $DIR/block.build.list
# Reemplazamos 0.0.0.0 por 127...
sed -i -e 's/0.0.0.0/127.0.0.1/g' $DIR/block.build.list

wget -qO- http://www.malwaredomainlist.com/hostslist/hosts.txt|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- http://adaway.org/hosts.txt|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- "http://pgl.yoyo.org/as/serverlist.php?hostformat=hosts&showintro=1&mimetype=plaintext"|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- http://www.hostsfile.org/Downloads/hosts.txt|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- http://someonewhocares.org/hosts/hosts|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- http://sysctl.org/cameleon/hosts|grep "^127.0.0.1" >> $DIR/block.build.list
wget -qO- http://hosts-file.net/ad_servers.txt|grep "^127.0.0.1" >> $DIR/block.build.list

# Cambiamos todas las secuencias de espacios, incluyendo tabuladores, por un solo espacio
sed -i -e 's/[\t[:space:]]\+/ /g' $DIR/block.build.list

# Borramos los comentarios que llevan algunas lineas al final
sed -i -e 's/[[:space:]\*]#.\+//g' $DIR/block.build.list

# Fuera los espacios al final de cada linea para poder compararlas correctamente
sed -i -e 's/[[:space:]]\+$//g' $DIR/block.build.list

# Fuera el retorno de carro que introduce windows
sed -i -e 's/\r//g' $DIR/block.build.list

# Se ordenan las lineas y se deja solo una de aquellas repetidas
sort $DIR/block.build.list|uniq >$DIRFINAL/block.hosts

# Se borra el fichero intermedio
rm -f $DIR/block.build.list

# Reiniciamos el demonio dnsmasq
/etc/init.d/dnsmasq restart

exit 0

Enviado desde mi LG-D802 mediante Tapatalk

Editado para resaltar la parte de código

peperfus · « **Respuesta #24 en:** 29-04-2017, 10:25 (Sábado) »

Perfecto

peperfus · « **Respuesta #25 en:** 15-05-2017, 10:55 (Lunes) »

Estaba preocupado por la caché dns de los hosts clientes; ya que si previamente habían consultado un dominio, la IP se les queda registrada en la caché y no la actualizan hasta vaciarla manualmente (o hasta haber pasado un tiempo determinado, según tengo entendido).

¿Cómo FORZAR la actualización de la caché dns de los hosts clientes (desde "servidor")?

Acabo de descubrir que, simplemente reiniciando el servicio dnsmasq, los hosts clientes se ven obligados a consultar de nuevo la resolución de nombres de dominio, de forma inmediata y automática.

Código: [Seleccionar]

/etc/init.d/dnsmasq restart
Esto viene GENIAL cuando queremos centralizar dicha actualización desde el "servidor".

La prueba, a modo de demostración se puede hacer con un ping a un dominio, ver su ip. Luego modificar esa asociación ip-dominio en el archivo hosts de open, reiniciar dnsmasq y volver a hacer la consulta. Se puede ver que SIN haber vaciado la caché (ipconfig /flushdns en windows), se obtiene la resolución de dominio actualizada desde el hosts recién modificado de open.

Me imagino que esto enviará cierto tipo de señal que hará caducar el "TTL" de la caché dns de los hosts clientes, olbigándolos a actualizar cada nueva petición.

Mola.

EDITO y me contesto a mí mismo (y a quien pueda interesar).
No lo he probado, pero creo que esto sólo sirve para configuraciones de clientes DHCP; ya que lo he estado probando ahora en una máquina con configuración IP estática y la caché DNS del cliente sigue en memoria, pese a reiniciar el dnsmasq; lo cual es lógico.
Para este menester, creo que ya sería preciso configurar un servidor DNS algo más avanzado de dnsmasq (que según he leído y creo, no es un servidor dns propiamente dino, sino un "dns forwarder", usease, un "correveydile"). La idea ahora sería configurar un servidor dns (aunque sólo sea caché, o ligero, de funciones justas), para tan sólo modificar a antojo el TTL de los registros caché y así forzar a los clientes a refrescar sus cachés DNS tras el TTL deseado.

Ok, creo que ya he dado con la clave.
Existen unos parámetros sobre TTL que le podemos configurar al dnsmasq.
Se puede ver en:
http://www.thekelleys.org.uk/dnsmasq/docs/dnsmasq-man.html
El parámetro que me interesa en cuestión es el:

ruben_p · « **Respuesta #26 en:** 16-05-2017, 11:56 (Martes) »

Toda la parte de los hosts, instalando adblock en el router se facilita bastante la tarea y hace lo mismo.

peperfus · « **Respuesta #27 en:** 16-05-2017, 12:49 (Martes) »

Cita de: ruben_p en 16-05-2017, 11:56 (Martes)

Toda la parte de los hosts, instalando adblock en el router se facilita bastante la tarea y hace lo mismo.

Ese paquete no está en los repositorios oficiales... ¿de dónde lo has sacado?

ruben_p · « **Respuesta #28 en:** 16-05-2017, 20:07 (Martes) »

En LEDE si está, la version estable 17.01.1 va muy bien y es del 18 de abril, te recomiendo que la pruebes.

https://forum.openwrt.org/viewtopic.php?id=59803&p=17 aqui ya dice el desarollador que se a pasado a lede

https://forum.lede-project.org/t/adblock-2-x-support-thread/507

Yo uso dnscrypt contra opendns, para ver logs y asi bloquear conexiones excesivas raras que vea. Y luego adblock bloqueando unos 40000 host en varias listas.

peperfus · « **Respuesta #29 en:** 25-06-2017, 22:05 (Domingo) »

Hola, ahora no sé qué me está pasando, que el hosts no me resuelve, como comentaba vk496

Me está pasando tras resetear el router y volver a configurarlo. Pero sé a ciencia cierta que antes el hosts sí que me resolvía ips. ¿Qué se m está pasando por alto?

Ok, creo que ya sé lo que está pasando.

Windows no redirige la petición al servidor DNS si el nombre a consultar no es un FQDN (por ejemplo pepe.com).

Para ello creo que hay que especificarle de alguna manera que use el router como servidor de nombres netbios (wins, si no recuerdo mal). Con el servidor DHCP hay un opción extra que lo indica, creo que es la 44. En configuración manual supongo que se podrá indicar de alguna manera...

Tki2000 · « **Respuesta #30 en:** 26-06-2017, 13:49 (Lunes) »

Cita de: peperfus en 25-06-2017, 22:05 (Domingo)

Hola, ahora no sé qué me está pasando, que el hosts no me resuelve, como comentaba vk496

Me está pasando tras resetear el router y volver a configurarlo. Pero sé a ciencia cierta que antes el hosts sí que me resolvía ips. ¿Qué se m está pasando por alto?

Ok, creo que ya sé lo que está pasando.

Windows no redirige la petición al servidor DNS si el nombre a consultar no es un FQDN (por ejemplo pepe.com).

Para ello creo que hay que especificarle de alguna manera que use el router como servidor de nombres netbios (wins, si no recuerdo mal). Con el servidor DHCP hay un opción extra que lo indica, creo que es la 44. En configuración manual supongo que se podrá indicar de alguna manera...

Intenta añadir el sufijo .lan para encontrar los equipos de la red interna. Es el sufijo por defecto en openwrt.
Si el equipo tiene como nombre netbios equipo1, intenta hacerle ping a equipo1.lan

peperfus · « **Respuesta #31 en:** 27-06-2017, 23:04 (Martes) »

Ok, ya está claro. Sí que debe de ser eso.

Además hay un par de opciones: Local server Y Local domain en las opciones generales de DHCP y DNS. Si luego nos vamos a opciones avanzadas y marcamos expandir hosts, creo que no es necesario añadir el dominio al nombre del host. (Lo estoy mirando ahora, pero no lo he probado, aunque tiene sentido.)

peperfus · « **Respuesta #32 en:** 27-09-2017, 10:36 (Miércoles) »

Hola, gente. Voy a comentar un problemilla que he tenido estos días respecto a la resolución de nombres desde archivo HOSTS que me ha vuelto loco, hasta que he dado con la causa.

En mi router openwrt (el mío principal), tengo en el hosts, que resuelva 192.168.0.253 <--- filtro.com, para acceder más fácilmente sin tener que usar la ip.
Pues bien, últimamente lo que hacía era llevarme a internet, al dominio filtro.com de internet. Es decir, no me lo resolvía a la IP de mi red local.

Al usar el comando

Código: [Seleccionar]

nslookup filtro.com
He descubierto que otros routers que tengo repartidos por casa, también con openwrt y con IPv6 habilitado, me estaban resolviendo la petición, antes que el router que yo quería que lo hiciera. Es decir, se estaban colando. Lo he resuelto desactivando IPv6 en todos ellos y ahora ya me resuelve bien el router que yo quiero en cuestión.

Lo comparto como referencia para mí mismo en un futuro, o por si a alguien también le pasa.

IPv6 lo he desactivado en network, interfaces, edit... y todo lo que he visto con IPv6 lo he cambiado a disabled.

Tki2000 · « **Respuesta #33 en:** 27-09-2017, 16:16 (Miércoles) »

Cita de: peperfus en 27-09-2017, 10:36 (Miércoles)

Hola, gente. Voy a comentar un problemilla que he tenido estos días respecto a la resolución de nombres desde archivo HOSTS que me ha vuelto loco, hasta que he dado con la causa.

En mi router openwrt (el mío principal), tengo en el hosts, que resuelva 192.168.0.253 <--- filtro.com, para acceder más fácilmente sin tener que usar la ip.
Pues bien, últimamente lo que hacía era llevarme a internet, al dominio filtro.com de internet. Es decir, no me lo resolvía a la IP de mi red local.

Al usar el comando
Código: [Seleccionar]
nslookup filtro.com
He descubierto que otros routers que tengo repartidos por casa, también con openwrt y con IPv6 habilitado, me estaban resolviendo la petición, antes que el router que yo quería que lo hiciera. Es decir, se estaban colando. Lo he resuelto desactivando IPv6 en todos ellos y ahora ya me resuelve bien el router que yo quiero en cuestión.

Lo comparto como referencia para mí mismo en un futuro, o por si a alguien también le pasa.

IPv6 lo he desactivado en network, interfaces, edit... y todo lo que he visto con IPv6 lo he cambiado a disabled.

Si lo tienes para resolver nombres dentro de tu red, deberías usar el sufijo .lan, y acceder a él como filtro.lan
Deberías tener un sólo servidor de nombres en la red. Desactiva los otros.
Yo también tengo baneado el IPv6 en muchas redes.

peperfus · « **Respuesta #34 en:** 30-09-2017, 08:35 (Sábado) »

Ok, ya lo tengo más o menos claro, gracias Tki2000.

He separado por una parte el archivo hosts en /etc y me he creado un par de archivos "localhosts" personales en /root con resoluciones propias.
Otra curiosidad a comentar es que en el mismo archivo hosts, se puede incluir, en una sola linea, varios nombres de host para una misma IP, por ejemplo:

Código: [Seleccionar]

192.168.0.253 livebox caracol elefante router
De esta manera, resolverá cualquier petición a dichos nombres con la misma IP, sin necesidad de tenerlos separados uno en cada linea.

Y ya lo he puesto con lo del dominio .lan ese que comentabas y me funciona bien. Pero tengo una duda:
En el apartado Network, DHCP y DNS, General settings, hay dos opciones para rellenar que dicen:
Local server = /lan/
Local domain = lan

La opción de Local domain la entiendo, que es la que añade el sufijo de dominio .lan a los nombres de host para que queden tal que así:
livebox.lan
caracol.lan
elefante.lan
router.lan
....

Pero lo de Local server no termino de ver su utilidad. Según entiendo, es para que no tire a Internet las peticiones terminadas en .lan... pero... ¿eso no lo está haciendo ya por defecto la opción Local domain?

Todo esto de tener organizados los hosts por dhcp estático (IP fija automática) y con su correspondiente nombre.... es una auténtica maravilla. Sobre todo para sitios con muchos ordenadores.

Tki2000 · « **Respuesta #35 en:** 30-09-2017, 16:46 (Sábado) »

Cita de: peperfus en 30-09-2017, 08:35 (Sábado)

Ok, ya lo tengo más o menos claro, gracias Tki2000.

He separado por una parte el archivo hosts en /etc y me he creado un par de archivos "localhosts" personales en /root con resoluciones propias.
Otra curiosidad a comentar es que en el mismo archivo hosts, se puede incluir, en una sola linea, varios nombres de host para una misma IP, por ejemplo:

Código: [Seleccionar]
192.168.0.253 livebox caracol elefante router
De esta manera, resolverá cualquier petición a dichos nombres con la misma IP, sin necesidad de tenerlos separados uno en cada linea.

Y ya lo he puesto con lo del dominio .lan ese que comentabas y me funciona bien. Pero tengo una duda:
En el apartado Network, DHCP y DNS, General settings, hay dos opciones para rellenar que dicen:
Local server = /lan/
Local domain = lan

La opción de Local domain la entiendo, que es la que añade el sufijo de dominio .lan a los nombres de host para que queden tal que así:
livebox.lan
caracol.lan
elefante.lan
router.lan
....

Pero lo de Local server no termino de ver su utilidad. Según entiendo, es para que no tire a Internet las peticiones terminadas en .lan... pero... ¿eso no lo está haciendo ya por defecto la opción Local domain?

Todo esto de tener organizados los hosts por dhcp estático (IP fija automática) y con su correspondiente nombre.... es una auténtica maravilla. Sobre todo para sitios con muchos ordenadores.

Ahí me has pillado. Con las explicaciones que veo por ahí tampoco me queda muy claro.
Si alguien tiene la amabilidad de explicarlo, bienvenido sea.

Edito: Aquí he encontrado información adicional, que parece relevante: http://kacangbawang.com/openwrt-configuration-hacks-part-2/
Según eso, uno es una enumeración de dominios, y lo otro son los sufijos que le corresponden a cada dominio enumerado.

peperfus · « **Respuesta #36 en:** 30-09-2017, 21:42 (Sábado) »

Mola y muy bien explicado.

Entonces, el local domain es el sufijo que añade por defecto a las peticiones de nombres sin sufijo. Por eso puede resolver ping router, porque le añade .lan= ping router.lan, el cual sí existe por la opción server domain.

Edito (añado):

ATENCIÓN, IMPORTANTE:
En la sección "DHCP and DNS", General settings, el Local server, en caso de especificarse alguno, DEBE estar entre /, es decir, por ejemplo: /lan/
El Local domain se pone tal cual. Ejemplo:
Local Server: /pepito/
Local Domain: pepito

peperfus · « **Respuesta #37 en:** 07-12-2017, 19:23 (Jueves) »

Me acabo de dar cuenta de que las reglas de firewall que (deberían) capturan y redirigen el tráfico de resolución DNS no me están funcionando.
Ni las que tenía yo puestas, ni las que recomendó Tki2000:

Código: [Seleccionar]

iptables -t nat -A prerouting_lan_rule -p udp --dport 53 -j DNAT --to 192.168.0.253
iptables -t nat -A prerouting_lan_rule -p tcp --dport 53 -j DNAT --to 192.168.0.253

Tki2000 · « **Respuesta #38 en:** 07-12-2017, 23:22 (Jueves) »

Cita de: peperfus en 07-12-2017, 19:23 (Jueves)

Me acabo de dar cuenta de que las reglas de firewall que (deberían) capturan y redirigen el tráfico de resolución DNS no me están funcionando.
Ni las que tenía yo puestas, ni las que recomendó Tki2000:

Código: [Seleccionar]
iptables -t nat -A prerouting_lan_rule -p udp --dport 53 -j DNAT --to 192.168.0.253 iptables -t nat -A prerouting_lan_rule -p tcp --dport 53 -j DNAT --to 192.168.0.253

Si tienes el nombre resuelto, antes de activar las reglas, puede que lo esté cogiendo de la caché de dns. Haz un flush de la caché.
Prueba a reiniciar el firewall después de activar las reglas.

peperfus · « **Respuesta #39 en:** 08-12-2017, 18:26 (Viernes) »

Sísí, lo he hecho, tanto en el PC cliente como en el firewall. Y para asegurarme he reiniciado los 2.
Incluso he activado la opción: "Log queries: Write received DNS requests to syslog ". Pero luego en el shell, al hacer el comando logread, no me aparece la petición, así que creo que el firewall se la pasa por el forro.

Lo acabo de probar en casa y sí que me va. Es en la academia donde me falla.

En la academia tengo antes de esas reglas otra regla.... no sé si influirá el orden. Probaré a invertirlo.

Noticias:

Autor Tema: [Mini guía] Cómo filtrar dominios basura por DNS +OpenDNS y archivo hosts (Leído 20579 veces)

peperfus

peperfus

cimbor

peperfus

peperfus

ruben_p

peperfus

ruben_p

peperfus

peperfus

peperfus

peperfus

peperfus

peperfus

peperfus