Como controlar el ancho de banda usando HTB-GEN

Imagen de damage

HOla distinguidos usuarios, amigos y conocidos del foro, a pedido de muchos, voy a comentarles mi experiencia en cuanto al uso del htb-gen versión 0.8.4, no usaremos la 0.9 porque aún esta en face beta. Bueno pues, el htb-gen es como su nombre lo indica un generador de script del famoso y glorioso HTB, pero bueno vamos al asunto en mención, los pasos son los siguientes:

1.- Descargar el htb-gen de la pagina oficial http://www.praga.org.ar/wacko/DevPraga/htbgen/, aqui escojemos dependiendo de nuestra distro de linux, el paquete mas apropiado, yo como uso Centos 4.4 i386, descargue htb-gen-0.8.4-1.noarch.rpm, también lo he usado en x86_64 ya que es un rpm "noarch".

2. Luego de la descarga respectiva, lo instalamos, ya sea con doble click o desde la consola como sea mejor para cada quien:


rpm -iUvh htb-gen-0.8.4-1.noarch.rpm

3. Ahora ya esta instalado el htb-gen, desde la consola editamos el .conf, no dirijimos hacia:


# vi /etc/htb-gen/htb-gen.conf
Aquí declaramos, las interfaces de red tanto la que esta conectada al internet como la que esta del lado LAN:
iface_down="eth1" # Server LAN iface
iface_up="eth0" # Server INET iface

3.1 Luego declaramos el ancho de banda que tenemos asignado por ejemplo si nuestra red tiene un ancho de banda de 512 Kbits tanto de bajada como de subida lo declaramos asi:

total_rate_down=512
total_rate_up=512

O si tenemos 512k down y 256 up:

total_rate_down=512
total_rate_up=256

3.2 El siguiente paso es declarar los puertos a segmentar, por default viene unos 10 puertos, pero si nuestro server hace de proxy/firewall, es basta con declarar el 80 y el 8080:

prio_ports=80,8080,25,110,443,1863

El resto de variables que estan en el archivo no lo tocamos para nada (mucho cuidado), no hace falta.

4. Ahora vamos a declarar el ancho de banda que tendra cada ip, subred o red, para esto editamos esto:

# vi /etc/htb-gen/htb-gen-rates.conf

Aquí podemos jugar con los valores el archivo muestra 5 columnas donde la primera es la ip, o subred, la segunda el "rate" de bajada, la tercera el "ceil" de bajada y la cuarta y quinta son el "rate" y el "ceil" de subida, todo esto esta debidamente documentado en el mismo archivo (pero en ingles), ejemplo de comfiguración:


192.168.100.2 0 128 0 64
192.168.100.3 64 128 0 64
192.168.100.4 0 64 0 32

Esto que significa por ejemplo la ip 192.168.100.2, tendra un ancho de banda compartido ( ya que esta en 0 el rate), podiendo llegar a un maximo de 128k siempre y cuando exista ancho de banda disponible.
la ip 192.168.100.3, tendra 64k de ancho de banda asegurado ya que esta en el rate y un maximo de 128k.
Dentro del mismo archivo tenemos más ejemplos didacticos. Guardamos los cambios y listo.

5. OJO esto solo en el caso de que no controle bien el ancho de banda le meten mano de lo contrario lo dejan tal como viene.
Luego de hacer todo esto debemos hacerle unos retoques al script principal el cual esta en:

# vi /usr/bin/htb-gen

y vamos hasta donde dice:

# Make extra tables, cleaner & target match faster
iptables -t mangle -N htb-gen.down
iptables -t mangle -A FORWARD -o ${iface_down} -j htb-gen.down
y Añadimos esta linea:
iptables -t mangle -A OUTPUT -o ${iface_down} -j htb-gen.down
Luego bajamos dos lineas y añadimos:
iptables -t mangle -A POSTROUTING -o ${iface_up} -j htb-gen.up

esta parte del script quedará asi:
iptables -t mangle -N htb-gen.down
iptables -t mangle -A FORWARD -o ${iface_down} -j htb-gen.down
iptables -t mangle -A OUTPUT -o ${iface_down} -j htb-gen.down
iptables -t mangle -N htb-gen.up
iptables -t mangle -A POSTROUTING -o ${iface_up} -j htb-gen.up
iptables -t mangle -A FORWARD -o ${iface_up} -j htb-gen.up

Bajamos un poco más y encontraremos esto:
#delete old htb-gen entries(chains)
iptables -t mangle -D FORWARD -o ${iface_down} -j htb-gen.down 2>/dev/null
iptables -t mangle -D FORWARD -o ${iface_up} -j htb-gen.up 2>/dev/null
Y lo remplazamos adicionando lineas correspondientes a las anterirmente declaradas, en fin debe quedar asi:

#delete old htb-gen entries(chains)
iptables -t mangle -D FORWARD -o ${iface_down} -j htb-gen.down 2>/dev/null
iptables -t mangle -D OUTPUT -o ${iface_down} -j htb-gen.down 2>/dev/null
iptables -t mangle -D POSTROUTING -o ${iface_up} -j htb-gen.up 2>/dev/null
iptables -t mangle -D FORWARD -o ${iface_up} -j htb-gen.up 2>/dev/null

6. Una vez guardados los cambios, desde consoloa tecleamos:

# htb-gen tc_all

Con esto htb-gen generara automaticamente, los script's correspondientes con las clases y la parte de iptables.

7. Verificamos que todo se halla generado con:

# iptables -nL -t mangle

8. Listo todo en orden a relajarce con unas chelas ya que tendran un problema menos que cargar, Salud.

NOTA: Deben tener instaldo iproute para que esto funcione de lo contrario, no generara mensajes de error, recuerden que el comando TC es parte de iproute y este comando es parte fundamental tanto en el uso de htb como de cbq.

Debido a la gran cantidad de preguntas respecto a el mensaje de "check rates conf, not enough download bandwidth", eso se da porque estan declarando más RATE del que tienen asignado en el "Total RATE" del htb-gen.conf. Pilas lean las palabritas que tiene cada archivito para que se enteren que no hacer.

Así mismo he visto que preguntan de manera insistente que se les indique porque no les funciona el htb-gen, muchos usuarios solo lo instalan y listo, pero aveces hay que ver que más pasa, yo nunca tuve inconvenientes con el htb-gen realizaba lo posteado y listo, pero con la versión 0.9b, el error se da que este no asigna la chain de mangle a la eth1 si no a la eth0, he ahi el error ya que personalmente la eth0 la declaro como interfaz externa.
Recomiendo tecleen iptables -nL -t mangle y se fijen en que eth se general el reporte, la solución la estoy analizando, la misma la posteare a futuro, por el momento si necesitan usar el htb-gen 0.9 usen la version 0.9-1 con la cual no se me ha presentado el inconveniente.

ACTUALIZACIÓN 11/07/2009
Viendo varios post similares sobre el problema de la segmentación de subida, lastimosamente muchos solo pensaron de que era cosa de instalar dar dos clic's, poner las ip's y listo, pero no este problema de subida se soluciona, y repito como dije hace meses atras (por eso nunca di respuesta antes ya que no lo creía necesario debido a "que lo habia dicho antes") se debe jugar con las reglas de iptables, en la versión del htb gen 0.9.1 que es la cual muchos usan,se debe adicionar una linea en la cual marque el FORWARD con la opción -i, con eso es suficiente para solucionar el dilema de la subida, espero que prueben y apliquen lo recomendado. No me pregunten el porque, se los dejo de tarea.
En cuanto a la versión 0.8.x no hay que hacerlos tal como se explica es suficiente, si tienes algun problema con el squid o alguna relacionado, me he topado con muchas personas que tienen script de iptables que hacen flush de reglas en la cadena mangle lo cual interfiere con las reglas de mangle del htb-gen, deben ver todas las opciones antes de decir NO FUNCIONA.

Actualización al 14 de Septiembre del 2010:

Se me presento en una institución que no es ISP que se necesitaba colo controlar el ancho de banda hacia Internet, pero resulta que como el htb-gen segmenta todo el tráfico en la tabla del FORWARD, pues eso tría complicaciones cuando el mismo gateway de Internet es también el router de varias subredes de una LAN, por ejemplo un servidor de aplicaciones esta dentro del segmento 192.168.0.1/24 y tengo hosts en el segmento 192.168.2.0/29, ambas redes son ruteadas por el Linux en este caso el Htb-gen me segmentara el trafico local entre ambas subredes, lo cual nos pondra en problemas, para solucionar esto se debe hacer los siguiente (gracias a Razametal por dar una luz ;) ):
iptables -t mangle -I FORWARD -p ALL -d 192.168.0.1/24 -s 192.168.2.0/29 -j RETURN
iptables -t mangle -I FORWARD -p ALL -s 192.168.0.1/24 -d 192.168.2.0/29 -j RETURN

Listo con esto adicionado al final del script principal de htb-gen (/usr/local/bin/htb-gen) tenemos todo resuelto.
Recuerden una vez ejecutado el script con las lineas de Return adicionadas, remplacen el -I con -A, ojo.

Saludos amigos.

Comentarios

En el como esta!

Imagen de damage

Amigo miguel8816, lo que preguntas esta en el mismo como al final:

Actualización al 14 de Septiembre del 2010:

Se me presento en una institución que no es ISP que se necesitaba colo controlar el ancho de banda hacia Internet, pero resulta que como el htb-gen segmenta todo el tráfico en la tabla del FORWARD, pues eso tría complicaciones cuando el mismo gateway de Internet es también el router de varias subredes de una LAN, por ejemplo un servidor de aplicaciones esta dentro del segmento 192.168.0.1/24 y tengo hosts en el segmento 192.168.2.0/29, ambas redes son ruteadas por el Linux en este caso el Htb-gen me segmentara el trafico local entre ambas subredes, lo cual nos pondra en problemas, para solucionar esto se debe hacer los siguiente (gracias a Razametal por dar una luz Eye-wink ):
iptables -t mangle -I FORWARD -p ALL -d 192.168.0.1/24 -s 192.168.2.0/29 -j RETURN
iptables -t mangle -I FORWARD -p ALL -s 192.168.0.1/24 -d 192.168.2.0/29 -j RETURN

Listo con esto adicionado al final del script principal de htb-gen (/usr/local/bin/htb-gen) tenemos todo resuelto.
Recuerden una vez ejecutado el script con las lineas de Return adicionadas, remplacen el -I con -A, ojo.

Me podrían ayudar como evito

Me podrían ayudar como evito que se segmente al ancho de banda de las paginas de YouTube osea que se segmente todo menos el YouTube lo que pasa es que en una pequeña empresa usan el YouTube bastante pero las personas que trabajan allí ponen descargan y los videos se vuelven lentos lo que se requiere es que las descargas se segmente y los videos no como puedo hacer eso???? ayuda por favor
el servidor que tienen es un centos 5.4 y le segmente al ancho de banda como dice el tutorial pero limita todo el ancho de banda en todos los puertos como evito que YouTube no se limite??

"El que se enorgullece de sus conocimientos es como si estuviera ciego en plena luz."

Que no limite streaming de

Imagen de damage

Que no limite streaming de vídeos dificil mi pana o imposible, lo que puedes hacer es configurar en tu server thundercache o videocache el cual te almacena los vídeos, sin embargo el primer vídeo descargado siempre irá a velocidad normal de descarga, la siguiente petición en adelante será ya descargada desde tu server.

No restringa el puerto 81 el HTB

Hola a todos
Pueden ayudarme?, el htb funciona bien, pero tengo una aplicación que da servicio de descargas de videos en mi red local a traves del puerto 81, como puedo puedo hacer para que el HTB no restringa el ancho de banda de todo el trafico que sale por el puerto 81

si miras bien en la ultima

Imagen de falcom

si miras bien en la ultima parte encontraras la respuesta
[quote]Actualización al 14 de Septiembre del 2010:

Se me presento en una institución que no es ISP que se necesitaba colo controlar el ancho de banda hacia Internet, pero resulta que como el htb-gen segmenta todo el tráfico en la tabla del FORWARD, pues eso tría complicaciones cuando el mismo gateway de Internet es también el router de varias subredes de una LAN, por ejemplo un servidor de aplicaciones esta dentro del segmento 192.168.0.1/24 y tengo hosts en el segmento 192.168.2.0/29, ambas redes son ruteadas por el Linux en este caso el Htb-gen me segmentara el trafico local entre ambas subredes, lo cual nos pondra en problemas, para solucionar esto se debe hacer los siguiente (gracias a Razametal por dar una luz ):
iptables -t mangle -I FORWARD -p ALL -d 192.168.0.1/24 -s 192.168.2.0/29 -j RETURN
iptables -t mangle -I FORWARD -p ALL -s 192.168.0.1/24 -d 192.168.2.0/29 -j RETURN

Listo con esto adicionado al final del script principal de htb-gen (/usr/local/bin/htb-gen) tenemos todo resuelto.
Recuerden una vez ejecutado el script con las lineas de Return adicionadas, remplacen el -I con -A, ojo.

Saludos amigos.[/quote]

No me funciona

Gracias por responder
Mi problema es que tengo en un solo servidor centos instalado el htb-gen, shorewal, squid y el videocache, este videocache guarda todos los videos de youtube en cache, pero al momento de que los usuarios ven los videos, el htb-gen los segmenta, y esa no es la idea. Porque se los ve muy lento.
Este servidor tiene una tarjeta conectada a la red con IP pública y la otra a mi red LAN
Si detengo el htb-gen, ahí si se ven los videos guardados en cache bien rápido, pero claro ya no segmenta nada.
He cambiado el videocahe al puerto 81, pero igual el htb-lo segmenta, como puedo utilizar la solucion anterior en mi caso, o como puedo hacer que el htb-gen no segmente el puerto 81.
De antemano te agradezco por tu ayuda.

compadre solo lee el

Imagen de falcom

compadre solo lee el post
[quote]3.2 El siguiente paso es declarar los puertos a segmentar, por default viene unos 10 puertos, pero si nuestro server hace de proxy/firewall, es basta con declarar el 80 y el 8080:
prio_ports=80,8080,25,110,443,1863[/quote]

Ya lo leído de principio a fin y viceversa

Gracias por tu respuesta, pero esa opción: prio_ports= , es nada mas para dar prioridad a los puertos, pero ya lo he hecho y claro que le da prioridad pero igual segmenta a los videos, pero si tenemos un servidor de Videocache, se requiere que no segmente los videos, es decir cuando un usuario mira un video de youtube y que esta ya guardado en mi cache de videos, el pueda verlo rápidamente, la restricción solo sería la del canal o del ancho de banda de la LAN.
Si tienes alguna sugerencia te agradecería bastante.

Recomendacion

Yo tenia mas o menos la misma inquietud y no hay demasiada informacion, yo necesitaba segmentar solamente el trafico que venia realmente de internet, y que lo cacheado descargue a velocidad de red, lo solucione usando intermedio entre la LAN y el servidor con htb un cache squid transparente compilado con soporte tproxy, trabaja en modo pseudobridge con dos interfaces de red y solucione mi problema, por ahi podes encontrar una alternativa a lo tuyo.

Saludos

Ya el tip se dio en el COMO

Imagen de damage

Ya el tip se dio en el COMO de HTB-GEN, deben revisar y mira no el .conf si no el script (espero entiendan) en el script esta la estructura del mismo y están las reglas de iptables y la forma como genera el parent y las colas.
Si tiene algún problema de control a algun servicio en la LAN lo que se debe hacer es un RETURN al puerto(s) especifico(s) y listo por ejemplo para que no me controle lo que el cache tiene almacenado y hay peticiones desde hosts pueden hacer algo así:

iptables -t mangle -I OUTPUT -o eth1 -p tcp --sport 3128 -j RETURN
iptables -t mangle -I OUTPUT -o eth1 -p tcp --dport 3128 -j RETURN

Si quieren hilar mas fino y dar prioridad o hacer QoS, ahi si miren mucho más el script y vean como hacer un mark al puerto especifico.

Páginas