HaarpCache - GPLv2!

Forums: 

Hola amigos, acabo de soltar las fuentes del HaarpCache (fork de thundercache).

Se puede decir que está en fase beta.

El que guste probarlo, por favor cualquier problema reportarlo, y si les gusto, espero su colaboración o contribución :).

Saludos.

Hola gracias por responder,

Imagen de nino1511

Hola gracias por responder, algo raro he revisado, mira:
1. Cuando cargo los videos desde firefox o IE funciona el cache espectacular, esto es que se reproducen los videos desde la red en todos los browser.
2. Pero cuando el video es cargado por primera vez en el Chrome no se guarda o no es cacheado, entonces lo vuelvo a cargar con el chrome y nada de nada, no funca de esa manera. Pero el chrome si reproduce desde el cache cuando el video se lo cargo con el IE o Mozilla Firefox (punto 1).

tail -f /var/log/haarp/access.log (cuando cargo un video por primera vez con el chrome)

1362536972.000 (2372) 192.100.1.1 MISS/200 1782074 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362536991.000 (2373) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362536991.000 (2374) 192.100.1.1 MISS/200 94645 GET http://i4.ytimg.com/sb/Wc5vPDaOmhI/storyboard3_L1/M0.jpg? - NONE/- -
1362536993.000 (2374) 192.100.1.1 MISS/200 74634 GET http://i4.ytimg.com/sb/Wc5vPDaOmhI/storyboard3_L2/M0.jpg? - NONE/- -
1362536994.000 (2374) 192.100.1.1 MISS/200 14694 GET http://i4.ytimg.com/sb/Wc5vPDaOmhI/storyboard3_L1/M1.jpg? - NONE/- -
1362537005.000 (2372) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537021.000 (2373) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537033.000 (2372) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537052.000 (2373) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537059.000 (2373) 192.100.1.1 MISS/200 105388 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537062.000 (2372) 192.100.1.1 MISS/200 1782087 GET http://r1---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -
1362537062.000 (2375) 192.100.1.1 MISS/200 64356 GET http://i4.ytimg.com/sb/Wc5vPDaOmhI/storyboard3_L2/M1.jpg? - NONE/- -

Saludos

Vamos Ecuador, si se puede

Hola, sería interesante si

Hola, gracias por el reporte, sería interesante si mostraras el log con mayor información:
Para ello tienes que entrar al haarp.conf y modificar el parámetro LOGFILE 0 a LOGFILE 1
reiniciar el haarp y el squid.

Entonces tendrás una salida en los logs como esta:

1362542958.000 (16717) ******************** NEW CONNECTION ********************
1362542958.000 (16717) Url r2---sn-uxaxhxm2xg0-aphl.c.youtube.com/videoplayback?algorithm=throttle-factor&burst=40&cp=U0hVR1VRVV9FT0NONV9NS1lBOnVnRi03WmtyLW9a&cpn=cZ_f4ENhwLe3e5R5&expire=1362567005&factor=1.25&fexp=923119%2C929202%2C920704%2C912806%2C902000%2C922403%2C922405%2C929901%2C913605%2C925006%2C906938%2C931202%2C931203%2C908529%2C920201%2C930101%2C930603%2C906834%2C926403%2C913570%2C901451&id=b306f98fef4b0131&ip=190.117.129.136&ipbits=8&itag=35&keepalive=yes&key=yt1&ms=au&mt=1362542476&mv=m&newshard=yes&range=63897600-66355199&ratebypass=yes&signature=267C37DCBF9CD1C10B38A83127F94F2E43505563.039548FE3B73BE962B8A58BCBC91D98E4E288E47&source=youtube&sparams=algorithm%2Cburst%2Ccp%2Cfactor%2Cid%2Cip%2Cipbits%2Citag%2Csource%2Cupn%2Cexpire&sver=3&upn=tyVRRt0Z-R8
1362542958.000 (16717) Loading plugin /etc/haarp/plugins/youtube.com.so
1362542958.000 (16717) Resposta Match 1 Domain youtube File b306f98fef4b0131-35.flv
1362542958.000 (16717) Cache limit (98/18) /haarp/
1362542958.000 (16717) File: /haarp/youtube/4/6_59/b306f98fef4b0131-35.flv
1362542958.000 (16717) In DB: ranges ('13-2457599,4915200-7372799,9830400-63897599') and position ('0,2457587,4915187')
1362542962.000 (16717) 192.0.1.1 MISS/200 2457927 GET http://r2---sn-uxaxhxm2xg0-aphl.c.youtube.com/videoplayback? - NONE/- -

Aqui ya puedes ver en que archivo se esta guardando (aqui es: /haarp/youtube/4/6_59/b306f98fef4b0131-35.flv), hacerle un ls -la y ver el tamaño del archivo mientras este supuestamente (en tu caso) está guardándose.

Tener en cuenta que el mensaje MISS, es cuando se descarga por primera vez y se pretende almacenar.

*Si es posible muéstrame lo que arroja cuando ves por primera vez el video y luego cuando lo ves por segunda vez (para no expandir el post, llevalo al pastebin.com).
*Esto también te ocurre con las figuras de youtube? (los que contienen el "M1.jpg?" o "M2.jpg?")

Salu2.

Error al compilar en Centos

Estimados,

Al ejecutar ./configure e iniciar la compilacion me aparece este error:

checking for main in -lmysqlclient... no
configure: error: "lmysqlclient was not found! Please install lmysqlclient or correspondent for your system"

Estoy tratando de instalar en la distibucion de Centos 6.4, si me pueden ayudar con una respuesta.

Hola, después de unas

Imagen de nino1511

Hola, después de unas vacaciones en la sierra, por aquí de nuevo

Pasa algo raro, realizando mas pruebas hay videos que si los almacena y otras no, este es uno que si lo chacheo

Cambie el logfile a 1

Esto es lo que sale con el tail -f /var/log/haarp/access.log cuando cargo un video del chrome

1363127771.000 (2606) Loading plugin /etc/haarp/plugins/youtube.com.so
1363127771.000 (2606) Resposta Match 1 Domain youtube File 081a02ad1d694f4b.flv
1363127771.000 (2606) Cache limit (98/12) /haarp/
1363127771.000 (2606) File: /haarp/youtube/5/0_96/081a02ad1d694f4b.flv
1363127771.000 (2606) The file is not on disk
1363127771.000 (2606) MISS: Domain: youtube File: 081a02ad1d694f4b.flv

y luego vuelvo a verlo

1363128163.000 (2615) Loading plugin /etc/haarp/plugins/youtube.com.so
1363128163.000 (2615) Resposta Match 1 Domain youtube File 081a02ad1d694f4b.flv
1363128163.000 (2615) Cache limit (98/12) /haarp/
1363128163.000 (2615) File: /haarp/youtube/5/0_96/081a02ad1d694f4b.flv
1363128163.000 (2615) In DB: ranges ('13-1781759,1781760-3563519,3563520-5345279,5345280-7127039,8908800-10690559,7127040-8908799,10690560-12472319,14254080-16035839,17817600-19599359,21381120-24944639,26726400-27751349') and position ('0,15279017,1781747,17060777,18842537,3563507,5345267,7127027,8908787,10690547,14254067')
1363128163.000 (2615) HIT: Domain: youtube File: 081a02ad1d694f4b.flv
1363128164.000 (2615) 192.100.1.1 HIT/200 1781879 GET http://r3---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -

Keikurono seguiré revisando por que allí me esta funcionando todo, pero aún me quedan dudas sobre esta falla, ya que lo único que realice fue cambiar el valor de 0 a 1 en loglevel y un restart a haarp y squid pero antes el server fue reiniciado y pasaba lo mismo.

Saludos

Vamos Ecuador, si se puede

keikurono,

Imagen de nino1511

keikurono,

Mira esta pasando esto también, el video lo veo en chrome y se descarga al server, luego lo vuelvo a ver y lo descarga del server, pero noto que el archivo cuando se descargó ocupaba 2 megas y cuando lo volví a ver ocupa 4 megas a que se debe esto?.

Te paso los log

cargo el video por primera vez

1363129331.000 (2669) Loading plugin /etc/haarp/plugins/youtube.com.so
1363129331.000 (2669) Resposta Match 1 Domain youtube File 662cd892ab0003b4.flv
1363129331.000 (2669) Cache limit (98/12) /haarp/
1363129331.000 (2669) File: /haarp/youtube/2/2_02/662cd892ab0003b4.flv
1363129331.000 (2669) The file is not on disk
1363129331.000 (2669) MISS: Domain: youtube File: 662cd892ab0003b4.flv

Ocupa: ls -lh
total 4,6M

Lo vuelvo a cargar

1363129473.000 (2675) Loading plugin /etc/haarp/plugins/youtube.com.so
1363129473.000 (2675) Resposta Match 1 Domain youtube File 662cd892ab0003b4.flv
1363129473.000 (2675) Cache limit (98/12) /haarp/
1363129473.000 (2675) File: /haarp/youtube/2/2_02/662cd892ab0003b4.flv
1363129473.000 (2675) In DB: ranges ('13-1781759,3563520-5345279,7127040-8302710') and position ('0,1781747,3563507')

Ocupa ahora: ls -lh
total 8,0M

Lo vuelvo a cargar

363129553.000 (2678) Loading plugin /etc/haarp/plugins/youtube.com.so
1363129553.000 (2678) Resposta Match 1 Domain youtube File 662cd892ab0003b4.flv
1363129553.000 (2678) Cache limit (98/12) /haarp/
1363129553.000 (2678) File: /haarp/youtube/2/2_02/662cd892ab0003b4.flv
1363129553.000 (2678) In DB: ranges ('13-1781759,1781760-3563519,5345280-7127039,3563520-5345279,7127040-8302710') and position ('0,4739178,6520938,1781747,3563507')
1363129553.000 (2678) HIT: Domain: youtube File: 662cd892ab0003b4.flv
1363129553.000 (2678) 192.100.1.1 HIT/200 1781879 GET http://r4---sn-uxajvoxu-btxe.c.youtube.com/videoplayback? - NONE/- -

Y esta vez ocupa el último valor osea se mantiene con un acumulado de las 2 primeras ocaciones, es lo que puedo notar

Saludos

Vamos Ecuador, si se puede

Lo que sucede es que el haarp

Hola interesante observación.

Lo que sucede es que el Haarp guarda todas las partes del video (tener en cuenta que los servidores de youtube envian los videos por partes) en uno sólo, para no estar redundando espacios y creando mas de un fichero para representar el mismo archivo.

Quizas esto te aclare un poco: https://github.com/keikurono/haarpcache/issues/1

El echo que veas que el archivo crece es por que hubieron partes que anteriormente no se hicieron cache, y en una segunda vista, las partes que se guardaron se enviaran con hit, y las que no, se guardan en cache (en el único archivo) , y es ahí donde ves que el archivo incrementa de tamaño, pues esta guardando partes faltantes.

Esto puede suceder, pero despues de una segunda pasada ya queda guardado todo en un sólo, si lees lo del github podrás entenderlo mejor.

Hola, creo que ya descubrí

Hola, creo que ya descubrí cual era el error, mas info aqui: https://github.com/keikurono/haarpcache/issues/2

Para actualizar el plugin de youtube, recompilar el código: https://raw.github.com/keikurono/haarpcache/master/haarp/plugins/youtube.com.cpp

Salu2 :)

Páginas