Strict Standards: date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'America/New_York' for 'EDT/-4.0/DST' instead in /homepages/20/d268022878/htdocs/forum/viewtopic.php on line 988

Strict Standards: getdate(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'America/New_York' for 'EDT/-4.0/DST' instead in /homepages/20/d268022878/htdocs/forum/viewtopic.php on line 988
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4284: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4286: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4287: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4288: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
FAROO Forum • View topic - Traffic

Traffic

Questions, Problems and solutions

Traffic

Postby auser » Sun Jun 14, 2009 2:24 pm

Hallo Wolf,

mein Peer hat am Tag ohne Crawler 400-800MB Traffic was mir eigentlich zuviel ist. Hat FAROO vielleicht Overhead was man noch verbessern kann oder sind das wirklich nur Daten ?

Wenn das Normal ist würde ich gerne die Möglichkeit haben das einzuschränken.

Viele Grüße,
aUser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Traffic

Postby Wolf » Tue Jun 16, 2009 10:48 am

Hallo auser,

auser wrote:mein Peer hat am Tag ohne Crawler 400-800MB Traffic was mir eigentlich zuviel ist.

Wieviel Stunden ist den der Peer an? Bei 24 Stunden wären das 74 Kbit/s, dass dürfte bei einem Anschluß > 1 MBit/s eigentlich nicht so sehr stören?
Ist das nur ausgehender Traffic oder in + out ?

auser wrote:Hat FAROO vielleicht Overhead was man noch verbessern kann oder sind das wirklich nur Daten ?

Indexdaten, Suchdaten, Peerdaten und XML-Overhead, der aber nicht so stark ins Gewicht fällt, weil komprimiert.

auser wrote:Wenn das Normal ist würde ich gerne die Möglichkeit haben das einzuschränken.

Ja, nach einer bestimmten Datenmenge pro Tag könnte sich FAROO deaktivieren. Dann geht aber auch keine Suche mehr,
weil dazu die Peertabellen kontinuierlich aktuell gehalten werden müssen.

Viele Grüße,
Wolf
Wolf
Site Admin
 
Posts: 130
Joined: Wed Dec 17, 2008 12:28 pm

Re: Traffic

Postby auser » Tue Jun 16, 2009 11:32 am

Hallo Wolf
Wolf wrote:
auser wrote:mein Peer hat am Tag ohne Crawler 400-800MB Traffic was mir eigentlich zuviel ist.

Wieviel Stunden ist den der Peer an? Bei 24 Stunden wären das 74 Kbit/s, dass dürfte bei einem Anschluß > 1 MBit/s eigentlich nicht so sehr stören?
Ist das nur ausgehender Traffic oder in + out ?

Also der Peer macht nur die "Kontinuierliche Suche" die ich dann (Remote) abfrage, der Crawler ist nicht aktiv. In einer Stunde sind das ~30-50MB (in) und ~14MB (out). Der Traffic (in) erreicht manchmal ~800Kb/s. Das ist zuviel, finde auch das die Anzahl der gleichzeitigen Verbindungen weniger werden müssten.

Wolf wrote:
auser wrote:Wenn das Normal ist würde ich gerne die Möglichkeit haben das einzuschränken.

Ja, nach einer bestimmten Datenmenge pro Tag könnte sich FAROO deaktivieren. Dann geht aber auch keine Suche mehr, weil dazu die Peertabellen kontinuierlich aktuell gehalten werden müssen.

Man könnte ja so umbauen das die Peers sich mitteilen ob sie Daten entgegen nehmen oder nicht. Kann aber auch dazu führen das keiner mehr was entgegen nimmt. Vielleicht wieder den Wort-Cache größer machen, dadurch wird das bestimmt effektiver.

Da die Anzahl der Verbindungen schlecht kontrolliert werden kann, ist ja von der Netzgröße abhängig und damit eher Zufall, könnte man vielleicht beim senden eine maximale Geschwindigkeit festlegen von n KBs. Bei 20 (Threads) * 10 KBs sind das dann 200 KBs und keine 800 KBs.

Viele Grüße,
aUser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Traffic

Postby Wolf » Fri Jun 19, 2009 3:26 pm

Hallo auser,

auser wrote:
Wolf wrote:
auser wrote:mein Peer hat am Tag ohne Crawler 400-800MB Traffic was mir eigentlich zuviel ist.

Wieviel Stunden ist den der Peer an? Bei 24 Stunden wären das 74 Kbit/s, dass dürfte bei einem Anschluß > 1 MBit/s eigentlich nicht so sehr stören?
Ist das nur ausgehender Traffic oder in + out ?

Also der Peer macht nur die "Kontinuierliche Suche" die ich dann (Remote) abfrage, der Crawler ist nicht aktiv. In einer Stunde sind das ~30-50MB (in) und ~14MB (out). Der Traffic (in) erreicht manchmal ~800Kb/s. Das ist zuviel, finde auch das die Anzahl der gleichzeitigen Verbindungen weniger werden müssten.


Danke für die Traffic-Daten. Welches Tool nutzt du für die Messung (zur Vergleichbarkeit)?

Traffic und Verbindungszahl werden wir noch optimieren, auch mit Einstellmöglichkeit in den Optionen.

Viele Grüße,
Wolf
Wolf
Site Admin
 
Posts: 130
Joined: Wed Dec 17, 2008 12:28 pm

Re: Traffic

Postby auser » Fri Jun 19, 2009 7:38 pm

Hallo Wolf

Wolf wrote:Danke für die Traffic-Daten. Welches Tool nutzt du für die Messung (zur Vergleichbarkeit)?

NetLimiter 2 Pro

Wolf wrote:Traffic und Verbindungszahl werden wir noch optimieren, auch mit Einstellmöglichkeit in den Optionen

Ich kann es kaum erwarten ;)

Viele Grüße,
aUser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Traffic, zuviele Pings!?

Postby auser » Mon Feb 08, 2010 11:26 am

Hallo Wolf,

habe ein neuen Peer installiert und habe dabei festgestellt das sich FAROO zu "tode pingt" !

Der Peer ist ein 1.2GHz Celeron, kein Crawler aktiv, kein passives crawlen, keine Suche, nur DHT-in. Dafür sollte so ein Rechner reichen.

Nach 12 Stunden lief der Peer nur noch auf 100%. Auffällig ist, das obwohl nur DHT-in aktiv ist, fast 4x mehr Daten gesendet werden (pings!?).

Hier die Traffic-Daten
Code: Select all
Stunde    Empfangen      Gesendet
     1    2.002.243     3.884.829 
     2    5.658.927    19.638.116 
     3    9.082.849    35.813.830 
     4   11.059.144    42.074.793 
     5   11.253.317    40.131.163 
     6   12.934.300    54.246.204 
     7   16.736.823    66.299.149 
     8   19.894.680    76.434.954 
     9   19.365.682    73.328.549 
    10   23.240.987    90.185.770 
    11   23.981.167    95.570.656
    12   26.273.810   108.918.673
Total  181.483.929   706.526.686


Das sind am Tag dann fast 2GB Daten für fast "nichts". Vielleicht verursacht auch die überfüllte DHT-in-Queue den Traffic. Nach den 12 Stunden lag die Anzahl der Threads weit über 20 bis FAROO dann den Rechner irgendwann abstürzen ließ. Ohne FAROO läuft dieser Monate durch.

Grüße
auser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Traffic

Postby auser » Tue Feb 16, 2010 11:40 pm

Mein Peer (3518) lief jetzt 2 Tage durch (nur DHT-in). Gut ist das es solange durchlief, weniger schön ist der Traffic :shock:

Code: Select all
           in     out
1 Tag,  925MB, 3470MB
2 Tag, 1226MB, 4745MB

Was macht FAROO da?
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm


Return to Support

Who is online

Users browsing this forum: No registered users and 1 guest

cron