Strict Standards: date(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'America/New_York' for 'EDT/-4.0/DST' instead in /homepages/20/d268022878/htdocs/forum/viewtopic.php on line 988

Strict Standards: getdate(): It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'America/New_York' for 'EDT/-4.0/DST' instead in /homepages/20/d268022878/htdocs/forum/viewtopic.php on line 988
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4284: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4286: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4287: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
[phpBB Debug] PHP Notice: in file /includes/functions.php on line 4288: Cannot modify header information - headers already sent by (output started at /viewtopic.php:988)
FAROO Forum • View topic - Faroo ist nicht wirklich zu gebrauchen !

Faroo ist nicht wirklich zu gebrauchen !

Questions, Problems and solutions

Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Thu May 07, 2009 4:48 pm

Hallo,
ich teste Faroo jetzt zum zweiten mal und muss sagen das es ab einer bestimmten Datenmenge nicht mehr zu gebrauchen ist. Wenn ich Faroo starte ist die CPU mehr oder weniger sofort zu 100% ausgelastet (Stunden bis ich abbreche) und das System reagiert nur noch träge, das Faroo-Options-Fenster wird dann entweder gar nicht geöffnet oder man bekommt nur ein weißes Fenster zu sehen. Ich tippe mal das Problem sind die vielen Dateien und Ordner. Werde jetzt erstmal wieder auf eine neue, hoffentlich bessere Version warten.

Hier noch ein paar Bilder
faroo1.gif
faroo1.gif (5.02 KiB) Viewed 9160 times
faroo2.gif
faroo2.gif (7.22 KiB) Viewed 9161 times
faroo3.gif
faroo3.gif (25.67 KiB) Viewed 9159 times
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Thu May 07, 2009 4:49 pm

faroo4.gif
faroo4.gif (7.05 KiB) Viewed 9161 times
faroo5.gif
faroo5.gif (7.99 KiB) Viewed 9161 times
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby Wolf » Sun May 10, 2009 9:31 am

Hi auser,

Vielen Dank für das ausführliche Feedback und die Screenshots.
Bisher ist es uns nicht gelungen den Überlastzustand zu reproduzieren. Bei uns trödeln die Clients zwischen 0 und 10% Auslastung. Aber natürlich ist die Anzahl der Clients im P2P Netz sehr wechselhaft und jeder PC ist irgendwie anders.

Prinzipiell können wir uns zwei mögliche Ursachen vorstellen:

1. Beim Client ist "active crawling" aktiviert, und es waren zu einem bestimmten Zeitpunkt weniger Clients vorhanden, als für die minimale Redundanz erforderlich. Da gab es möglicherweise einen Deadlock, wir haben den Code inzwischen modifiziert.

2. Der Client ist "active", d.h. er empfängt Daten von andern Clients. Hier kann der starke Anstieg von sendenden (crawlenden) Clients möglicherweise zu einer Überlastung geführt haben. Wir haben inzwischen die Anzahl der eingehenden Verbindungen und Threads begrenzt.

Wir haben eine hier eine Testversion mit den Änderungen bereitgestellt:
http://www.faroo.com/download/faroo_setup_test.exe

Das ist übrigens die erste Version mit verbessertem NAT Traversal, die ohne Konfiguration aktive Peers hinter den meisten Routern ermöglicht. Wir würden uns über ein kurzes Feedback freuen.

Viele Grüße,
Wolf
Wolf
Site Admin
 
Posts: 130
Joined: Wed Dec 17, 2008 12:28 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Sun May 10, 2009 10:49 am

Hi Wolf,

klar werde ich die neue Version testen !

Mir ist gerade aufgefallen das ich vergessen habe zu schreiben wie ich darauf komme das es an den vielen Dateien liegt. Das Problem ist in der Regel verschwunden wenn ich die Festplatte defragmentieren lasse (nicht mit Windows-Defrag), leider dauert das wegen den vielen Dateien auch eine Ewigkeit und ist somit keine Lösung.

---

Ok, mein Peer ist "active" und die neue Version ist besser (5-20%), aber nur bei deaktivierten Crawler, mit liegt die Last jetzt bei 55++%, dafür das sehr langsam gecrawlt wird ist das einfach zuviel.

Ressources->"Cache size (Words)" steht auf 10000, Index->"Words in cache" erreicht aber nur 1000.

Heißt "NAT Traversal" das man kein Port-forwarding machen muss ? Wenn ja geht es bei mir nicht !
Mein Router ist ein Netgear WGR614 v9.

Autostart lässt sich nicht deaktivieren - das ist ein No Go !

Das Fenster maximiert zu öffnen ist auch nicht schön.

Mehr Informationen/Statistiken was der Peer macht sind bestimmt nicht verkehrt ;)

Viele Grüße,
auser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby Wolf » Mon May 11, 2009 1:36 pm

Hi auser,

Danke fürs Feedback zur neuen Version.

auser wrote:Mir ist gerade aufgefallen das ich vergessen habe zu schreiben wie ich darauf komme das es an den vielen Dateien liegt. Das Problem ist in der Regel verschwunden wenn ich die Festplatte defragmentieren lasse (nicht mit Windows-Defrag), leider dauert das wegen den vielen Dateien auch eine Ewigkeit und ist somit keine Lösung.


Ich bin nicht sicher, ob es wirklich am Index und den vielen Dateien liegt. Hier ein paar Infos dazu:

FAROO hat unterstützt zwei unterschiedliche Index-Strukturen:
1. Flat: Dies ist die unsere alte Index-Struktur, bei der alle Dateien in einem Verzeichnis sind. Unter Windows XP mit FAT32 Filesystem gibt es aber eine Beschränkung des Betriebssystems auf maximal 65.534 Einträge pro Verzeichnis (NTFS 4 Milliarden). Außerdem gibt es Probleme, wenn der Nutzer versucht mit dem Explorer das Index-Verzeichnis mit vielen Dateien zu öffnen. Das OS gerät ins Schleudern und alles hängt. Solange nur FAROO gezielt auf einzelne Dateien im Verzeichnis zugreift ist aber alles im grünen Bereich.

2. Hierarchisch: Unsere neue Index-Struktur ist hierarchisch, und vermeidet eine größere Anzahl von Dateien per Verzeichnis. Damit wird auch FAT32 Begrenzung sicher eingehalten.

Bei einer Erstinstallation wird immer die neue, hierarchische Struktur verwendet. Wenn aber bereits ein Flat-Index von einer früheren Installation
besteht, wird dieser weiter aus Gründen der Rückwärtskompatibilität verwendet (um die bisher indizierten Webseiten zu erhalten).

Man muss also den alten Index vorher (manuell) löschen, und dann neu Installieren um sicherzustellen, das man die neue hierarchische Indexstruktur verwendet. Das Löschen des Index-Verzeichnis mit vielen Dateien dauert kann länger dauern, das bietet das Windows OS leider keine schnelle Lösung.


auser wrote:Ok, mein Peer ist "active" und die neue Version ist besser (5-20%), aber nur bei deaktivierten Crawler, mit liegt die Last jetzt bei 55++%, dafür das sehr langsam gecrawlt wird ist das einfach zuviel.


Schnell crawlen ist kein Problem, der Flaschenhals ist die Daten in der notwendigen Redundanz an andere aktive Peers, die gerade online sind, zu verteilen.

auser wrote:Ressources->"Cache size (Words)" steht auf 10000, Index->"Words in cache" erreicht aber nur 1000.


Mea culpa, wir haben den Wert inzwischen fest auf 1000 gesetzt, aber den Regler nicht entfernt.

auser wrote:Heißt "NAT Traversal" das man kein Port-forwarding machen muss ? Wenn ja geht es bei mir nicht !
Mein Router ist ein Netgear WGR614 v9.


Wenn zu dem Zeitpunkt, zu dem FAROO gestartet wird, kein Port Forwarding existiert (manuell oder per UPnP), versucht FAROO ein NAT Traversal über Tunneling.
Dazu müsste dann in der ersten Zeile in Options / Nat Traversal die Methode angezeigt werden: direct, port forwarding, tunnel over {NAT Type}.
Sollte automatisch passieren. Vorraussetzung ist, das FAROO mit Admin-Rechten installiert wurde.
Zwei Fragen: Welche Windows Version + Service Pack und was wird als externe Adresse angezeigt?

auser wrote:Autostart lässt sich nicht deaktivieren - das ist ein No Go !


Eigentlich ist es etwas anders. Autostart läßt sich deaktivieren - aber mit dem nächsten manuellen Start wird Autostart wieder aktiviert.
Das ist eben ein kritischer Punkt. Auf der einen Seite der Nutzer der gewohnheitsmäßig alles auschaltet was ER gerade nicht benötigt,
auf der anderen Seite die Nutzer insgesamt, die darauf angewiesen sind dass die p2p Clients möglichst lange laufen, damit genug Suchergebnisse geliefert werden.

auser wrote:Das Fenster maximiert zu öffnen ist auch nicht schön.

Ok, das können wir schnell ändern ;)

auser wrote:Mehr Informationen/Statistiken was der Peer macht sind bestimmt nicht verkehrt ;)


Ich dachte, da wären wir schon relativ ausführlich :?
Was wird gecrawled, wird gesendet, wird empfangen, Index Größe, Anzahl gecrawlte Seiten ...
Manche Sachen zeigen wir aus Privacy-Gründen nicht an, bzw diese Informationen sind deshalb gar nicht unverschlüsselt vorhanden.
Z.B. welche Worte bei welchen Peer gespeichert werden, welche Seiten andere Peers gecrawlt haben. Hier sollten Angriffspunkte für Zensur und Filterung vermieden werden.
Aber wir sind offen für alle Vorschläge :)


Viele Grüße,
Wolf
Wolf
Site Admin
 
Posts: 130
Joined: Wed Dec 17, 2008 12:28 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Tue May 12, 2009 3:28 pm

Hallo Wolf,

Wolf wrote:FAROO hat unterstützt zwei unterschiedliche Index-Strukturen:
1. Flat: Dies ist die unsere alte Index-Struktur, bei der alle Dateien in einem Verzeichnis sind. Unter Windows XP mit FAT32 Filesystem gibt es aber eine Beschränkung des Betriebssystems auf maximal 65.534 Einträge pro Verzeichnis (NTFS 4 Milliarden). Außerdem gibt es Probleme, wenn der Nutzer versucht mit dem Explorer das Index-Verzeichnis mit vielen Dateien zu öffnen. Das OS gerät ins Schleudern und alles hängt. Solange nur FAROO gezielt auf einzelne Dateien im Verzeichnis zugreift ist aber alles im grünen Bereich.

2. Hierarchisch: Unsere neue Index-Struktur ist hierarchisch, und vermeidet eine größere Anzahl von Dateien per Verzeichnis. Damit wird auch FAT32 Begrenzung sicher eingehalten.

Bei einer Erstinstallation wird immer die neue, hierarchische Struktur verwendet. Wenn aber bereits ein Flat-Index von einer früheren Installation
besteht, wird dieser weiter aus Gründen der Rückwärtskompatibilität verwendet (um die bisher indizierten Webseiten zu erhalten).

Meine Index-Struktur war schon immer Hierarchisch.

Wolf wrote:
auser wrote:Ok, mein Peer ist "active" und die neue Version ist besser (5-20%), aber nur bei deaktivierten Crawler, mit liegt die Last jetzt bei 55++%, dafür das sehr langsam gecrawlt wird ist das einfach zuviel.

Schnell crawlen ist kein Problem, der Flaschenhals ist die Daten in der notwendigen Redundanz an andere aktive Peers, die gerade online sind, zu verteilen.

Also das kann doch nur ein BUG sein, die Daten sollten 1x bearbeitet/aufbereitet und dann verteilt werden. Warum sollten ein paar Verbindungen so eine hohe Last erzeugen, die meiste Zeit wird da bestimmt gewartet, also wodurch ?
Nur für DHT ist das auch zuviel !

Wolf wrote:
auser wrote:Autostart lässt sich nicht deaktivieren - das ist ein No Go !

Eigentlich ist es etwas anders. Autostart läßt sich deaktivieren - aber mit dem nächsten manuellen Start wird Autostart wieder aktiviert.
Das ist eben ein kritischer Punkt. Auf der einen Seite der Nutzer der gewohnheitsmäßig alles auschaltet was ER gerade nicht benötigt,
auf der anderen Seite die Nutzer insgesamt, die darauf angewiesen sind dass die p2p Clients möglichst lange laufen, damit genug Suchergebnisse geliefert werden.

Ich finde etwas anzubieten was nicht funktioniert (Autostart option) eher problematisch, erst recht in diesen Fall. Wenn ihr von euren Programm überzeugt seit und es auch zu gebrauchen ist wird es kein Nutzer abschalten oder deinstallieren !

Wolf wrote:
auser wrote:Das Fenster maximiert zu öffnen ist auch nicht schön.

Ok, das können wir schnell ändern ;)

Ich warte ;)

Wolf wrote:
auser wrote:Mehr Informationen/Statistiken was der Peer macht sind bestimmt nicht verkehrt ;)

Ich dachte, da wären wir schon relativ ausführlich :?
Was wird gecrawled, wird gesendet, wird empfangen, Index Größe, Anzahl gecrawlte Seiten ...
Manche Sachen zeigen wir aus Privacy-Gründen nicht an, bzw diese Informationen sind deshalb gar nicht unverschlüsselt vorhanden.
Z.B. welche Worte bei welchen Peer gespeichert werden, welche Seiten andere Peers gecrawlt haben. Hier sollten Angriffspunkte für Zensur und Filterung vermieden werden.
Aber wir sind offen für alle Vorschläge :)

* Traffic in/out all, ping, index, ...
* Lese/Schreibzugriffe
* Statistiken (wie bei boinc...) Wörter, URLs-Anzahl/-gecrawlt, Online zeit, Länder
* Nur Europa anzeigen (wenn gewünscht), ist ja Total überladen. Am besten zum zoomen und scrollen ...

Wolf wrote:
auser wrote:Heißt "NAT Traversal" das man kein Port-forwarding machen muss ? Wenn ja geht es bei mir nicht !
Mein Router ist ein Netgear WGR614 v9.

Wenn zu dem Zeitpunkt, zu dem FAROO gestartet wird, kein Port Forwarding existiert (manuell oder per UPnP), versucht FAROO ein NAT Traversal über Tunneling.
Dazu müsste dann in der ersten Zeile in Options / Nat Traversal die Methode angezeigt werden: direct, port forwarding, tunnel over {NAT Type}.
Sollte automatisch passieren. Vorraussetzung ist, das FAROO mit Admin-Rechten installiert wurde.
Zwei Fragen: Welche Windows Version + Service Pack und was wird als externe Adresse angezeigt?

Windows XP Pro SP3 Net 2/3 alles aktuell
faroo-b1.gif
faroo-b1.gif (60.21 KiB) Viewed 9125 times

Router: UPnP und Port Forwarding ist aus
Faroo gestartet und man bekommt das Bild (untern), "Passive Peers" und "Index" funktionieren aber nicht.

Router: UPnP ist aus, Port Forwarding von Port 80->80
Faroo gestartet und man bekommt wieder das gleiche Bild (untern), diesmal funktionieren aber "Passive Peers" und "Index".
faroo-b2.gif
faroo-b2.gif (70.23 KiB) Viewed 9127 times

Das Sub-Netz 56 "gibt es gar nicht", es sei den es kommt von Faroo selbst.


Mir ist noch aufgefallen das Faroo öfters beim Index hängen bleibt und nichts mehr macht, aber immer noch hohe Last von ~60% erzeugt.

Öfters mal über den Stand der Dinge berichten, sieht oft wie eingeschlafen aus !
Bitte jetzt nicht Twitter nennen, es darf ruhig ausführlicher sein ;)

So, werde jetzt wieder auf eine neue Version warten, mir fehlen einfach ein paar Rechner :geek:

Viele Grüße,
auser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Sat May 16, 2009 3:30 pm

Irgendwas hackt beim Indexer. Erst nach dem ich Faroo nochmal gestartet habe hat sich der Word Cache geleert, zuvor stundenlang Stillstand !
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby Wolf » Sat May 16, 2009 5:06 pm

Hallo auser,

auser wrote:
Wolf wrote:
auser wrote:Autostart lässt sich nicht deaktivieren - das ist ein No Go !

Eigentlich ist es etwas anders. Autostart läßt sich deaktivieren - aber mit dem nächsten manuellen Start wird Autostart wieder aktiviert.
Das ist eben ein kritischer Punkt. Auf der einen Seite der Nutzer der gewohnheitsmäßig alles auschaltet was ER gerade nicht benötigt,
auf der anderen Seite die Nutzer insgesamt, die darauf angewiesen sind dass die p2p Clients möglichst lange laufen, damit genug Suchergebnisse geliefert werden.

Ich finde etwas anzubieten was nicht funktioniert (Autostart option) eher problematisch, erst recht in diesen Fall. Wenn ihr von euren Programm überzeugt seit und es auch zu gebrauchen ist wird es kein Nutzer abschalten oder deinstallieren !

Na gut, auch wenn ich das vom Filesharing bekannte Leecher-Problem befürchte, wir können's ja mal probieren ;)

auser wrote:
Wolf wrote:
auser wrote:Das Fenster maximiert zu öffnen ist auch nicht schön.

Ok, das können wir schnell ändern ;)

Ich warte ;)

Done.

auser wrote:
Wolf wrote:
auser wrote:Mehr Informationen/Statistiken was der Peer macht sind bestimmt nicht verkehrt ;)

Ich dachte, da wären wir schon relativ ausführlich :?
Was wird gecrawled, wird gesendet, wird empfangen, Index Größe, Anzahl gecrawlte Seiten ...
Manche Sachen zeigen wir aus Privacy-Gründen nicht an, bzw diese Informationen sind deshalb gar nicht unverschlüsselt vorhanden.
Z.B. welche Worte bei welchen Peer gespeichert werden, welche Seiten andere Peers gecrawlt haben. Hier sollten Angriffspunkte für Zensur und Filterung vermieden werden.
Aber wir sind offen für alle Vorschläge :)

* Traffic in/out all, ping, index, ...
* Lese/Schreibzugriffe
* Statistiken (wie bei boinc...) Wörter, URLs-Anzahl/-gecrawlt, Online zeit, Länder
* Nur Europa anzeigen (wenn gewünscht), ist ja Total überladen. Am besten zum zoomen und scrollen ...

Danke für die Vorschläge. Irgendwie wird dann die Suche zur Nebensache, oder ;)

auser wrote:Das Sub-Netz 56 "gibt es gar nicht", es sei den es kommt von Faroo selbst.

Ein PC kann mehrer Netzwerkdapter haben kann (Wlan, Bluetooth, GPRS) und jeder Adapter kann mit einer anderer IP Adresse an verschiedene Netzwerke angebunden sein.
Bisher hat FAROO einfach die erste Adresse angezeigt (im Tooltip/Hint darüber aber alle).
Jetzt wird die IP-Adresse ermittelt, über die Windows vorzugsweise ins Internet routet.

auser wrote:Öfters mal über den Stand der Dinge berichten, sieht oft wie eingeschlafen aus !
Bitte jetzt nicht Twitter nennen, es darf ruhig ausführlicher sein ;)

Bei begrenzten Ressourcen muss man manchmal entscheiden, entwickeln oder drüber reden ;)

auser wrote:So, werde jetzt wieder auf eine neue Version warten, mir fehlen einfach ein paar Rechner :geek:

http://www.faroo.com/download/faroo_setup_test.exe
http://www.faroo.com/english/download/history.html

Viele Grüße,
Wolf
Wolf
Site Admin
 
Posts: 130
Joined: Wed Dec 17, 2008 12:28 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Sat May 16, 2009 5:31 pm

Hallo
Wolf wrote:
auser wrote:* Traffic in/out all, ping, index, ...
* Lese/Schreibzugriffe
* Statistiken (wie bei boinc...) Wörter, URLs-Anzahl/-gecrawlt, Online zeit, Länder
* Nur Europa anzeigen (wenn gewünscht), ist ja Total überladen. Am besten zum zoomen und scrollen ...

Danke für die Vorschläge. Irgendwie wird dann die Suche zur Nebensache, oder ;)

Das mag sein, wenn man dadurch aber mehr User bekommt kann es ja nicht schaden ;)

Wolf wrote:
auser wrote:Das Sub-Netz 56 "gibt es gar nicht", es sei den es kommt von Faroo selbst.

Ein PC kann mehrer Netzwerkdapter haben kann (Wlan, Bluetooth, GPRS) und jeder Adapter kann mit einer anderer IP Adresse an verschiedene Netzwerke angebunden sein.
Bisher hat FAROO einfach die erste Adresse angezeigt (im Tooltip/Hint darüber aber alle).
Jetzt wird die IP-Adresse ermittelt, über die Windows vorzugsweise ins Internet routet.

Ich vergaß VirtualBox, zumindest wählte Faroo aber das falsche Sub-Netz aus.

Wolf wrote:
auser wrote:Öfters mal über den Stand der Dinge berichten, sieht oft wie eingeschlafen aus !
Bitte jetzt nicht Twitter nennen, es darf ruhig ausführlicher sein ;)

Bei begrenzten Ressourcen muss man manchmal entscheiden, entwickeln oder drüber reden ;)

Ok, muss ja nicht täglich sein, aber auch nicht erst alle 2-3 Monate ;)

Ich teste jetzt weiter die neue Version.

Viele Grüße,
auser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Re: Faroo ist nicht wirklich zu gebrauchen !

Postby auser » Tue May 19, 2009 12:07 pm

Hallo,

die neue Version kann ich leider nicht testen weil ich nach kürzer Zeit immer ein "Blue Screen - BAD_POOL_CALLER" bekomme. Mein Rechner läuft sonst Tage lang durch und die vorige Version war ja auch "ruhig". Vielleicht klappt es mit der nächsten Version.

Viele Grüße,
auser
auser
 
Posts: 148
Joined: Thu May 07, 2009 4:20 pm

Next

Return to Support

Who is online

Users browsing this forum: No registered users and 1 guest

cron