Auf Hive nehmen die sich wohl gerade dieser Thematik an. Dort wird wohl Elastic search implementiert. Habe ich da irgendwo gelesen. Ich hatte schon mal zum Testen einen YaCy-Server aufgesetzt. YaCy ist eine Open Source-Suchmaschine, die sogar auf Windows läuft. Das Dingt läuft mit Java und braucht extrem viel Ram (mindstens 64 GB Ram, um ordenllich Dampf zu haben) und dann auch noch sehr schnelle SSDs, um den Index schnell zu liefern. Leider läuft YaCy nicht wirklich stabil. Auf meinem Ubuntu 18.04 ist es nie länger als 2 Tage stabil gelaufen und der Crawl nur von Steemit dauert volle 2 Tage. Leider nicht geeignet für schnell wachsende Websites. Gigablast wäre sehr interessant: https://github.com/gigablast/open-source-search-engine Der Macher hat das komplette Web in einem nur 500 GB-Index. Leider ist er nicht sehr hilfsbereit und die Open Source-Schiene pflegt er auch nicht weiter. Nur noch gegen Cash bekommt man da Hilfe.
Auf Hive nehmen die sich wohl gerade dieser Thematik an. Dort wird wohl Elastic search implementiert. Habe ich da irgendwo gelesen. Ich hatte schon mal zum Testen einen YaCy-Server aufgesetzt. YaCy ist eine Open Source-Suchmaschine, die sogar auf Windows läuft. Das Dingt läuft mit Java und braucht extrem viel Ram (mindstens 64 GB Ram, um ordenllich Dampf zu haben) und dann auch noch sehr schnelle SSDs, um den Index schnell zu liefern. Leider läuft YaCy nicht wirklich stabil. Auf meinem Ubuntu 18.04 ist es nie länger als 2 Tage stabil gelaufen und der Crawl nur von Steemit dauert volle 2 Tage. Leider nicht geeignet für schnell wachsende Websites. Gigablast wäre sehr interessant: https://github.com/gigablast/open-source-search-engine Der Macher hat das komplette Web in einem nur 500 GB-Index. Leider ist er nicht sehr hilfsbereit und die Open Source-Schiene pflegt er auch nicht weiter. Nur noch gegen Cash bekommt man da Hilfe.