volltext research code

[Schüler]

Gibt es irgendwo den Code für volltext research?
Schüler

[gfoidl]

Hallo,

was meinst du genau mit "volltext research"?

mfG Gü

[fanderlf]

Er meint wohl volltextsuche. Das ist auch nicht nur einfach ein Stückchen Code. Im Prinzip ist das eine Art Datenbank die einen speziellen Index für Volltextsuche hat. Schau Dir z.B. mal Elasticsearch an.

[Bernhard Geyer]

Wie wäre es mit Lucene: http://lucenenet.apache.org/

[fanderlf]

Elasticsearch ist im Kern auch Lucene. Lucene skaliert aber halt nicht so ohne weiteres. Läuft ja nur innerhalb eines Prozesses. Das heisst falls Du eine größere Menge an Daten hast, dann geht dir der Arbeitsspeicher aus. Für kleinere Datenmengen kann das aber durchaus ein Option sein.

[Bernhard Geyer]

Elasticsearch ist im Kern auch Lucene. Lucene skaliert aber halt nicht so ohne weiteres. Läuft ja nur innerhalb eines Prozesses. Das heisst falls Du eine größere Menge an Daten hast, dann geht dir der Arbeitsspeicher aus. Für kleinere Datenmengen kann das aber durchaus ein Option sein.

Definiere hier "Klein".
Wir haben Volltexte bei dem die Quelldokumente im GB-Bereich sind und es funktioniert

[fanderlf]

Definiere hier "Klein".
Wir haben Volltexte bei dem die Quelldokumente im GB-Bereich sind und es funktioniert

Passt das alles in einen Prozess?

[Ralf Jansen]

Passt das alles in einen Prozess?

Klar. Kommt nur drauf an auf wieviele Segmente man das verteilt.

[fanderlf]

Gut dann kenne ich mich mit Lucene an sich zu wenig aus und ziehe meine Aussage zurück wir haben Elasticsearch bei uns am Laufen und ich fand das einfach nur genial. Runterladen, starten, befüllen und schon kann man Queries abfeuern und das ganze ist sogar einigermaßen performant.

[Bernhard Geyer]

Passt das alles in einen Prozess?

Muss man alles in den Speicher laden?

[fanderlf]

Soweit ich Lucene kenne ist das einfach nur ein Stück Code was einen Index bereitet stellt. Persistenz hat das soweit ich weiß keine. Somit musst Du alles was Du durchsuchen willst im Speicher haben. Elasticsearch baut das dann um Persistenz und Skalierbarkeit aus. Das ist aber nur mein Verständnis von Lucene. Mag sein dass das falsch ist.