Probleme bei größeren Datenmengen

[VolkerJ]

Hi <br>
ich habe ein kleines Problem mit meiner Datenbank ( interbase 6* ) .
Ich habe ca 1,3 mio RTF files die in einer Datenbank ( blob-feldern ) gespeichert werden sollen. Im kleinen Rahmen habe ich die volltextsuche in blobfeldern durchgeführt und es funktioniert wunderbar.
Die bisherige Filegröße beträgt 3,3 GB, zusätzlich wird der komplette Text in Wörter zerlegt und in einer sogenannten KeyTable gespeichert die auf den Datensatz (blob Tabelle ) verweis.
Nun meine Frage: <br>
Ist es sinnvoller den Text zu komprimieren und dann zu speichern ? ein RTF file ist ca 1 A4 Seite groß.<br>

Die suche wollte ich über die KeyTable laufen lassen. <br>
Die Datenmenge wächst ununterbrochen.<br>
Weiss jemand ne andere Möglichkeit ??

<br>
Gruss Volker

[Thomas Keller]

Hallo Volker,
wir arbeiten an einem aehnlichen Projekt. Wenn Du interesse hast, koennen wir ja unsere Erfahrungen austauschen.

Wuerde mich freuen,
Thomas

[email protected]

[VolkerJ]

Hi Thomas<br>
würde ich auch gerne , habe dir schon ne Email geschrieben aber weiss nicht ob die angekommen ist.<br>
[email protected]

[Andreas Horlaender]

<p>Hallo</p>
<p>
Für solche Projekte würde ich die Daten erst gar nicht in einer DB halten sondern nur die Indizierung und den verweis evtl. Leseproben.
Die eigentliche Haltung geschieht auf einem Datenträger (HDD, MO, etc), ähnlich einer Archivierung. Hat der Anwender seine Informationen recherchiert werden die Daten als Kopie angefordert und dargestellt.
Damit bekommt man selten Probleme zusätzliche eine in- und- aus- check Funktionen sowie Kompression runden die Sache ab.
</p>
<p>Gruß Andreas</p&gt

[Günter Forster]

Hallo,

ich baue zur Zeit einige Funktionen des ELO-Office nach, das wie von Andreas beschrieben funktioniert. Wir speichern zum Beispiel Service-Unterlagen darüber ab und ermitteln das Dokument über eine feste 8 - stellige Nummer/Zeichenfolge. 26 EXP 8 Dokumente sollten genügen,
man kommt so an die Daten auch mit Rettungstools ran, die keine langen Dateinamen verwenden.

Gruß Günte

[Chris Stengel]

Hi,<br>
ich habe auch ein aehnliches Projekt - allerdins sind das nur ca. 300 MB Text Daten in der Datenbank.<br>
@Andreas:<br>
Ich habe mich aus folgenden Gruenden fuer eine Speicherung der Daten in der DB entschieden:<br>
1. Der normale User kann die Daten nicht mehr veraendern.<br>
2. Man kann sehr genau festlegen, wer welche Daten ansehen / ausfuehren / bearbeiten kann.<br>
3. Die Verwaltung der Daten ist einfacher (beim Update, bei der Benutzung - es wird nichts "aus versehen" verschoben ...)<p>
Da ich nur so wenige Daten haben, werden ich vorlaeufig die Daten nicht komprimieren - bei mir kommts da auf Performance an - und entpacken kostet auch etwas. <br>
Bei deiner Menge an Daten wuerd ich die entweder packen, oder aber die Daten in ein extra Datenbank-File einfuegen - vielleicht auch in 2 Datenbanken. Wenn sich die Texte irgendwie spezifizieren lassen, kannst Du die dann auch schon vor sortieren.<p>

CU Chri

[Andreas Horlaender]

Hallo Chris<br>
<p>
Zu Punkt 1<br>
Die Datenkommen ja nur als Kopie und wenn die Rechte ein überschreiben verhindern kann er die Daten auch nicht ändern.
</p>
<p>
Zu Punk 2<br>
Das kann ja in der DB festgelegt werden einen direkten zugriff auf die Datein gibts sowieso nicht.
</p>
<p>
Zu Punk 3<br>
schließt irgendwie Punkt 2 mit ein :-)
</p>
<p>
Über einen TCP/IP StreamSrv z.B, könnte man das ein und aus checken der Daten realisieren, nur auf IP/Port Ebene.
</p>
Auf jeden Fall ist das ein Interesantes Thema
<p>Gruß Andreas</p&gt