Anschaffung von Datenbank und Servern

[Smart]

Hallo Forum,

ich möchte euch gerne um Rat bitten. Ich hoffe, dass jemand in dem Bereich über Erfahrungen verfügt.
Wir wägen momentan den Einsatz von Microsoftprodukten ab. Die Hauptaufgabe ist, jeden Tag hunderte an u.a. Textdateien mit binärem Inhalt auszulesen, u.U. interpretieren und in einer Datenbank abzulegen. Dies kann auch bis vor Jahren zurückreichen. Das bedeutet eine menge Rechenleistung und eine Datenbank, die eine große Menge an Daten speichen kann. Nun stellen sich an dieser Stelle folgende Fragen:

1.	Welche Produkte/Technologien sind für diese Aufgabe vonnöten?
        a. Datenbank.
        b. Server (Datenbank- und eventuell ein Index-Server).
        c. Was übernimmt das Auslesen und das Ablegen der Daten in der Datenbank. Welches Produkt kann diese Aufgabe übernehmen.
2.	Wie läuft es mit der Lizenzierung (z.B. fü MSSQL-Datenbankl)?
        a. Werden die Lizenzen einmalig gekauft oder kommen andere Kosten auf uns zu?
        b. Wie viele Lizenzen werden benötigt?
3.	Mit welcher Höhe an Kosten müssen wir in etwas Rechnen?

Danke im Voraus.

[Christian Marquardt]

Da es ncihts mit Entwicklertools zu tun hat -> verschoben

[Bernhard Geyer]

u.a. Textdateien mit binärem Inhalt auszulesen,

Das ist eine Widerspruch in sich. Entweder Textdatei oder binärer Inhalt

jeden Tag hunderte ... bedeutet eine menge Rechenleistung und eine Datenbank, die eine große Menge an Daten speichen kann ...

Höhrt sich eher nach wenig Datenmenge und nötiger Rechenleistung aus. Außer diese hunderte Dateien liegen im 3stelligen MB-Bereich.
Ansonsten dürfte es jedes DBMS können.

[Ralf Jansen]

c. Was übernimmt das Auslesen und das Ablegen der Daten in der Datenbank. Welches Produkt kann diese Aufgabe übernehmen.

Eine Software die SQL benutzt? Wenn du die DB schon gewählt hast und nicht an ein Indexierungssystem denkst das du kaufen willst wo die verwende Datenbank (wenn eine Datenbank überhaupt nötig ist) irgendein BlackBox Ding ist dann steht zwischen Datenbank und dem Speichern in der Datenbank nur ein wenig SQL.

Wie läuft es mit der Lizenzierung (z.B. für MSSQL-Datenbankl)?

Das Lizenzmodell vom Sql Server hilft dir nicht die Bohne bei einer anderen Datenbank. Das kocht jeder Hersteller sein eigenes Süppchen. Beim SQL Server muß man auch schon von mindestens 3 verschiedenen Modellen (per User, per Gerät, per Server/Core) ausgehen jedes mit seinen eigenen Details. Bei den großen Datenbankanbietern bekommst du sogar Schulung nur für die Lizenzmodelle. Das mal so nebenbei in einem Forum zu erfragen ist als kaum sinnig da zu komplex.
Wenn ihr da konkrete Hilfe braucht wendet euch an ein Reseller oder wenn der euch nicht unabhängig genug ist holt euch einen passenden Consultant ins Haus für eine Beratung.

Mit welcher Höhe an Kosten müssen wir in etwas Rechnen?

Von 0 bis viel. Hängt insbesondere von der Menge der Eigenleistung ab die ihr leisten könnt/wollt ab (wenn wir deren Kosten mal ignorieren).

[Smart]

Hallo,

danke für die Antworten.
Ist die beschriebene Vorgehensweise mit einem eigneständigen Index- und SQL-Server zu schaffen? Oder muss das Ganze Parsen programmiertechnisch durchgeführt werden, die z.B. alle Dateien um 00:00 Uhr durchläuft und in eine Datenbank reinschreibt. Ich habe leider wenig Erfahrung mit dem Inex-Server, um da eine Aussage treffen zu können.

Gruß

[Ralf Jansen]

Wie sollen wir da antworten geben? Wir wissen ein wenig was du benutzen willst (DB, irgendein Index System) aber nichts über das warum.
Wenn du Dateien in der Datenbank ablegen willst was willst du da warum parsen?
Wenn du von Indexierung sprichst was willst du da wie in welchem Umfang indexieren?

[Bernhard Geyer]

Ist die beschriebene Vorgehensweise mit einem eigneständigen Index- und SQL-Server zu schaffen? Oder muss das Ganze Parsen programmiertechnisch durchgeführt werden, die z.B. alle Dateien um 00:00 Uhr durchläuft und in eine Datenbank reinschreibt. Ich habe leider wenig Erfahrung mit dem Inex-Server, um da eine Aussage treffen zu können.

Fast alles hängt von der größe und dem Inhalt der Dateien ab.
Die nötige HW/SW-Spanne reicht von 0815 PC mit kostenlosen SQLExpress bis zum Mio-Teuren Cluster-System mit einer TB-Datenbanksystem.

[Smart]

Hi,

also, die Dateien werden permanent von irgendwelchen Geräten produtziert. Die Inhalte braucht man, um damit z.B. zu rechnen oder etwas anzuzeigen. Diese Daten können schon von tausenden von Benutzern aufgerufen werden. Damit nicht jedesmal und bei jeder Anforderung die Daten aus den Dateien herausgelesen werden muss, müssen diese vorher und einmalig in die Datenbank. Ich kenne nur diese zwei Wege, Index-Server und programmiertechnisch. Ich wiess nicht ganz genau, ob ein Indexserver im Stande ist, die Daten in so einer Art und Wiese in die Datenbank zu schreiben, wenn ja, wärre es optimal. Daher wollte ich gerne wissen, ob dies möglich ist und wie.

Gruß

[Ralf Jansen]

also, die Dateien werden permanent von irgendwelchen Geräten produtziert. Die Inhalte braucht man, um damit z.B. zu rechnen oder etwas anzuzeigen.

Jetzt nähern wir uns der entscheidenden Info. Es sind also nicht irgendwelche Dateien mit irgendwelchen Texten die man, da unstrukturiert, nur Volltext indizieren könnte sondern um ein strukturiertes Format. Und nur dieses strukturierte Format (oder die handvoll vordefinierten Formate) soll in ein relationales Format überführt werden damit man danach, via SQL, einheitlich irgendwas berechnen kann? Dann wird auch dein eingeworfenes 'parsen' sinniger.

Wenn dem so ist sehe ich keinen Sinn für einen Indexing Server. Bei den Dingern geht es immer um Volltextindizes und nicht um die Indizes die man üblicherweise in DBs findet. Ich wüsste auch nicht wie ein Volltextindex bei Berechnungen helfen sollte. Der ist ausschließlich zum suchen/finden gedacht.

Das sollte dann tatsächlich jede beliebige Datenbank können (solange du uns nichts greifbares über die tatsächliche Menge sagst). Wenn das irgendein Standardformat ist (xml, json, csv oder sowas) dann sollte jede der größeren Datenbanksysteme auch bereits entsprechende Bulk Import Features mitbringen die man entsprechend parametrieren kann. Beim Sql Server schimpft sich das die Sql Server Integration Services.

[Smart]

Hallo Ralf,

danke.

Ich wüsste auch nicht wie ein Volltextindex bei Berechnungen helfen sollte.

Im erstaen Schritt müssen die Daten in die Datenbank. Die Berechnungen werden dann hinterher und beim Auslesen gemacht. Ich habe auch nicht ganz verstanden. Du meinst, es ist besser, dass man einfach ein z.B. C#-Programm schrebeiben sollte, das alle Dateien durchgeht, die benötigten Daten extrahiert und in eine Datenbank schreibet? Ist diese Vorgehensweise nicht sehr langsam? Ich weiß auch nicht, ob eine Volltextsuche für binäre Daten geeignet ist.

Gruß

[Bernhard Geyer]

Ich weiß auch nicht, ob eine Volltextsuche für binäre Daten geeignet ist.

Definitiv nicht. Es heißt ja auch Volltextsuche und nicht Binärsuche.

Hast du dir eigentlich schon eine Mengeabschätzung gemacht?

Um wie viele Dateien geht es konkret pro Tag?
Wie groß sind diese Dateien im Schnitt?
Wie viele Informationenselemente sind in so einer Datei?
Wie viele Jahre Historie müssen berücksichtigt werden?

[Ralf Jansen]

Ist diese Vorgehensweise nicht sehr langsam?

Das ist die völlig falsche Fragestellung. Was du dich fragen musst ist ob es aussreichend schnell wäre. Es nutzt gar nix sich Geschwindigkeitsfragen zu stellen und über optimales herangehen nachzudenken wenn die simpelste Methode aussreichend schnell ist.

Du meinst, es ist besser, dass man einfach ein z.B. C#-Programm schrebeiben sollte, das alle Dateien durchgeht, die benötigten Daten extrahiert und in eine Datenbank schreibet? Ist diese Vorgehensweise nicht sehr langsam?

Das kann ich gar nicht meinen weil ich gar nicht weiß was du warum tun willst. Bisher wissen wir nicht viel mehr als das du irgendeinen Input hast den du irgendwie verarbeiten willst um an Ende irgendeinen Output zu bekommen. Dünner kann ich mir die Faktenlage gar nicht denken

[Bernhard Geyer]

Das kann ich gar nicht meinen weil ich gar nicht weiß was du warum tun willst. Bisher wissen wir nicht viel mehr als das du irgendeinen Input hast den du irgendwie verarbeiten willst um an Ende irgendeinen Output zu bekommen. Dünner kann ich mir die Faktenlage gar nicht denken

[OT]Eigentlich kommt beim Kunden hier gleich die Frage: Was wird das kosten? [/OT]

[Christian Marquardt]

Die Frage nach den Kosten steht doch schon in Nr. 3 im ersten Beitrag

[Smart]

Hallo Bernhard,

danke für deine Antwort.

Um wie viele Dateien geht es konkret pro Tag?

Das hängt stark von den Anzahl der Geräte ab. Momentan etwa 500 stück.

Wie groß sind diese Dateien im Schnitt?

Nicht größer als ca. 300KB.

Wie viele Informationenselemente sind in so einer Datei?

Das kann ich so pauschal beantworten. Aber realtiv viele.

Wie viele Jahre Historie müssen berücksichtigt werden?

Bis zu 10 Jahren.

Gruß