Datenbank in mehrere Datenbanken aufteilen

[gekko]

Hallo, habe mal ne Frage:

Ich möchte eine große Datenbank erstellen wo zig-millionen Einträge hineinkommen. Nun wollte ich mal fragen, um die Performance zu steigern, macht es einen Sinn die Datenbank und weitere Datenbanken aufzuteilen??
Oder können die Tabellen der Datenbanken untereinander nicht verlinkt werden?

[Bernhard Geyer]

Um welche Art von Daten handelt es sich und wiviel sind "zig" Millionen. Normalerweise können selbst die "schlechtesten" DBMS Systeme in 2010 mit halbwegs vernünftiger Hardware DB's in GB-Größe Problemlos verwalten.

[caerloyw]

Hallo,

kommt auf die Zugriffe an, die auf die Datensätze stattfinden sollen.

Sowas macht man aber eigentlich nur, wenn die Datenbanken inhaltlich nichts oder kaum was miteinander zu tun haben (Struktureierung).

generell kommt es auf die verwendete Datenbank an. performancemäßig wird du aber kaum Unterschiede merken. Heutzutage sind Datenbanken in der Lage mehrere 100mb, sogar GB an Daten zu verwalten.

Du kannst aber auf jeden Fall auf Tabellen einer fremden Datenbank zugreifen.

Viele Grüße

[gekko]

Vielen Dank für die Antoworten!

Also hauptsächlich handelt es sich um Logging Daten, d.h. mit der Zeit wird die Datenbank sicher groß werden; einerseits speichere ich die Daten schon als BLOB ab, aber immer nur pro Monat bzw. pro Woche; aber viele User ( um die 5000) werden geloggt.

Ich möchte die User in verschiedene Gruppen aufteilen und für jede Gruppe eine Datenbank verwenden. Die Gruppen untereinander sind nicht abhängig, sie sind aber alle gleich aufgebaut bezüglich Logging.

[Bernhard Geyer]

Heutzutage sind Datenbanken in der Lage mehrere 100mb, sogar GB an Daten zu verwalten.

Über 100 MB's lacht selbst die schlechteste Desktop-DB. Wenn du "100 GB sogar TB" geschrieben hättest wärst du eher an die reale Leistungsfähigkeit gekommen. Vorraussetzung ist natürlich immer vernünftige DB-Modell bzw. Implementierung. Hier kann locker der Performancefaktor 100 zwischen guter und schlechte Implementierung liegen.

[caerloyw]

Stimme dir zu

[caerloyw]

Vielen Dank für die Antoworten!

Also hauptsächlich handelt es sich um Logging Daten, d.h. mit der Zeit wird die Datenbank sicher groß werden; einerseits speichere ich die Daten schon als BLOB ab, aber immer nur pro Monat bzw. pro Woche; aber viele User ( um die 5000) werden geloggt.

Ich möchte die User in verschiedene Gruppen aufteilen und für jede Gruppe eine Datenbank verwenden. Die Gruppen untereinander sind nicht abhängig, sie sind aber alle gleich aufgebaut bezüglich Logging.

Das kannst du getrost in einer Datenbank machen.

[dimitri]

Wieso verwendest Du hier BLOBs? Du hast strukturierte Informationen und schmeißt sie jetzt in einen unstrukturierten Datentyp?
Falls Du die Daten auch innerhalb der DB wieder finden möchtest, solltest pro Eintrag eine Zeile anlegen und von einem Blob abstand nehmen.

Ist das ganze nur ein Datengrab und niemand interessiert sich für diese Logs, dann kannst einen Blob verwenden.

Für solche Daten läßt sich auch sehr gut eine partitionierte Tabelle verwenden (sofern mysql das unterstützt). Damit teilst Du eine logische Tabelle in mehrere physikalische Teile auf, die Du dann bei bedarf z.B. sehr einfach löschen kannst wenn Du einen spezifischen Zeitraum nicht mehr brauchst.

Dim

[gekko]

Ich verwende BLOBs weil ich die Daten über:

- im ersten Schritt der Entwicklung über ein POST auf Port 80 erhalte;

- in Zukunft vielleicht, was aber noch in den Kinderschuhen steckt, über eine Socketverbindung erhalte;

Da stört natürlich jedes überfüssige Zeichen.