Announcement

Collapse
No announcement yet.

Große Daten Mengen Speichern

Collapse
X
  • Filter
  • Time
  • Show
Clear All
new posts

  • Große Daten Mengen Speichern

    Halli Hallo zusammen...

    Ich bin zwar jetzt nicht der absolute Newbie aber ich habe trotzdem eine Frage.

    Ich soll eine DB Designen die sehr oft sehr viele Datenmengen aufnehmen soll (Messdaten) pro Datensatz ca. 1000 Messungen und mehr. Nun habe ich mich gefragt wie ich sowas machen soll... (ich habe vorher nur DB designed wo die Anzahl der Daten sich nur in den Reihen geändert hat und das nicht so stark).

    Nun wollte ich erst für jede Spalte in meinem Quellfile eine Tabelle anlegen und in der Tabelle für jeden Datensatz eine neue Spalte. Das ist aber wie ich finde nicht die eleganteste Lösung, da es unteranderem auch sein kann das die Samplingrate bei den Messungen geändert wird und ich dann je nach dem viel mehr Werte hab oder viel weniger.

    Nun meine Frage ist es sinnvoll solche Mengen an Daten in Blob's zu schreiben? Für jede Spalte in meiner Quelldatei einen eigenen Blob? Oder wie würdet Ihr solche massen an Daten verwalten?
    Und wenn Blobs sinnvoll wären wie bekomme ich die Daten aus dem Excelfile in den Blob? Muss ich das Excelfile im Blob speichern oder kann ich die Werte mit Load Data Infile in den Blob schreiben?(wenn ich aus dem Excelfile ein CSV File mache)

    Danke für eure Hilfe

    der Mr.

  • #2
    Ich würde Pro Spalte einen Datensatz anlegen

    Werte:
    ID, Spalte, Reihe, Wert

    Comment


    • #3
      Entschuldige bitte aber wie meinst du das ? Ich steh wohl gerade auf dem Schlauch... Würdest du die Daten in einem Blob speichern oder wie meintest du das? Das Problem ist ja das es unterschiedlich lange Datensätze sein können.

      Gruß

      Björn

      Comment


      • #4
        Müssen die Einzelmesswerte eines Datensatzes einzeln abgreifbar (z.B. per Auswerte-Query)?

        Comment


        • #5
          Ich würde das:
          Zeile Wert1, Wert2, Wert3, ...
          1 0, 10, 45, ...
          2 1, 15, 0, ...
          nach:
          ID, Spalte, Reihe, Wert
          1, 1, 1, 0
          2, 2, 1, 10
          3, 3, 1, 45

          auflösen, so kannst du beliebig viele Spalten speichern.

          Comment


          • #6
            Hallo...

            Also die Werte müssen nicht einzeln aus der Db zu lesen sein... Da ich so oder so immer den Kompletten String benötige. Da die Auswertung immer direkt von meinem Java Programm wenn der Datensatz angefordert wird.

            Gruß

            der Mr.

            Comment


            • #7
              Dann könntest du ja auch ein varchar-Feld verwenden, in das du alle Werte mit Trennzeichen speicherst

              Comment


              • #8
                ja schon wenn ich nicht 1000 bis 100000 werte pro Datensatz hätte und leider ein varchar so wie ich das verstanden habe da mit 255 Zeichen sehr sehr begrenzt ist.

                Gruß

                Comment


                • #9
                  ja schon wenn ich nicht 1000 bis 100000 werte pro Datensatz hätte und leider ein varchar so wie ich das verstanden habe da mit 255 Zeichen sehr sehr begrenzt ist.
                  Varchar können um einiges größer als 255 Zeichen sein

                  Comment


                  • #10
                    Ohhh danke !!!! Mal wieder zu schnell drüber geflogen... ja so ist das eine wirklich gute idee.

                    DANKE!

                    Comment


                    • #11
                      Originally posted by Markus Kinzler View Post
                      Varchar können um einiges größer als 255 Zeichen sein
                      Nicht bei MySQL. Dort ist bei 255 Zeichen Schluß. Hier braucht man schon einen der ntext-Datentypen (Oder hiesen die bei MySQL anders )

                      Comment


                      • #12
                        Diese Beschränkung gilt nur für CHAR:
                        Originally posted by MySQL-Referenzhandbuch
                        Werte in VARCHAR-Spalten sind Strings variabler Länge. Diese kann zwischen 0 und 65.535 liegen. (Die effektive Maximallänge einer VARCHAR-Spalte wird durch die maximale Datensatzgröße und den verwendeten Zeichensatz bestimmt. Die gesamte Maximallänge liegt bei 65.532 Byte.)
                        http://dev.mysql.com/doc/refman/5.1/de/char.html

                        Comment


                        • #13
                          Originally posted by Markus Kinzler View Post
                          Diese Beschränkung gilt nur für CHAR:

                          http://dev.mysql.com/doc/refman/5.1/de/char.html
                          Das gibt erst ab Version 5.0.3. Haben wir also beide recht

                          Comment

                          Working...
                          X