So, bin ich endlich hier gelandet. Also hallo miteinander
Habe da leider ein Problem mit dem Import von Daten in eine Tabelle. Ist mir echt peinlich, weil mir das bei keiner der in den letzten zwanzig Jahren verwendeten DBs passiert ist.
Zuerst zur Konfiguration:
SW: Linux 64bit - Apache2.0 - PHP5 - MySQL5.0.75; HW: RAM 4 GB, Partition 70 GB.
Ziel:
Import von ca. 70 Dateien in eine Tabelle, macht so 2,4M Datensätze.
Ablauf:
Jede Datei wird zeilenweise eingelesen,
Ergebnis 1:
Abbruch nach ca. 78K Datensätzen, keine Fehlermeldung, obwohl über PHP durchgeschleift, keine Bildschirmaktualisierung (eben weil Abbruch).
Reaktion:
Bevor ich mit einem Problem an die "Öffentlichkeit" wende, versuche ich mich in verschiedenen Manuals wissend zu machen. Hat net viel genützt, auf den Query Cache bin ich aber gestoßen, daher in der mysql.cnf den Wert von 16MB auf 256MB erhöht.
Ergebnis 2:
Abbruch nach ca. 88K Datensätzen, also keine Lösung.
Conclusio:
Entweder ich stehe vollkommen auf der Leitung oder total auf dem Schlauch. Manchmal siehst halt den Wald vor lauter Bäumen nicht.
Da der gleiche Effekt auch auf unserem Server unter Windoof/IIS auftritt, kann die Ursache nur bei PHP oder MySQL liegen. Ich fange halt mal bei MySQL mit der Fragerei an.
Wenn mir jetzt jemand einen Tipp/Tritt geben könnte?
Habe da leider ein Problem mit dem Import von Daten in eine Tabelle. Ist mir echt peinlich, weil mir das bei keiner der in den letzten zwanzig Jahren verwendeten DBs passiert ist.
Zuerst zur Konfiguration:
SW: Linux 64bit - Apache2.0 - PHP5 - MySQL5.0.75; HW: RAM 4 GB, Partition 70 GB.
Ziel:
Import von ca. 70 Dateien in eine Tabelle, macht so 2,4M Datensätze.
Ablauf:
Jede Datei wird zeilenweise eingelesen,
- Variablen für Datenfelder werden belegt.
- Datensatz wird über zwei Felder (PRIMARYKEY) auf Existenz geprüft, wenn fehlt, angelegt.
- Update Datensatz
Ergebnis 1:
Abbruch nach ca. 78K Datensätzen, keine Fehlermeldung, obwohl über PHP durchgeschleift, keine Bildschirmaktualisierung (eben weil Abbruch).
Reaktion:
Bevor ich mit einem Problem an die "Öffentlichkeit" wende, versuche ich mich in verschiedenen Manuals wissend zu machen. Hat net viel genützt, auf den Query Cache bin ich aber gestoßen, daher in der mysql.cnf den Wert von 16MB auf 256MB erhöht.
Ergebnis 2:
Abbruch nach ca. 88K Datensätzen, also keine Lösung.
Conclusio:
Entweder ich stehe vollkommen auf der Leitung oder total auf dem Schlauch. Manchmal siehst halt den Wald vor lauter Bäumen nicht.
Da der gleiche Effekt auch auf unserem Server unter Windoof/IIS auftritt, kann die Ursache nur bei PHP oder MySQL liegen. Ich fange halt mal bei MySQL mit der Fragerei an.
Wenn mir jetzt jemand einen Tipp/Tritt geben könnte?
Comment