OS: Windows XP/7, 64 bit.
Announcement
Collapse
No announcement yet.
SQLite - Import von csv-File limitiert auf 1 Mio Zeilen?
Collapse
X
-
SQLite - Import von csv-File limitiert auf 1 Mio Zeilen?
Ich möchte 6 Millionen Zeilen in eine sqlite Datenbank importieren. Alles funktioniert gut ausser dass nur 1 Mio Zeilen eingelesen werden. Ich muss das csv-File auf 7 kleinere aufteilen, damit ich alle in die DB bekomme. Sowohl über Firefox addon SQLite manager als auch mit dem sqlite command-tool ist der Import limitiert auf 1 Mio Zeilen. Gibt es in sqlite einen Parameter, den ich berücksichtigen muss? Danke für Hinweise.
OS: Windows XP/7, 64 bit. -
Angeblich gibt es ein Dateigrößenlimit von 60 MB. Ergibt das bei Dir genau 1 Mio Zeilen?
Dann wären da noch "Fehler" im CSV File zu begutachten, zB. im zeilenumbruch genau beim 1 Miosten Datensatz? (Vielleicht macht das Exporttool da ja einen Fehler)
Dann kannst Du sqlite noch selber kompilieren und das Dateigrößenlimit evtl. adaptieren.
Oder mal hier schauen, ist sicher auch aus anderen Gründen interessant:
http://www.sqlite.org/cvstrac/wiki?p=ImportingFiles
besonders ab "Import using a virtual table" mit diesem Link:
http://www.sqlite.org/cvstrac/attach...07/csvfile.zip
Das ergibt die Möglichkeit, CSV als externe Tabellen einzubinden.Gruß, defo
-
Originally posted by defo View PostAngeblich gibt es ein Dateigrößenlimit von 60 MB. Ergibt das bei Dir genau 1 Mio Zeilen?
Dann wären da noch "Fehler" im CSV File zu begutachten, zB. im zeilenumbruch genau beim 1 Miosten Datensatz? (Vielleicht macht das Exporttool da ja einen Fehler)
Es dürfte eine Herausforderung sein, die Limiten von SQLite zu tatsächlich erreichen: https://www.sqlite.org/limits.html
Comment
Comment