SQLite - Import von csv-File limitiert auf 1 Mio Zeilen?

[giordano]

Ich möchte 6 Millionen Zeilen in eine sqlite Datenbank importieren. Alles funktioniert gut ausser dass nur 1 Mio Zeilen eingelesen werden. Ich muss das csv-File auf 7 kleinere aufteilen, damit ich alle in die DB bekomme. Sowohl über Firefox addon SQLite manager als auch mit dem sqlite command-tool ist der Import limitiert auf 1 Mio Zeilen. Gibt es in sqlite einen Parameter, den ich berücksichtigen muss? Danke für Hinweise.
OS: Windows XP/7, 64 bit.

[defo]

Angeblich gibt es ein Dateigrößenlimit von 60 MB. Ergibt das bei Dir genau 1 Mio Zeilen?
Dann wären da noch "Fehler" im CSV File zu begutachten, zB. im zeilenumbruch genau beim 1 Miosten Datensatz? (Vielleicht macht das Exporttool da ja einen Fehler)
Dann kannst Du sqlite noch selber kompilieren und das Dateigrößenlimit evtl. adaptieren.
Oder mal hier schauen, ist sicher auch aus anderen Gründen interessant:
http://www.sqlite.org/cvstrac/wiki?p=ImportingFiles
besonders ab "Import using a virtual table" mit diesem Link:
http://www.sqlite.org/cvstrac/attach...07/csvfile.zip

Das ergibt die Möglichkeit, CSV als externe Tabellen einzubinden.

[giordano]

Defo, besten Dank. Werde mir bei der ersten Gelegenheit Deine Punkte durchgehen und berichten.
Gruss,giordano

[Wernfried]

Angeblich gibt es ein Dateigrößenlimit von 60 MB. Ergibt das bei Dir genau 1 Mio Zeilen?
Dann wären da noch "Fehler" im CSV File zu begutachten, zB. im zeilenumbruch genau beim 1 Miosten Datensatz? (Vielleicht macht das Exporttool da ja einen Fehler)

Das ist definitiv ein Gerücht. In meiner Applikation habe ich SQLite Datenbanken mit über 300MB.

Es dürfte eine Herausforderung sein, die Limiten von SQLite zu tatsächlich erreichen: https://www.sqlite.org/limits.html

[Christian Marquardt]

Wir wollen hoffen, dass das Problem nach fast 10 Jahren erledigt wurde