Dateien inhaltlich vergleichen

[Ralf Jansen]

utf-16 heißt nicht das die Zeichen mit 16bit kodiert sind. Das solltest du auch nachlesen.

[Wernfried]

Danke für die Korrekturen, stimmt.

Aber das mit dem Unicode muss ich nochmal nachlesen.. (z.B. UTF-16 -> 2^16 = 65K Unterschiedliche Zeichen)

UTF-8:
U+0000 bis U+007F -> 1 Byte
U+0080 bis U+07FF -> 2 Bytes
U+0800 bis U+FFFF-> 3 Bytes
U+10000 bis U+10FFF -> 4 Bytes

UTF-16:
U+0000 bis U+FFFF -> 2 Byte
U+10000 bis U+10FFFF -> 4 Bytes

UTF-32:
immer 4 Bytes

Gruss

[Ralph Erdt (2)]

Hmm. Das hat sich mit der Zeit geändert, und ich habe das glücklicherweise nicht mitbekommen:
"Originally, Unicode was designed as a pure 16-bit encoding,.." http://unicode.org/faq/utf_bom.html

Danke. Für die Hinweise.

Rant:
Da baut man einen Standard um mal hart alte Zöpfe abzuschneiden, aber dann kreiert man eigenen Schwachsinn (ja, meine Meinung), indem wieder Spezialcharakter und Bereiche nur für die Codierung definiert...
Da muss man wieder Spezialfälle im Kopf haben, und Sonderbehandlungen im Code machen. Da muss ich mir nochmal den C++ Code ansehen - das hatte hier noch keiner auf dem Radar... :-(

[Wernfried]

Vor Version 2.0 (d.h. Juli 1996) waren es noch 65.536 Codepunkte.

Windows 2000 war das erste Windows welches Unicode unterstützte, das kam Februar 2000 raus - also vier Jahre später.
Oracle fing im Release 8i (1997) mit Unicode an. Beim Linux "GNU C Library" war es Release 2.2 (2000)

Ich denke du wirst recht lange suchen müssen bis du eine Software findest welche bereits Unicode Version < 2.0 unterstützt hat.