Μετατροπή hex σε κείμενο που πήγε στραβά: τα λάθη κωδικοποίησης που κάνουν τα bytes σκουπίδια

Η μετατροπή hex σε κείμενο μοιάζει αλάνθαστη: κάθε ζεύγος δεκαεξαδικών ψηφίων είναι ένα byte, αντιστοιχίζεις το byte σε χαρακτήρα, τέλος. Στην πράξη αποτυγχάνει διαρκώς, και σχεδόν ποτέ επειδή χάλασε ο μετατροπέας — αποτυγχάνει επειδή το hex είναι απλώς ένας τρόπος γραφής bytes, και τα bytes χρειάζονται μια συμφωνημένη κωδικοποίηση πριν σημαίνουν οποιονδήποτε συγκεκριμένο χαρακτήρα. Δείτε τι πραγματικά πάει στραβά όταν η έξοδος είναι αλλοιωμένη.

Αιτία 1: λάθος υπόθεση για την κωδικοποίηση χαρακτήρων

Η πιο συχνή αιτία όλων. Τα hex bytes κωδικοποιήθηκαν ως UTF-8 (όπου πολλοί πραγματικοί χαρακτήρες πιάνουν 2–4 bytes), αλλά ο μετατροπέας αποκωδικοποιεί byte-byte σαν να ήταν Latin-1 ή σκέτο ASCII (όπου κάθε byte είναι ακριβώς ένας χαρακτήρας). Το αποτέλεσμα: τονισμένα γράμματα, «έξυπνα» εισαγωγικά, παύλες em, ή οποιοσδήποτε μη αγγλικός χαρακτήρας μετατρέπονται σε δύο ή τρία αλλοιωμένα σύμβολα αντί για ένα σωστό.

Η λύση είναι πάντα να αποκωδικοποιείτε με την ίδια κωδικοποίηση με την οποία γράφτηκαν αρχικά τα bytes — αν δεν ξέρετε ποια είναι, το UTF-8 είναι η σωστή προεπιλογή για οτιδήποτε σύγχρονο (περιεχόμενο web, JSON, τα περισσότερα APIs)· τα Latin-1/Windows-1252 εμφανίζονται κυρίως μόνο σε παλαιότερα αρχεία κειμένου προερχόμενα από Windows ή σε legacy κεφαλίδες email.

Αιτία 2: ασυμφωνία σειράς bytes (endianness)

Αυτή αφορά ειδικά πολυ-byte αριθμητικές τιμές (όχι κείμενο), αλλά είναι αρκετά συχνή σε εργαλεία hex-σε-κείμενο που χειρίζονται μικτά δυαδικά/κειμενικά δεδομένα ώστε να αξίζει αναφορά. Το 00 01 διαβασμένο big-endian είναι 1· τα ίδια δύο bytes διαβασμένα little-endian είναι 256. Αν ένα hex string αναπαριστά ένα αριθμητικό πρόθεμα μήκους ή ένα δυαδικό πεδίο ενσωματωμένο σε κατά τα άλλα κειμενικά δεδομένα, το διάβασμα με λάθος σειρά bytes δεν διαβάζει απλώς λάθος τον αριθμό — χαλάει κάθε θέση byte μετά από αυτόν, γιατί το εργαλείο πλέον νομίζει ότι το κείμενο αρχίζει σε λάθος offset.

Αιτία 3: λάθη ομαδοποίησης nibbles

Το hex πρέπει πάντα να έρχεται σε ζεύγη — δύο δεκαεξαδικά ψηφία κάνουν ένα byte. Ένας μονός αριθμός χαρακτήρων hex (ένα αδέσποτο ψηφίο, ένα copy-paste που έχασε χαρακτήρα, ένα αρχικό 0x που δεν αφαιρέθηκε πριν το parsing) μετατοπίζει κάθε επόμενο ζεύγος κατά ένα nibble. Κάθε byte μετά το σφάλμα αποκωδικοποιείται σε έναν εντελώς διαφορετικό, άσχετο χαρακτήρα — η έξοδος δεν είναι «ελαφρώς λάθος», είναι πλήρως ανακατεμένη από εκείνο το σημείο και μετά, κάτι που είναι στην πραγματικότητα χρήσιμο διαγνωστικό: σκουπίδια που ξεκινούν καθαρά και αλλοιώνονται στα μισά του string δείχνουν λάθος ομαδοποίησης ακριβώς σε εκείνη τη θέση, όχι πρόβλημα λάθος κωδικοποίησης (που αλλοιώνει πιο ομοιόμορφα σε όλο το μήκος).

Αιτία 4: αόρατα και μη εκτυπώσιμα bytes

Δεν αντιστοιχεί κάθε byte σε ορατό χαρακτήρα. Χαρακτήρες ελέγχου (0x00–0x1F), το byte-order-mark (EF BB BF σε UTF-8) και διάφοροι χαρακτήρες μορφοποίησης Unicode αποκωδικοποιούνται «επιτυχώς» αλλά εμφανίζονται ως τίποτα, ως κουτάκι ή ως ερωτηματικό, ανάλογα με τη γραμματοσειρά προβολής — κάτι που μπορεί να μοιάζει πανομοιότυπο με αποτυχία αποκωδικοποίησης, παρόλο που η ίδια η μετατροπή ήταν απολύτως σωστή. Αν το μήκος της εξόδου φαίνεται σωστό αλλά το κείμενο μοιάζει να έχει χαρακτήρες που λείπουν, ελέγξτε για bytes ελέγχου πριν υποθέσετε ότι φταίει η λογική αποκωδικοποίησης.

Ένας γρήγορος τρόπος να απομονώσετε ποια αιτία αντιμετωπίζετε

Επιβεβαιώστε ότι το hex string έχει ζυγό αριθμό χαρακτήρων — αν όχι, είναι η αιτία 3· διορθώστε πρώτα την είσοδο.
Δοκιμάστε αποκωδικοποίηση πρώτα ως UTF-8, μετά ως Latin-1, και συγκρίνετε — αν το ένα δίνει καθαρό κείμενο και το άλλο όχι, ήταν η αιτία 1.
Αν η έξοδος είναι αλλοιωμένη ομοιόμορφα από τον πρώτο κιόλας χαρακτήρα, υποπτευθείτε την κωδικοποίηση (αιτία 1)· αν ξεκινά καθαρή και χαλάει στα μισά, υποπτευθείτε λάθος ομαδοποίησης (αιτία 3) σε εκείνη τη θέση.
Αν το μήκος ταιριάζει με τις προσδοκίες αλλά συγκεκριμένοι χαρακτήρες λείπουν ή εμφανίζονται ως κουτάκια, ελέγξτε για bytes ελέγχου/μορφοποίησης (αιτία 4) αντί να ξαναελέγξετε την κωδικοποίηση.

Η ίδια η μετατροπή hex σε κείμενο είναι μία γραμμή κώδικα σε οποιαδήποτε γλώσσα — η πραγματική δουλειά του debugging είναι σχεδόν πάντα να βρείτε ποια από αυτές τις τέσσερις υποθέσεις ήταν σιωπηλά λάθος, όχι στη λογική της μετατροπής.