Hex-metin dönüştürmede yaşanan sorunlar: baytları anlamsız verilere dönüştüren kodlama hataları

Onaltılık sayıları metne dönüştürmek, ilk bakışta son derece basit bir işlem gibi görünür: Her onaltılık rakam çifti bir bayttır; bu baytı bir karaktere eşleştirin, iş bitti. Ancak pratikte bu işlem sürekli başarısız olur ve bunun nedeni neredeyse hiçbir zaman dönüştürücünün bozuk olması değildir — başarısız olmasının nedeni, onaltılık sayının sadece baytları yazmanın bir yolu olması ve baytların belirli bir karakteri ifade edebilmesi için üzerinde anlaşmaya varılmış bir kodlamaya ihtiyaç duymasıdır. Çıktı bozuk olduğunda aslında neyin yanlış gittiğini aşağıda açıklayacağız.

Neden 1: Yanlış karakter kodlaması varsayılması

En yaygın tek neden budur. Onaltılık baytlar UTF-8 olarak kodlanmıştır (gerçek dünyadaki birçok karakter 2–4 bayt kaplar), ancak dönüştürücü, sanki Latin-1 veya düz ASCII’ymiş gibi (her bayt tam olarak bir karakterdir) bayt bayt kod çözme yapmaktadır. Sonuç: aksanlı harfler, kıvrımlı tırnak işaretleri, uzun tireler veya İngilizce dışındaki herhangi bir karakter, tek bir doğru karakter yerine iki veya üç bozuk sembole dönüşür.

Çözüm, her zaman baytların orijinal olarak yazıldığı kodlamayla kodunu çözmektir — hangisi olduğunu bilmiyorsanız, UTF-8 modern her şey (web içeriği, JSON, çoğu API) için doğru varsayılan seçenektir; Latin-1/Windows-1252 ise çoğunlukla yalnızca eski Windows kaynaklı metin dosyalarında veya eski e-posta başlıklarında görülür.

Neden 2: bayt sırası (endianlık) uyuşmazlıkları

Bu durum özellikle çok baytlı sayısal değerleri (metni değil) etkiler, ancak karışık ikili/metin verilerini işleyen onaltılık-metin dönüştürme araçlarında yeterince yaygın olduğu için bahsetmeye değer. 00 01 büyük uçlu (big-endian) olarak okunduğunda 1’dir; aynı iki bayt küçük uçlu (little-endian) olarak okunduğunda 256’dır. Bir onaltılık dize, sayısal bir uzunluk önekini veya metin verisinin içine gömülü bir ikili alanı temsil ediyorsa, yanlış bayt sırasıyla okunması sadece sayının yanlış okunmasına neden olmakla kalmaz — ardından gelen her bayt konumunu da bozar, çünkü araç artık metnin yanlış bir ofsetten başladığını düşünür.

Neden 3: Nibble gruplama hataları

Onaltılık karakterler her zaman çiftler halinde olmalıdır — iki onaltılık basamak bir bayt oluşturur. Tek sayıda onaltılık karakter (tek başına duran bir basamak, bir karakterin eksik kaldığı kopyala-yapıştır işlemi, ayrıştırma öncesinde kaldırılmamış baştaki 0x gibi) sonraki her çifti bir nibble kaydırır. Hatanın ardından gelen her bayt, tamamen farklı ve alakasız bir karaktere dönüştürülür — çıktı “biraz yanlış” değildir, o noktadan itibaren tamamen karıştırılır; bu aslında yararlı bir teşhis yöntemidir: başlangıçta temiz olan ancak dizenin ortasında bozulmaya başlayan veriler, o tam konumdaki bir gruplama hatasına işaret eder; yanlış kodlama sorununa değil (çünkü yanlış kodlama sorunu dize boyunca daha düzgün bir şekilde bozulmaya neden olur).

Neden 4: Görünmez ve yazdırılamayan baytlar

Her bayt görünür bir karaktere karşılık gelmez. Kontrol karakterleri (0x00–0x1F), bayt sırası işareti (UTF-8’de EF BB BF) ve çeşitli Unicode biçimlendirme karakterleri “başarıyla” kod çözülür ancak ekran yazı tipine bağlı olarak hiçbir şey, bir kutu veya bir soru işareti olarak görüntülenir — bu durum, dönüştürme işlemi tamamen doğru olsa bile kod çözme hatasıyla aynı görünebilir. Çıktı uzunluğu doğru görünse de metinde karakter eksikliği varsa, kod çözme mantığının yanlış olduğunu varsaymadan önce kontrol baytlarını kontrol edin.

Hangi durumla karşı karşıya olduğunuzu hızlıca belirlemenin bir yolu

Onaltılık dizgenin karakter sayısının çift olduğundan emin olun — değilse, bu 3. nedendir; önce girişi düzeltin.
Önce UTF-8 olarak, ardından Latin-1 olarak kod çözmeyi deneyin ve karşılaştırın — biri temiz metin üretirken diğeri üretmiyorsa, sorun neden 1’dir.
Çıktı ilk karakterden itibaren düzgün bir şekilde bozuksa, kodlamadan şüphelenin (neden 1); başlangıçta düzgün olup da ortada bozulmaya başlıyorsa, o konumda bir gruplama hatasından (neden 3) şüphelenin.
Uzunluk beklentilerle uyuşuyorsa ancak belirli karakterler eksikse veya kutucuklar olarak görünüyorsa, kodlamayı yeniden kontrol etmek yerine kontrol/biçimlendirme baytlarını kontrol edin (neden 4).

Onaltılık-metin dönüştürme işlemi, herhangi bir programlama dilinde tek satırlık bir koddur — asıl hata ayıklama işi, neredeyse her zaman dönüştürme mantığında değil, bu dört varsayımdan hangisinin fark edilmeden yanlış olduğunu bulmakta yatmaktadır.