Conversão de hexadecimal para texto que correu mal: os erros de codificação que transformam os bytes em dados sem sentido

A conversão de hexadecimal para texto parece que deveria ser infalível: cada par de dígitos hexadecimais corresponde a um byte; basta associar o byte a um carácter e está feito. Na prática, falha constantemente, e quase nunca porque o conversor está avariado — falha porque o hexadecimal é apenas uma forma de escrever bytes, e os bytes precisam de uma codificação acordada antes de representarem qualquer caractere específico. Eis o que realmente está a correr mal quando o resultado está ilegível.

Causa 1: pressuposto de codificação de caracteres errada

A causa mais comum de todas. Os bytes hexadecimais foram codificados como UTF-8 (onde muitos caracteres do mundo real ocupam 2 a 4 bytes), mas o conversor está a descodificar byte a byte como se fosse Latin-1 ou ASCII simples (onde cada byte corresponde exatamente a um caractere). O resultado: letras acentuadas, aspas curvas, travessões longos ou qualquer caractere não inglês transformam-se em dois ou três símbolos distorcidos, em vez de um único caractere correto.

A solução consiste sempre em descodificar com a mesma codificação em que os bytes foram originalmente escritos — se não souber qual é, o UTF-8 é o padrão correto para qualquer conteúdo moderno (conteúdo web, JSON, a maioria das APIs); O Latin-1/Windows-1252 surge principalmente apenas em arquivos de texto mais antigos originários do Windows ou em cabeçalhos de e-mail legados.

Causa 2: incompatibilidades na ordem dos bytes (endianidade)

Esta causa afeta especificamente valores numéricos multibyte (não texto), mas é suficientemente comum em ferramentas de conversão de hexadecimal para texto que lidam com dados mistos binários/texto para merecer ser mencionada. 00 01 lido em big-endian é 1; os mesmos dois bytes lidos em little-endian são 256. Se uma cadeia hexadecimal representar um prefixo numérico de comprimento ou um campo binário incorporado em dados que, de resto, são textuais, lê-la com a ordem de bytes errada não se limita a interpretar mal o número — desalinha todas as posições de bytes a seguir, porque a ferramenta passa a considerar que o texto começa num deslocamento errado.

Causa 3: erros de agrupamento de nibbles

Os caracteres hexadecimais devem vir sempre em pares — dois dígitos hexadecimais formam um byte. Um número ímpar de caracteres hexadecimais (um dígito solitário, uma cópia e colagem que perdeu um caractere, um 0x inicial que não foi removido antes da análise) desloca todos os pares subsequentes em um nibble. Cada byte após o erro é descodificado como um caractere completamente diferente e sem relação — o resultado não está «ligeiramente errado», mas está totalmente distorcido a partir desse ponto, o que, na verdade, é um diagnóstico útil: lixo que começa limpo e se degrada a meio da cadeia aponta para um erro de agrupamento nessa posição exata, e não para um problema de codificação errada (que corrompe de forma mais uniforme ao longo de toda a cadeia).

Causa 4: bytes invisíveis e não imprimíveis

Nem todos os bytes correspondem a um caractere visível. Os caracteres de controlo (0x00–0x1F), a marca de ordem de bytes ( EF BB BF em UTF-8) e vários caracteres de formatação Unicode são descodificados «com sucesso», mas são apresentados como nada, uma caixa ou um ponto de interrogação, dependendo do tipo de letra utilizado — o que pode parecer idêntico a uma falha de descodificação, mesmo que a conversão em si tenha sido totalmente correta. Se o comprimento da saída parecer correto, mas o texto parecer ter caracteres em falta, verifique se existem bytes de controlo antes de assumir que a lógica de descodificação está errada.

Uma forma rápida de identificar qual das causas está em causa

1. Confirme se a cadeia hexadecimal tem um número par de caracteres — caso contrário, trata-se da causa 3; corrija primeiro a entrada.
2. Tente descodificar primeiro como UTF-8, depois como Latin-1, e compare — se uma produzir texto correto e a outra não, trata-se da causa 1.
3. Se a saída estiver distorcida de forma uniforme desde o primeiro carácter, suspeite de um problema de codificação (causa 1); se começar correta e se deteriorar a meio, suspeite de um erro de agrupamento (causa 3) nessa posição.
4. Se o comprimento corresponder ao esperado, mas faltarem caracteres específicos ou estes aparecerem como quadradinhos, verifique se há bytes de controlo/formatação (causa 4), em vez de voltar a verificar a codificação.

A conversão de hexadecimal para texto, por si só, é uma linha de código em qualquer linguagem — o verdadeiro trabalho de depuração consiste quase sempre em descobrir qual destas quatro suposições estava silenciosamente errada, e não na lógica de conversão.