Näin katsot valtavan JSON-tiedoston kaatamatta selainta

50 megan API-dumpin tai kokonaisen tietokantaviennin liittäminen mihin tahansa selainpohjaiseen JSON-työkaluun — tämäkin mukaan lukien — hidastaa välilehteä tai jäädyttää sen kokonaan. Se ei ole bugi jossain tietyssä työkalussa, vaan seuraus siitä, miten selaimet renderöivät tekstiä ja DOM:ia. Tässä mitä oikeasti tapahtuu ja miten sen kiertää.

Miksi isot JSON-tiedostot jäädyttävät selaimen, eivät vain “lataudu hitaasti”

Kaksi erillistä kustannusta kasautuu päällekkäin:

1. Jäsennyskustannus. JSON.parse hyvin muotoillulle 50 megan merkkijonolle kestää tavallisella kannettavalla noin puolesta sekunnista pariin sekuntiin — huomattava, mutta ei varsinainen ongelma.
2. Renderöintikustannus. Tämä on se, joka oikeasti jäädyttää välilehden. Jos työkalu piirtää formatoidun tuloksen yhtenä jättimäisenä tekstilohkona (tai vielä pahempaa, laajennettavana puuna, jossa on DOM-solmu jokaista avainta kohden), selaimen täytyy asetella ja piirtää mahdollisesti miljoonia DOM-solmuja. Tämä tekee välilehden reagoimattomaksi, ei jäsentäminen.

Eli koko rajoitus, johon törmäät, ei melkein koskaan johdu JSON-spesifikaatiosta tai jäsentimestä — se johtuu siitä, että selainta pyydetään piirtämään valtava määrä tekstiä tai sisäkkäistä käyttöliittymää kerralla.

Varsinainen työnkulku aidosti isoille tiedostoille

Älä avaa koko tiedostoa missään selaimessa. Sen sijaan:

1. Poimi ensin vain tarvitsemasi osa. Jos jäljität yhtä rikkinäistä tietuetta 200 megan dumpin sisältä, muita 199 megaa ei tarvitse olla näytöllä. Komentorivityökalut hoitavat tämän lataamatta koskaan koko tiedostoa muistiin niin kuin selainvälilehti tekisi:

   # pull out one top-level key from a huge file, streaming
   jq '.results[42]' huge-file.json > fragment.json
   
   # or just grep for context around a known string first
   grep -n '"user_id": 88214' huge-file.json

2. Formatoi selaimessa vain se fragmentti. Muutaman kilotavun kokoinen poimittu JSON formatoituu välittömästi ja on oikeasti luettavissa — sama “formatoi vain se osa, josta välität” -tapa kannattaa ottaa käyttöön minkä tahansa ison lokin tai dumpin kanssa, ei vain tämän tietyn virheen kanssa.
3. Jos sinun täytyy tarkastella rakennetta, et arvoja, aja jq 'keys' tai jq '. | length' paikallisesti ensin ymmärtääksesi muodon ennen kuin päätät, mitä poimit. Sinun ei tarvitse nähdä 50 000 taulukon alkiota tietääksesi, että taulukossa on 50 000 alkiota.

Milloin selaintyökalu käy oikeasti hyvin

Valtaosassa oikeasta debuggauksesta — API-vastaus, konfiguraatiotiedosto, webhook-hyötykuorma — kyse on kilotavuista muutamaan megatavuun, ei sadoista. Siinä kokoluokassa suoraan formatoijaan liittäminen ja välitön, luettava tulos tarkkoine virhekohtineen on nopeampaa kuin komentorivin kaivaminen esiin ylipäätään. Kokoraja, jossa tämä alkaa mennä pieleen, on paljon suurempi kuin useimmat olettavat; nimenomaan “kymmeniä megatavuja ja ylöspäin” aiheuttaa oikeita ongelmia, ei “enemmän kuin yksi sivullinen”.

Pikaopas

Tiedostokoko	Mitä tehdä
Alle ~5 Mt	Liitä suoraan selainformatoijaan — välitön, ei ongelmia
~5–30 Mt	Toimii vielä, mutta odota lyhyt tauko; formatoi vain se, mitä tarvitset lukea
30 Mt+	Poimi olennainen fragmentti ensin jq:lla/grepillä, formatoi vain se

Työkalu ei tarvitse “iso tiedosto -tilaa” korjatakseen tämän — korjaus on poimiminen ennen katsomista, mikä on työnkulun muutos, ei työkalun rajoitus.