CSV uz SQL pārveidotājs

Kas ir šis rīks?

Testa datubāzes piepildīšana, izklājlapas eksporta ielāde tabulā vai neliela datu kopas migrācija bieži sākas vienādi: tev ir CSV fails, un vajag SQL. Šis rīks parsē tavu CSV (izmantojot virsrakstu rindu kā kolonnu nosaukumus) un veido vienu INSERT INTO instrukciju, kas aptver katru datu rindu, gatavu ielīmēšanai datubāzes klientā.

Teksta vērtības tiek ietvertas vienpēdiņās ar dubultotām iekšējām pēdiņām (tā O'Brien kļūst par O''Brien), kas ir standarta pēdiņu apstrādes noteikums, ko izmanto MySQL, PostgreSQL un SQLite. Tukša CSV šūna tiek uzrakstīta kā SQL atslēgvārds NULL, nevis tukša virkne — tā ir apzināta izvēle, jo tukša šūna izklājlapā parasti nozīmē "nav vērtības", nevis "tukšs teksta gabals", un tieši to no lielākās daļas shēmu sagaida NULL.

Vai vērtība tiek ietverta pēdiņās vai atstāta bez tām, tiek noteikts ar vienkāršu heiristiku, nevis īstu tipu secinājumu: ja apgriezta šūna izskatās kā vienkāršs vesels vai decimāls skaitlis (ar iespējamu mīnus zīmi priekšā), tā tiek uzrakstīta bez pēdiņām; viss pārējais — arī tas, kas tikai atgādina skaitli ar papildu rakstzīmēm, piemēram, telefona numuri vai pasta indeksi ar sākuma nullēm — tiek ietverts pēdiņās kā teksts. Tas notur izvadi godīgu: tas ir labs sākumpunkts nelielai importēšanai, nevis aizstājējs tavu datu validācijai pret faktisko tabulas shēmu, pirms izpildi.

Avots: CSV parsēšana seko RFC 4180, tuvākajam formālajam CSV standartam; vienpēdiņu dubultošana teksta pēdiņu apstrādei ir kopīga konvencija, ko dokumentē MySQL, PostgreSQL un SQLite.

Kāpēc to izmantot?

• Pielāgots tabulas nosaukums — iestati mērķa tabulu vienreiz, un katra rinda mērķē uz to.
• Pareiza teksta pēdiņu apstrāde — vienpēdiņas vērtību iekšienē tiek dubultotas, lai SQL nesalūztu vai netiktu saīsināts.
• Paredzama NULL apstrāde — tukšas šūnas kļūst par NULL, nevis tukšu virkni, atbilstoši tam, kā lielākā daļa datubāzu atšķir iztrūkstošus datus.
• Izplatīts SQL sintakse — šeit ģenerētā INSERT INTO ... VALUES ... forma darbojas bez izmaiņām MySQL, PostgreSQL un SQLite.
• 100% klientā — tavi CSV dati (kas var ietvert klientu vai biznesa datus) tiek parsēti un pārveidoti tavā pārlūkā un nekad netiek nekur augšupielādēti.

Kā to lietot

1. Ielīmē CSV datus ar virsrakstu rindu, piemēram, name,age\nAlice,30\nBob,25.
2. Ievadi mērķa tabulas nosaukumu (pēc noklusējuma my_table).
3. Nospied "Generate SQL".
4. Kopē INSERT INTO instrukciju vai lejupielādē to kā .sql failu, tad izpildi savā datubāzē.

Piemērs

Ievade

name,age,city
Alice,30,
Bob,,NYC

Izvade

INSERT INTO `my_table` (`name`, `age`, `city`)
VALUES
  ('Alice', 30, NULL),
  ('Bob', NULL, 'NYC');

Pamani, kā tukšās šūnas kļuva par NULL (nevis tukšām virknēm), un skaitliski izskatošā age vērtība 30 palika bez pēdiņām, kamēr katra teksta vērtība tika ietverta pēdiņās.

Praktiski padomi

• Vietējas testa datubāzes piepildīšana: eksportē nelielu paraugu kā CSV no izklājlapas, pārvērt to šeit un izpildi INSERT instrukciju pret savu izstrādes datubāzi.
• Vienmēr pārskati kolonnu tipus, pirms izpildi ģenerēto SQL pret reālu tabulu — šis rīks secina skaitlisku vai teksta tipu ar vienkāršu heiristiku, nevis pēc tavas faktiskās shēmas, tāpēc vesela skaitļa kolonnai ar konkrētu formātu var būt vajadzīga manuāla korekcija.
• Ja ir tūkstošiem rindu, viena vairāku rindu INSERT instrukcija, ko rada šis rīks, joprojām ir derīgs SQL, bet ļoti lielas instrukcijas var sasniegt datubāzes maksimālo pakotnes izmēru — sadali CSV mazākos gabalos, ja saskaries ar šo ierobežojumu.

Kāpēc NULL, nevis tukša virkne

Izplatīta kļūda, ar roku rakstot CSV-uz-SQL skriptus, ir katras trūkstošas šūnas uzskatīšana par tukšu virkni ''. Tas ir tehniski derīgs SQL, bet parasti nenozīmē to, ko vēlies: vesela skaitļa kolonna pilnībā noraidīs '', un pat teksta kolonnā '' klusi nozīmē kaut ko citu nekā "mēs nezinām šo vērtību" lielākajā daļā shēmu dizainu un pārskatu vaicājumu (WHERE column IS NULL pārbaude nesakritīs ar tukšām virknēm un otrādi). NULL izmantošana tukšām šūnām atbilst semantikai, ko sagaida lielākā daļa datubāzu un ORM, un tas novērš tipu kļūdas, ja skaitliskā kolonnā dažām rindām gadās iztrūkstošas vērtības.

Biežāk uzdotie jautājumi