Come dividere un foglio di calcolo CSV Excel enorme in file separati

Excel è eccellente in tante attività quotidiane. Ma di tanto in tanto, si incontra uno dei suoi difetti: la dimensione di un foglio di calcolo. Se hai bisogno di sapere come ridurre un foglio di calcolo di Excel o come dividere un CSV di grandi dimensioni, abbiamo coperto.

Colpire il limite della riga del foglio di calcolo è un compito piuttosto serio in sé e per sé. Il limite di riga del foglio di calcolo Excel corrente è 1.048.576. Esatto, oltre 1 milione di righe e la stessa quantità di colonne.

Ma il raggiungimento di quel limite di righe è in realtà incredibilmente facile, durante determinati compiti. Se stai facendo marketing via email, potresti importare un file CSV Come importare i dati in Excel I fogli di calcolo in modo semplice e intuitivo Come importare i dati in Excel I fogli di calcolo in modo semplice e intuitivo Hai mai avuto problemi con l'importazione o l'esportazione di dati in un foglio di calcolo? Questo tutorial ti aiuterà a padroneggiare l'arte dello spostamento dei dati tra Microsoft Excel, CSV, HTML e altri formati di file. Leggi di più contenente milioni di indirizzi email. L'unico problema è come si gestisce effettivamente un foglio di calcolo con quel numero di indirizzi? Inoltre, cosa succede se qualcuno ti invia un CSV che è già oltre il limite (da un altro programma)?

Bene, ho intenzione di mostrarti come abbattere quell'enorme CSV in pezzi facilmente gestibili.

(Non hai a disposizione un CSV di grandi dimensioni? Ci sono alcuni set di dati CSV piuttosto grandi 15 Database online di grandi dimensioni che dovresti conoscere 15 enormi database online che dovresti sapere su Internet documenta tutto.Alcuni di questi dati si concentrano in enormi knowledgebase. loro enciclopedie o database online - la domanda è, conosci le migliori? Leggi di più su data.gov. Userò la lista Confronto Hospital di 260.000 file, così puoi usare lo stesso file).

1. Utilizzare un programma

Ci sono un certo numero di programmi di splitter CSV utili là fuori. Ti mostrerò due dei migliori.

CSV Chunker

CSV Chunker è uno splitter CSV open source. Può gestire file di grandi dimensioni, suddividendoli rapidamente in blocchi di tua scelta. Ci sono voluti circa 3 secondi per dividere il nostro ospedale Confronta CSV in 106 blocchi, contenenti 2.500 file ciascuno.

CSV Splitter

CSV Splitter è il nostro secondo strumento. Offre la stessa funzionalità di CSV Chunker, anche se con un design leggermente più elegante. CSV Splitter ha impiegato circa 4 secondi per dividere il nostro ospedale Confronta CSV in 106, di nuovo contenente 2.500 file ciascuno.

2. Utilizzare un file batch

Next up, un file batch programmabile Come scrivere un file BAT (Simple Batch) Come scrivere un file BAT (Simple Batch) I file batch possono automatizzare le attività quotidiane del computer. Ecco come funzionano i file batch e come scrivere il tuo primo script batch. Leggi di più . Possiamo utilizzare un file batch per elaborare il CSV in blocchi più piccoli, personalizzando il file in modo da fornire diversi blocchi.

Apri un nuovo documento di testo. Copia e incolla quanto segue:

@echo off setlocal ENABLEDELAYEDEXPANSION REM Modifica questo valore per modificare il nome del file che deve essere suddiviso. Includi l'estensione. SET BFN = HCAHPSHospital.csv REM Modificare questo valore per modificare il numero di righe per file. SET LPF = 2500 REM Modificare questo valore per cambiare il nome di ciascun file breve. Sarà seguito da un numero che indica dove si trova nella lista. SET SFN = HosptialSplitFile REM Non modificare oltre questa linea. SET SFX =% BFN: ~ -3% SET / A LineNum = 0 SET / A FileNum = 1 Per / F "delim ==" %% l in (% BFN%) Do (SET / A LineNum + = 1 echo %% l >>% SFN%! FileNum!.% SFX% se! LineNum! EQU! LPF! (SET / A LineNum = 0 SET / A FileNum + = 1)) endlocal Pause

Dovrai configurare il file batch prima di eseguirlo. Ti dirò che cosa fa ciascun comando e puoi modificarlo in base alle dimensioni del tuo file batch e all'output richiesto.

• “SET BFN =” dovrebbe puntare al CSV che devi abbattere
• “SET LPF =” è il numero di righe in cui desideri limitare il tuo nuovo file
• “SET SFN =” è il nuovo schema di denominazione per i file divisi

Una volta che hai inserito le tue variabili, vai a File> Salva come. Scegli il nome del file e seleziona Salvare. Quindi, selezionare il file di testo appena salvato e premere F2 per rinominarlo. Sostituire l'estensione TXT con BAT e premere ok quando compare l'avviso. Ora puoi dividere il tuo grande CSV!

Vi avverto però, questo metodo richiede del tempo. Probabilmente stai meglio usando uno dei suddetti splitter.

Lo script e il thread originali possono essere trovati qui.

3. Utilizzare uno script PowerShell

I file batch sono utili. Puoi usarli per una vasta gamma di attività quotidiane. Ma gli script di PowerShell sono più grandi e più veloci, specialmente per questo tipo di elaborazione e divisione.

Il seguente script taglierà rapidamente il tuo CSV di grandi dimensioni in file più piccoli. Ancora una volta, ho utilizzato l'ospedale Confronta CSV per il mio esempio. Ci sono voluti circa 3 secondi per l'esecuzione del comando. Apri Windows PowerShell ISE. Se non sei sicuro su come farlo, digita powershell ise nella ricerca del menu Start e seleziona l'opzione corrispondente. Quando il PowerShell ISE è aperto, selezionare il Mostra script freccia, posizionata nell'angolo in alto a destra (delineata in rosso nell'immagine in basso).

Copia e incolla il seguente comando nel pannello di script, nella parte superiore dello schermo.

$ I = 0; Get-Content C: \ Users \ Gavin \ Download \ Hospital_Revised_Flatfiles \ HCAHPSHospital.csv -ReadCount 2500 | % $ I ++; $ _ | File esterno C: \ Users \ Gavin \ Download \ Hospital_Revised_Flatfiles \ split \ splitfile_ $ i.csv

Innanzitutto, è necessario modificare la posizione del file di input. In secondo luogo, è necessario specificare il numero di righe che i file di output devono contenere. Infine, specifica la posizione del file di output. Ho lasciato i miei percorsi di file lì per illustrare la situazione. Inoltre, il tuo nome file di output deve avere il “_ $ I.csv”suffisso corrispondente al mio. In caso contrario, i file di output non verranno numerati correttamente.

Dopo aver modificato il file con i propri dati, premere CTRL + S per salvare il tuo script.

Lo script originale può essere trovato qui.

4. Caricalo in un modello di dati

La nostra soluzione finale non è in realtà dividere il CSV di grandi dimensioni in parti più piccole. Vedi, Jose Barreto, un membro del team di OneDrive, ha recentemente illustrato esattamente come caricare un file CSV di grandi dimensioni in Excel. In questo caso, mezzi grandi oltre il limite di 1.048.567 righe. Spiega in un tutorial che invece di caricare effettivamente il file, Excel 2016 può creare un collegamento dati al file CSV.

I dati dal CSV originale saranno disponibili per l'utente all'interno di un modello di dati. Barreto ha creato una tabella pivot usando “fino a 8,5 milioni di file senza alcun problema.” L'immagine sopra è tratta dal post del blog di Barreto (link sotto), che mostra un totale di 2 milioni di righe all'interno di Excel. (Scopri come utilizzare una tabella pivot per l'analisi dei dati Come utilizzare una tabella pivot di Excel per l'analisi dei dati Come utilizzare una tabella pivot di Excel per l'analisi dei dati La tabella pivot è uno dei singoli strumenti più potenti nel repertorio di Excel 2013. frequentemente utilizzato per analisi di grandi quantità di dati. Segui la nostra dimostrazione passo-passo per imparare tutto su di esso. Per saperne di più.)

Se questa è la soluzione che fa per te, segui il tutorial dettagliato di Jose Barreto qui. Ricorda, questo non sta dividendo il CSV, ma significa che puoi manipolare i tuoi dati all'interno di determinati strumenti di Excel Come visualizzare l'analisi dei dati con Power Tools di Excel Come visualizzare l'analisi dei dati con gli strumenti di Excel Excel lo sta uccidendo con il suo avanzato caratteristiche di gestione dei dati. Una volta che hai usato uno dei nuovi strumenti, li vuoi tutti. Diventa un maestro della tua analisi dei dati con gli utensili elettrici! Leggi di più . Se accedi ai tuoi dati per interagire direttamente con essi, potrebbe valere la pena provare.

Abbattilo!

Abbiamo elencato quattro soluzioni per scomporre i tuoi file CSV, inclusi due strumenti diversi.

Delle quattro soluzioni, il file batch è probabilmente il più lento 5 motivi per cui utilizzare PowerShell anziché script batch 5 motivi per cui utilizzare PowerShell anziché script batch PowerShell è ciò che si otterrebbe se si attraversasse il prompt dei comandi con lo script batch e si lanciasse in alcune funzioni extra, e ha dato un calcio a tutte le tacche. Qui ci sono diversi motivi per cui dovresti provarlo. Leggi di più . Lo script PowerShell è veloce e facilmente personalizzabile, mentre le due applicazioni sono semplici da utilizzare. Infine, hai la possibilità di importare direttamente i tuoi dati in Excel, da milioni di righe.

Quale metodo scegli? E hai altri suggerimenti? Si prega di condividere con noi nei commenti!

Immagine di credito: lucadp / Depositphotos

Scopri di più su: Microsoft Excel, foglio di calcolo.