Fai studi di ricerca sul Web visionari utilizzando Deep Web Data e query Web di Excel

Cosa diresti se ti dicessi che hai gli strumenti a tua disposizione per fare ricerche rivoluzionarie e sconvolgenti? Bene, lo fai, e ti mostrerò come.

Governi, istituzioni accademiche e organizzazioni di ricerca senza scopo di lucro pubblicano tabelle piene di dati di pubblico dominio. Senza nessuno che usi questa informazione, il suo vero valore non sarà mai conosciuto. Sfortunatamente, poche persone hanno l'intuizione, le competenze o gli strumenti per prendere i dati e creare correlazioni interessanti tra informazioni apparentemente non connesse.

sfondo

Molte delle ricerche che faccio per il mio blog riguardano lo scavare attraverso il cosiddetto invisibile web 10 motori di ricerca per esplorare il web invisibile 10 motori di ricerca per esplorare il web invisibile Abbiamo familiarità con il web. Ma lo sapevate che esiste una vasta quantità di informazioni che i motori di ricerca come Google non hanno accesso diretto? Questa è la rete invisibile. Per saperne di più, per scoprire i dati che sono stati resi pubblici, ma nascosti ai motori di ricerca I 5 motori di ricerca più avanzati sul Web I 5 motori di ricerca più avanzati sul Web Ulteriori informazioni all'interno di un database online. Questo è il deep web TorSearch mira ad essere il Google per il Deep Web TorSearch si propone di essere il Google per il Deep Web Tor è un servizio nascosto e parte del Deep Web. TorSearch è un nuovo motore di ricerca anonimo che il suo fondatore Chris MacNaughton vuole realizzare “Google di Tor”. Leggi di più, ed è pieno di dati preziosi. Molto spesso, mi imbatto in pagine web solo piene zeppe di alcuni dei dati più preziosi su argomenti che vanno dai dati del censimento agli studi epidemiologici sulle malattie rare. Ho sempre nuove idee su come provare e correlare queste diverse fonti di dati usando vari strumenti - e uno degli strumenti più preziosi che ho trovato è la Query Web all'interno di Microsoft Excel.

Trovare correlazioni interessanti di dati

Quello che sto per mostrarti oggi è un esempio di come puoi utilizzare Query Web di Excel per estrarre dati da siti Web diversi e confrontarli tra loro per cercare potenziali correlazioni tra i dati.

Il modo di iniziare un esercizio come questo è quello di trovare un'ipotesi interessante. Per esempio - per mantenere le cose interessanti qui - ho intenzione di postulare casualmente che i tassi di autismo alle stelle negli Stati Uniti sono causati da vaccinazioni vaccinali o dalla crescente presenza di campi elettromagnetici all'interno e intorno ai bambini, come i telefoni cellulari. È un'ipotesi pazzesca a cui piace trovare molti siti di teoria della cospirazione, ma è questo che rende questo divertimento. Quindi iniziamo, dobbiamo?

Innanzitutto, apri Excel, vai alla voce di menu dati e trova il file “Dal Web” icona nella barra dei menu.

Questo è ciò che utilizzerai per importare le diverse tabelle di dati dai molti siti Web che li hanno pubblicati.

Importazione di dati Web in Excel

Quindi, in passato dovevi provare a copiare i dati da quella tabella su una pagina web, incollarla in Excel e poi occuparti di tutti i pazzi problemi di formattazione coinvolti nel farlo. Problema totale, e un sacco di volte non vale il mal di testa. Bene, con Query Web Excel, quei giorni sono finiti. Ovviamente, prima di poter importare i dati, Google dovrà orientarsi nel Web per trovare i dati necessari in formato tabella. Nel mio caso, ho trovato un sito web che aveva pubblicato le statistiche del Dipartimento dell'istruzione per il numero di studenti delle scuole pubbliche statunitensi identificati come autistici. Un bel tavolo ci ha fornito numeri dal 1994 fino al 2006.

Quindi basta cliccare “Dal Web”, incolla l'URL della pagina web nel campo dell'indirizzo della query, quindi scorri la pagina finché non vedi la freccia gialla accanto alla tabella con i dati che desideri importare.

Fare clic sulla freccia in modo che diventi un segno di spunta verde.

Infine, indica a Excel in quale campo desideri incollare i dati della tabella all'interno del tuo nuovo foglio di lavoro.

Quindi - Voila! I dati vengono trasferiti automaticamente nel tuo foglio di lavoro.

Quindi, con una tendenza dei tassi di autismo delle scuole pubbliche dal 1996 al 2006, è ora di andare alla ricerca di vaccinazioni e tendenze di utilizzo dei cellulari.

Fortunatamente, ho rapidamente trovato tendenze per gli abbonati al telefono cellulare negli Stati Uniti dal 1985 al 2012. Dati eccellenti per questo particolare studio. Ancora una volta, ho usato lo strumento Excel Web Query per importare quella tabella.

Ho importato quel tavolo in un nuovo foglio pulito. Poi, ho scoperto le tendenze di vaccinazione per percentuale di bambini in età scolare vaccinati per diverse malattie. Ho importato quella tabella utilizzando lo strumento Query Web in un terzo foglio. Così, finalmente, avevo tre fogli con le tre tabelle piene dei dati apparentemente non connessi che avevo scoperto sul web.

Il passaggio successivo consiste nell'utilizzare Excel per analizzare i dati e cercare di identificare eventuali correlazioni. È qui che entra in gioco uno dei miei strumenti di analisi dei dati preferiti: la tabella pivot.

Analizzare i dati in Excel con la tabella pivot

È meglio creare la tabella pivot in un foglio nuovo e vuoto. Vuoi usare il wizard per quello che stai per fare. Per abilitare la procedura guidata di tabella pivot in Excel, è necessario premere Alt-D contemporaneamente finché non viene visualizzata una finestra di notifica. Quindi rilasciare quei pulsanti e premere il tasto “P” chiave. Quindi, vedrai apparire il wizard.

Nella prima finestra della procedura guidata, si desidera selezionare “Più intervalli di consolidamento”, che ti permette di selezionare i dati da tutti i fogli che hai importato. In questo modo, puoi consolidare tutti i dati apparentemente non correlati in un unico potente pivotable. In alcuni casi, potrebbe essere necessario massaggiare alcuni dati. Ad esempio, ho dovuto risolvere il “Anno” campo nella tabella autismo in modo che mostrasse “1994” invece di “1994-1995” - rendendolo allineato meglio con le tabelle degli altri fogli, che avevano anche il campo dell'anno primario.

Quel campo comune tra i dati è quello di cui hai bisogno per provare a mettere in correlazione le informazioni, quindi tienilo a mente quando cerchi il Web per i tuoi dati.

Una volta che la tabella pivot è terminata e hai tutti i diversi valori di dati visualizzati in una tabella, è tempo di fare un'analisi visiva per vedere se c'è una connessione ovvia che ti salta addosso.

La visualizzazione dei dati è la chiave

Avere un sacco di numeri in un tavolo è fantastico se sei un economista, ma il modo più semplice e veloce per farlo “aha!” momento in cui stai cercando di trovare connessioni come un ago in un pagliaio, è tramite grafici e grafici. Una volta installato il grafico pivot con tutti i set di dati raccolti, è il momento di creare il grafico. Di solito un grafico a linee funziona meglio, ma dipende dai dati. Ci sono momenti in cui un grafico a barre funziona molto meglio. Cerca di capire che tipo di dati stai guardando e in che modo i confronti dei moduli funzionano meglio.

In questo caso, sto guardando i dati nel tempo, quindi un grafico a linee è davvero il modo migliore per vedere le tendenze nel corso degli anni. Valutare i tassi di autismo (verde) contro i tassi di vaccinazione ridotti (blu scuro), i vaccini contro il pollame (blu chiaro) e l'uso del cellulare (viola), una strana correlazione è apparso improvvisamente in questo campione di dati con cui stavo giocando.

Stranamente, la tendenza nell'uso del telefono cellulare dal 1994 al 2006 ha quasi coinciso perfettamente con l'aumento dei tassi di autismo nello stesso periodo di tempo. Anche se il pattern era completamente inaspettato, è un perfetto esempio di come legare insieme dati interessanti può rivelare conduttori affascinanti - fornendoti maggiore intuizione e motivazione per continuare a spingere e cercare più dati che possano ulteriormente rafforzare la tua ipotesi.

Una correlazione come quella sopra non dimostra nulla. Ci sono un sacco di tendenze che aumentano nel tempo - il modello potrebbe essere una coincidenza, ma potrebbe anche essere un indizio importante nella tua continua ricerca di più dati su Internet. Per fortuna, hai un potente strumento chiamato Excel Web Queries che renderà questa ricerca un po 'più semplice.

Credito fotografico: Kevin Dooley tramite photopin cc

Scopri di più su: Microsoft Excel.