Studiile vizuale de cercetare Web folosesc date Web profunde și interogări Web Excel

Ce-ai spune dacă ți-aș spune că ai la dispoziție instrumentele necesare pentru a face cercetări inovatoare și pătrunzătoare? Ei bine, voi, și vă voi arăta cum.

Guvernele, instituțiile academice și organizațiile de cercetare nonprofit publică tabele pline de date către domeniul public. Fără ca cineva să folosească aceste informații, adevărata sa valoare nu va fi niciodată cunoscută. Din păcate, puțini oameni au cunoștințele, abilitățile sau instrumentele necesare pentru a lua datele și pentru a face corelații interesante între informațiile aparent neconectate.

fundal

O mulțime de cercetare pe care o fac pentru propriul meu blog implică săparea prin ceea ce este cunoscut ca web invizibil 10 Motoarele de căutare pentru a explora Web invizibil 10 Motoarele de căutare pentru a explora Web invizibil Suntem familiarizați cu web-ul. Dar ați știut că există o vastă memorie cache a informațiilor pe care motoarele de căutare ca Google nu au acces direct? Aceasta este rețeaua invizibilă. Citește mai mult, pentru a descoperi date care au fost publicate, dar ascunse de motoarele de căutare Cele mai avansate motoare de căutare 5 de pe Web Cele mai avansate motoare de căutare pe Web 5 Citiți mai mult într-o bază de date online. Acesta este web profund TorSearch Obiectivul de a fi Google Pentru Deep Web TorSearch Obiectivul de a fi Google Pentru Deep Web Tor este un serviciu ascuns și o parte din Deep Web. TorSearch este un nou motor de căutare anonim pe care fondatorul său Chris MacNaughton dorește să îl facă “Google din Tor”. Citiți mai multe și este plină de date valoroase. Foarte adesea, întâlnesc pagini web care sunt doar pline cu unele dintre cele mai valoroase date pe teme care rulează gama de date de la recensământ la studii epidemiologice privind bolile rare. Am în mod constant idei noi despre cum să încerc să corelez aceste surse de date diferite utilizând diferite instrumente - și unul dintre cele mai valoroase instrumente pe care le-am găsit este interogarea Web din Microsoft Excel.

Găsirea corelațiilor de date interesante

Ceea ce vă voi arăta astăzi este un exemplu de modul în care puteți utiliza Excel Web Queries pentru a trage date din diferite site-uri web și a le arăta unul împotriva celuilalt pentru a căuta potențiale corelații între date.

Modul de a începe un astfel de exercițiu este de a veni cu o ipoteză interesantă. De exemplu - pentru a păstra lucrurile interesante aici - mă duc să postulăm aleatoriu că ratele de autism crescând în Statele Unite sunt cauzate fie de inocularea vaccinurilor, fie de prezența tot mai mare a câmpurilor electromagnetice în și în jurul copiilor, cum ar fi telefoanele mobile. Este o ipoteză nebună, cum ar fi cele pe care le veți găsi pe cele mai multe site-uri ale teoriei conspirației, dar asta face ceea ce face distractiv. Deci, să începem, să o facem noi?

Mai întâi, deschideți Excel, treceți la elementul de meniu de date și găsiți “De pe Web” pictograma din panglica meniului.

Aceasta este ceea ce veți utiliza pentru a importa diferite tabele de date de pe site-ul web care le-a publicat.

Importarea datelor Web în Excel

Deci, în vremurile vechi ar trebui să încercați să copiați datele din acel tabel pe o pagină web, să le lipiți în Excel și apoi să rezolvați toate problemele de formatare nebune implicate în acest lucru. Total hassle, și de multe ori pur și simplu nu merită durerea de cap. Cu Excel Web Queries, acele zile au dispărut. Desigur, înainte de a putea importa datele, va trebui să vă deplasați pe Google în jurul Web-ului pentru a găsi datele de care aveți nevoie în formatul de tabel. În cazul meu, am găsit un site care a publicat statisticile Departamentului Educației pentru numărul studenților din școlile publice din S.U.A., care au fost identificați ca având autism. O masă frumoasă a oferit numere din 1994 până în 2006.

Deci, faceți doar clic pe “De pe Web”, inserați adresa URL a paginii web în câmpul de adresă a interogării și apoi derulați în jos pagina până când vedeți săgeata galbenă de lângă tabel cu datele pe care doriți să le importați.

Faceți clic pe săgeată pentru a deveni o marcaj verde.

În cele din urmă, spuneți Excel câmpul pe care doriți să-l inserați în interiorul noii foi de calcul.

Atunci - Voila! Datele se strecoară automat în foaia de calcul.

Deci, cu o tendință de rate ale autismului școlar public în perioada 1996-2006, este timpul să ieșim în căutarea vaccinării și a tendințelor de utilizare a telefonului mobil, de asemenea.

Din fericire, am găsit rapid tendințe pentru abonații de telefonie mobilă din SUA din 1985 până în 2012. Date excelente pentru acest studiu special. Din nou, am folosit instrumentul Excel Web Query pentru a importa acel tabel.

Am introdus masa într-o foaie nouă și curată. Apoi, am descoperit tendințele de vaccinare pentru procentul copiilor școlari vaccinați pentru diferite boli. Am importat acel tabel utilizând instrumentul Interogare Web într-o a treia pagină. În cele din urmă, am avut trei foi cu cele trei tabele pline de datele aparent neconectate pe care le-am descoperit pe Web.

Următorul pas este să utilizați Excel pentru a analiza datele și pentru a încerca să identificați corelațiile. Aici intră în joc unul dintre instrumentele mele preferate de analiză a datelor - PivotTable.

Analiza datelor în Excel cu PivotTable

Cel mai bine este să creați PivotTable într-o foaie nouă, goală. Doriți să utilizați expertul pentru ceea ce urmează să faceți. Pentru a activa expertul PivotTable în Excel, trebuie să apăsați simultan Alt-D până când apare o fereastră de notificare. Apoi eliberați acele butoane și apăsați butonul “P” cheie. Apoi, veți vedea asistentul afișat.

În prima fereastră a expertului, pe care doriți să o selectați “Intervale multiple de consolidare”, care vă permite să selectați datele din toate foile pe care le-ați importat. Făcând acest lucru, puteți consolida toate acele date aparent necorelate într-un singur, pivotabil puternic. În unele cazuri, este posibil să trebuiască să masați unele date. De exemplu, a trebuit să repară “An” câmp în tabelul de autism, astfel încât a arătat “1994” in loc de “1994-1995” - făcându-l mai bine cu tabelele de pe celelalte foi, care aveau, de asemenea, câmpul de primar.

Acest câmp obișnuit între date este ceea ce aveți nevoie pentru a încerca să corelați informațiile, deci țineți minte acest lucru atunci când vânați pe Web datele.

Odată ce PivotTable este terminat și aveți toate valorile diferite ale datelor afișate într-o singură masă, este timpul să faceți o analiză vizuală pentru a vedea dacă există o legătură evidentă care săriți la dvs..

Vizualizarea datelor este cheia

Având o mulțime de numere într-o masă este minunat dacă sunteți economist, dar cel mai rapid și mai ușor mod de a avea “Aha!” momentul în care încerci să găsești conexiuni ca un ac într-o carpa de fân, este prin diagrame și grafice. Odată ce ați implementat PivotChart cu toate seturile de date pe care le-ați colectat, este timpul să vă creați graficul. De obicei, un grafic liniar va face cel mai bine, dar depinde de date. Există momente când o diagramă de bare funcționează mult mai bine. Încearcă să înțelegi ce fel de date te uiți și ce comparații de formă funcționează cel mai bine.

În acest caz, mă uit la date de-a lungul timpului, astfel încât un grafic grafic este într-adevăr cea mai bună modalitate de a vedea tendințele de-a lungul anilor. S-au înregistrat rate ale autismului (verde) în comparație cu ratele de vaccinare scazute (albastru închis), vaccinurile cu pox-pui (albastru deschis) și utilizarea telefonului mobil (purpuriu), o corelare ciudată a apărut brusc în acest set de date cu care mă jucasem.

În mod ciudat, tendința utilizării telefonului mobil în perioada 1994-2006 a fost aproape perfect potrivită pentru urcarea în ratele de autism în aceeași perioadă. În timp ce modelul a fost complet neașteptat, este un exemplu perfect pentru modul în care legarea împreună a datelor interesante poate dezvălui potențiali fascinați - oferindu-vă o perspectivă și o motivație mai puternică pentru a continua să vă împingeți înainte și pentru a căuta mai multe date care pot susține în continuare ipoteza dvs..

O corelație de genul de mai sus nu dovedește nimic. Există o mulțime de tendințe care se ridică în timp - modelul ar putea fi o coincidență, dar ar putea fi, de asemenea, un indiciu important în căutarea în desfășurare a mai multor date pe Internet. Din fericire, aveți un instrument puternic numit Excel Web Queries, care va face căutarea puțin mai ușoară.

Fotografie de credit: Kevin Dooley prin intermediul fotopin cc

Explorați mai multe despre: Microsoft Excel.