Fac Știința Datelor în Cloud cu ScraperWiki

Dacă aveți copiile mentale, un flair pentru programare și povestiri și un ochi al designului, puteți face mai rău decât să ajungeți în știința datelor. Este noul lucru important în tehnologie; foarte trendy și foarte bine plătite, cercetătorii de date fiind căutați de unele dintre cele mai mari companii din lume.

ScraperWiki este o companie care a fost asociată de mult timp cu domeniul științei datelor. În ultimii ani, această pornire bazată pe Liverpool a oferit o platformă pentru coderi pentru a scrie instrumente care obțin date, curăță-o și analizează-o în cloud.

Având o recentă actualizare și cererea din ce în ce mai mare pentru oamenii de știință din cadrul întreprinderii, merită să luați o privire bună la ScraperWiki.

Dezvăluirea completă: Am fost intern la ScraperWiki vara trecută.

Ce face ScraperWiki?

ScraperWiki se comercializează ca un loc pentru a obține, curăța și analiza date și oferă pe fiecare dintre aceste contează. În forma sa cea mai simplă, vă permite - utilizatorul - un loc în care puteți scrie codul care preia datele dintr-o sursă, instrumentele pentru a-l converti într-un format ușor de analizat și pentru a le păstra pentru o vizualizare ulterioară - pe care tu se poate ocupa, de asemenea, cu ScraperWiki.

De asemenea, vine cu un număr de instrumente pre-construite care automatizează sarcini repetitive, inclusiv obținerea datelor din PDF-uri, care sunt dificil de decodificat. Acest lucru este în plus față de Twitter căutarea 5 Cool Twitter Trucuri de căutare pentru a monitoriza ceea ce spun oamenii despre tine 5 Cool Trucuri Twitter Twitter pentru a monitoriza ceea ce spun oamenii despre tine Dacă dețineți un site web sau sunt doar încearcă să câștige bani online ca un freelancer, este întotdeauna bine să știți ce spun oamenii despre dvs. prin Internet. Oamenii s-ar putea cita ... Citeste mai mult si dezmembrarea utilitatilor. Nu aveți nevoie de experiență de dezvoltare software pentru a le utiliza.

Cost

Așa cum am menționat anterior, ScraperWiki cuprinde modelul de prețuri Freemium și oferă un serviciu care are mai multe niveluri. Cei care au început doar cu știința datelor sau cu nevoi limitate pot folosi serviciul gratuit. Aceasta vă oferă trei seturi de date - unde stocați datele și codul.

Cei care intenționează să scrie mai mulți scraperi sau care doresc să facă munți de analiză a datelor pot să furnizeze niște bani pentru un cont premium. Acestea încep de la 9 USD pe lună și oferă 10 seturi de date. Dacă acest lucru nu este încă suficient, puteți oricând să faceți upgrade la cel mai înalt nivel, care vine cu 100 de seturi de date și costă 29 USD pe lună.

Codificare

Programatorii sunt deseori destul de speciali când vine vorba de modul în care codifică. Unii preferă limbile de scripting peste limbile compilate. Unii preferă experiența partajată a unui editor de text față de cea a unui mediu integrat de dezvoltare (IDE). ScraperWiki recunoaște acest lucru și oferă utilizatorului o cantitate foarte mare de opțiuni atunci când vine vorba de modul în care vă scrieți codul.

Dacă sunteți atât de înclinat, puteți scrie codul în browser. Așa cum v-ați aștepta de la orice profesionist, bazate pe web IDE-ul bazat pe browser-ul de top 3 pentru a codifica în cloud Top 3 bazate pe browser-IDE pentru a codului în Cloud Read More instrument de dezvoltare, aceasta vine cu caracteristici care orice programator ar considera esențial, cum ar fi evidențierea sintaxei.

Există un număr de limbi în ofertă. Acestea includ Python Cele 5 cele mai bune site-uri Web pentru a învăța Python Programarea Cele mai bune 5 site-uri pentru a afla Python Programming Vrei să înveți programarea Python? Iată cele mai bune modalități de a învăța Python online, dintre care multe sunt gratuite. Citiți mai mult, un limbaj popular de scripting folosit de Google și NASA; Ruby 3 Interactive, distracție, modalități gratuite de a începe învățarea limbajului de programare Ruby 3 Moduri interactive, distractive, gratuite pentru a începe să învățați Limba de programare Ruby Ruby este un limbaj expresiv, foarte la nivel de scripting. Acesta este folosit pe Web, în ​​principal, ca parte a cadrului de dezvoltare web Ruby on Rails, dar și standalone. Dacă sunteți curios despre ceea ce Ruby (nu ... Citește mai mult, care împuternicește o serie de site-uri populare precum Living Social și limba populară de analiză statistică R.

În plus, puteți scrie și codul din linia de comandă utilizând SSH, Git și orice editor de text care vă place să utilizați. Da, ai citit asta. SSH Ce este SSH și cum este diferit de FTP [Tehnologie Explained] Ce SSH este și cum este diferit de FTP [Tehnologie Explained] Citește mai mult. Fiecare casetă pe care o utilizați este contul său propriu Linux și sunteți capabil să vă conectați la el ca și cum ați avea un VPS sau orice alt cont shell. Există un număr de editori de text disponibile, inclusiv Vim Top 7 motive pentru a da editorul de text Vim O șansă Top 7 motive pentru a da Editorul Text Vim o șansă De ani de zile, am încercat un editor de text după altul. Tu numești, am încercat. Am folosit fiecare dintre acești editori timp de peste două luni ca editor principal al zilei de zi. Cumva, eu ... Citește mai multe care pot fi extinse cu plugin-uri și prin editarea configurației. Cei intimidați de Vim pot folosi Nano, un editor de text ușor de linie de comandă.

Bibliotecile instalate ar trebui să fie suficiente pentru scrierea de instrumente pentru preluarea datelor și prelucrarea acestora. Dacă aveți nevoie de ceva mai puțin obscur, puteți crea întotdeauna un virtualenv din linia de comandă. După cum puteți vedea, există o mare cantitate de flexibilitate oferită dezvoltatorilor.

Vizualizarea datelor

Deci, ți-ai luat datele. L-ai normalizat. Ai curățat-o. Ai analizat-o. Acum este momentul să faceți o vizualizare și să arătați lumii ceea ce ați învățat.

ScraperWiki permite dezvoltatorilor să-și afișeze datele folosind pagini web construite din cele mai cunoscute trifecta HTML, CSS și JavaScript. În plus, componentele Bootstrap sunt acceptate din cutie.

Există o serie de vizualizări pre-făcute disponibile, inclusiv cele care vă plasează datele pe o hartă și găsesc tendințe în constatările dvs. Pentru a le utiliza, trebuie să vă asigurați că datele dvs. sunt stocate ca fișier SQLite cu numele de fișier "scraperwiki.sqlite". Apoi pur și simplu adăugați vizualizarea care vă interesează. Simplu, corect?

Concluzie

ScraperWiki oferă o mulțime dezvoltatorilor care doresc să facă o analiză a datelor fără ca mediul lor de dezvoltare să devină în cale, având în același timp flexibilitatea de a satisface chiar și cei mai exigenți utilizatori. Dar ce crezi? Anunță-mă în comentariile de mai jos.
Creditul fotografiei: Rocket Science (Dan Brown)

Explorați mai multe despre: Cloud Computing, Web Analytics.