Hajautettu syvä oppiminen CaffeOnSpark

Distributed Deep Learning Caffeonspark



CaffeOnSpark yksityiskohtainen esittely

Monet nykyiset DL-kehykset vaativat erillisen klusterin syvälliseen oppimiseen, ja tyypillinen koneoppimisputki vaatii monimutkaisen ohjelman luomisen (katso kuva 1). Erilliset klusterit edellyttävät suurten tietojoukkojen siirtämistä niiden välillä, joten järjestelmän monimutkaisuus ja päähän-oppimisen viivästyminen ovat kutsumattomia.



Kuva 1 ML-putkisto, joka erottaa klusterin monimutkaiset ohjelmat




Yahoo uskoo, että syvällisen oppimisen tulisi olla samassa klusterissa kuin nykyiset tietojenkäsittelyputket, jotka tukevat ominaisuuksien suunnittelua ja perinteistä (ei-syvää) koneoppimista. CaffeOnSpark luotiin mahdollistamaan syvällisen oppimisen kouluttaminen ja testaaminen upotettavaksi Spark-sovelluksiin (kuva 2).



Kuva 2 ML-putki yhdestä ohjelmasta yhdessä klusterissa


CaffeOnSpark: API ja määritykset sekä CLI

CaffeOnSpark on suunniteltu Sparkin syväoppimispaketiksi. Spark MLlib tukee erilaisia ​​ei-syvällisiä oppimisalgoritmeja luokittelussa, regressiossa, klusteroinnissa, suosituksissa jne., Mutta tällä hetkellä puuttuu syvällisen oppimisen keskeinen kyky, ja CaffeOnSpark pyrkii täyttämään tämän aukon. CaffeOnSpark-sovellusliittymä Tukee datakehyksiä, jotka helpottavat yhteyden muodostamista harjoittelutietojoukkoihin, jotka ovat valmiita käyttämään Spark-sovelluksia, sekä mallien ennusteiden tai keskikerroksen ominaisuuksien purkamista MLLib- tai SQL-datan analysointia varten.



Kuva 3 CaffeOnSparkista tulee Sparkin syväoppimispaketti

järjestelmän rakenne:

CaffeOnSpark-järjestelmäarkkitehtuuri on esitetty kuvassa 4 (ei muutosta edelliseen verrattuna). Sparkin suorittajassa Caffe-moottori on GPU-laitteessa tai CPU-laitteessa kutsumalla JNI-taso hienorakeista muistinhallintaa. Toisin kuin perinteiset Spark-sovellukset, CaffeOnSparkin johtajat kommunikoivat MPI allreduce -tyyppisen käyttöliittymän ja TCP / Ethernet- tai RDMA / Infiniband-yhteyden kautta. Tämän Spark + MPI -arkkitehtuurin avulla CaffeOnSpark saavuttaa samanlaisen suorituskyvyn kuin oma syväoppimisklusteri.

Monet syvällisesti oppivat työpaikat ovat pitkäaikaisia ​​toimintoja, ja on tärkeää käsitellä mahdollisia järjestelmän vikoja. CaffeOnSpark tukee säännöllistä tilannekuvan harjoittelun tilaa, joten työn epäonnistumisen jälkeen se voidaan palauttaa edelliseen tilaan. A

Yahoo on käyttänyt CaffeOnSparkia useissa projekteissa. Esimerkiksi Flickr-tiimi on kouluttanut CaffeOnSparkia Hadoop-klustereille miljoonilla valokuvilla parantamaan merkittävästi kuvan tunnistamisen tarkkuutta. Syvälle oppivat tutkijat voivat nyt testata CaffeOnSparkia AWS EC2 -pilvessä tai itse rakennetussa Spark-klusterissa.


Jos haluat silti oppia Java-tekniikkaa, korkean suorituskyvyn ja hajautetun, helposti ymmärrettävän. Suorituskyvyn viritys, kevät, MyBatis, Netty-lähdekoodianalyysi ja muut tietopisteet voivat tulla minulle.

Ja nyt minulla on foorumi, jonka avulla voit oppia, antaa sinun kerätä kokemusta käytännössä ja hallita periaatteita. Pääsuunta on JAVA-arkkitehti. Jos haluat saada korkean palkan, haluat murtaa pullonkaulan ja haluat kilpailla muiden kanssa saadaksesi edun, haluat osallistua BAT: iin, mutta olet huolissasi haastattelusta, voit lisätä Java-arkkitehtuurin edistyneen ryhmän: 514790886

Huomaa: Lisää ryhmän vaatimukset

1. Voidaan lisätä niitä, joilla on 2–5 työkokemusta ja jotka eivät tiedä mistä aloittaa nykyisen suositun tekniikan edessä ja joiden on läpäistävä tekniset pullonkaulat.

2. Pitkän työskentelyn jälkeen yrityksessäni minulla oli hyvin mukava elämä, mutta haastattelu osui seinään, kun vaihdoin työpaikkaa. Ne, joiden on opiskeltava lyhyessä ajassa ja vaihdettava työpaikkaa, voivat saada korkeamman palkan.

3. Jos sinulla ei ole työkokemusta, mutta perusta on erittäin vankka, voit lisätä Java-työskentelymekanismiin, yhteisiin suunnitteluideoihin ja yhteisiin Java-kehityskehyksiin.

4. Tunnen olevani erittäin hyvä. Voin saada yleiset tarpeet. Opitut tietopisteet eivät kuitenkaan ole systemaattisia, ja teknisen alan läpimurtoa on edelleen vaikea jatkaa.

5. Alibaba Java vanhempi Daniel suorana lähetyksenä selittää tietopisteitä, jakaa tietoa, lajitella ja tiivistää monivuotinen työkokemus, saada jokainen luomaan oma tekninen järjestelmä ja tekninen kognitio kattavasti ja tieteellisesti!

6. Ei trumpetti plus -ryhmää ole koskaan annettu, kiitos.