2017. november 12., vasárnap

https://medium.com/@karpathy/software-2-0-a64152b37c35

https://medium.com/@karpathy/software-2-0-a64152b37c35
https://medium.com/@karpathy/software-2-0-a64152b37c35

4 megjegyzés:

  1. A cikk olvasása közben felmerült bennem egy kérdés. Csak alapismereteim vannak a neurális hálózatokról, így nem tudom megválaszolni, hogy ha egy neurális hálót betanítunk arra, hogy adjon össze számokat, és már tudja, mennyi 1+1, 2+3, 4+2, stb. (tetszőleges véges sorozat), akkor vajon bármilyen két számot össze fog tudni adni? Igazából nem-et mondanék rá, de nem vagyok benne biztos - ha valaki el is tudná magyarázni, miért az a helyes válasz, ami, azt megköszönném.

    VálaszTörlés
  2. Úgy nem tudod szerintem betanítani összeadni, hogy csak úgy megtolod egy adathalmazzal. Azt viszont meg tudod tenni, hogy betanítod 2 számjegy összegének az előállítására, és ezt valami visszacsatolt struktúrába teszed. Szóval ami igazából a lényeg amit a srác is ír itt, hogy nagyon fontos, hogy hogy vannak előemésztve az adatok, mi az amivel pontosan tanítunk, stb. Tehát a neurális háló mellé ugyanúgy kelleni fog programozó, aki viszont nem algoritmust ír, hanem megfeelő formába hozza az adatokat a tantáshoz. Egyébként ez megvan a természetben is. Ha kivennéd egy ember agyát, és mindenféle adathalmazokat kötnél a neuronokra, nem lenne belőle semmi értelmes. Kellenek az érzékszervek, amik megfelelő formába hozzák az adatokat, fontos az agy előhuzalozása, stb. amit sok milliárd évnyi evolúció alakított ki.

    VálaszTörlés
  3. Igazából arra lennék kíváncsi, hogy meg lehet-e tanítani egy neurális hálót következtetéseket levonni. Tehát ha betanítom, hogy a+b=c és d+e=f, akkor ha megkérdezem tőle, mennyi a+b+c+d, akkor tudja a választ.

    VálaszTörlés
  4. Ez is szerintem adat ábrázolás kérdése. Elvileg a visszacsatolt hálók Turing teljesek, tehát bármilyen aloritmust betaníthatsz egy neurális hálónak. Szóval elméletileg bármilyen algoritmushoz vagy tudáshoz létezik egy súlymátrix. Ezt kell megtalálnod. Tehát annak a tudásnak is van valami reprezentációja, hogy a + b = c és d + e = f akkor a+b+d+e=c+f. A kérdés, hogy hogy tudod erre emberi időben betanítani. Maga a következtetés levonás amúgy szerintem nem olyan egyszerű dolog, hogy fogsz egy nyers adathalmazt, rákötöd egy hálóra, és az majd kitalálja az összefüggéseket. Van pl. a Google-nek a prediction API-ja, ami ezt csinálja, de az is úgy működik, hogy kipróbál X db modellt, és amelyik legjobban illeszkedik, azt használja.

    VálaszTörlés