Neural processor

En neural processor ( eng.  Neural Processing Unit, NPU eller AI accelerator eng.  AI accelerator ) är en specialiserad klass av mikroprocessorer och samprocessorer (som ofta är en specialiserad integrerad krets ), som används för hårdvaruacceleration av artificiella neurala nätverksalgoritmer , datorseende , röst igenkänning , maskininlärning och andra metoder för artificiell intelligens [1] .

Beskrivning

Neurala processorer är relaterade till datoranvändning och används för hårdvaruacceleration av neurala nätverksemulering och digital signalbehandling i realtid . Som regel innehåller neuroprocessorn register , push- pull-minnesblock , en switch och en datorenhet som innehåller en multiplikationsmatris , avkodare , flip- flops och multiplexorer [2] .

I det nuvarande skedet (från och med 2017) kan klassen av neurala processorer inkludera typer av chips av olika design och specialisering , till exempel:

• Neuromorfa processorer  är byggda på en asynkron klusterarkitektur utvecklad vid Cornell University (fundamentalt skild från de von Neumann- och Harvard -datorarkitekturer som använts i IT - branschen under de senaste 70 åren). Till skillnad från traditionella datorarkitekturer är logiken hos neuromorfa processorer initialt mycket specialiserad för att skapa och utveckla olika typer av artificiella neurala nätverk . Enheten använder vanliga transistorer , från vilka datorkärnorna är byggda (varje kärna innehåller som regel en uppgiftsschemaläggare, sitt eget SRAM- minne och en router för kommunikation med andra kärnor), var och en av kärnorna emulerar arbetet med flera hundra neuroner och därmed en integrerad krets som innehåller flera tusen sådana kärnor kan algoritmiskt återskapa en uppsättning av flera hundra tusen neuroner och en storleksordning fler synapser . Som regel används sådana processorer för djupa maskininlärningsalgoritmer [3] .
• Tensorprocessorer  - enheter är som regel samprocessorer som styrs av den centrala processorn , som arbetar med tensorer  - objekt som beskriver omvandlingen av element i ett linjärt utrymme till ett annat och kan representeras som flerdimensionella arrayer av tal [4] , som bearbetas använder sådana programvarubibliotek , som till exempel TensorFlow . De är vanligtvis utrustade med sitt eget inbyggda RAM -minne och arbetar med lågbitars (8-bitars) tal, och är mycket specialiserade för att utföra operationer som matrismultiplikation och faltning , som används för att emulera faltningsneurala nätverk , som används för maskin inlärningsproblem [5] .
• Machine vision-processorer  - På många sätt liknar tensorprocessorer, men de är mycket specialiserade för att påskynda maskinseende- algoritmer som använder faltningsneurala nätverk (CNN) och tekniker för skalinvariant funktionstransformation (SIFT). De lägger stor vikt vid att parallellisera dataflödet över flera exekveringskärnor , inklusive användningen av scratchpad- modellen. - som i flerkärniga digitala signalprocessorer , och de, liksom tensorprocessorer, används för beräkningar med låg noggrannhet, antagna i bildbehandling [6] .

Historik

Applikationer

• Obemannat fordon – till exempel utvecklar Drive PX-serien  sina brädor i denna riktningNvidia [ 7] [8] .
• Obemannad luftfarkost  - till exempel ett navigationssystem baserat på Movidius Myriad 2- chipshanterar framgångsrikt autonoma obemannade flygfarkoster [9] .
• Diagnostik inom vården .
• Maskinöversättning .
• Naturlig språkbehandling .
• Sökmotor  - NPU:er ökar energieffektiviteten i datacenter och möjliggör allt mer komplexa frågor.
• Industrirobot  - NPU:er låter dig utöka utbudet av uppgifter som kan automatiseras genom att lägga till anpassningsförmåga till föränderliga situationer.
• Röstigenkänning  - till exempel i mobiltelefoner som använder Qualcomm Zeroth- teknik[tio]
• Jordbruksrobot  - till exempel ogräsbekämpning utan användning av kemikalier [11] .

Exempel

Befintliga produkter

• Machine vision-processorer :
  • Intel Movidius Myriad 2, som är en multi-core AI-accelerator baserad på VLIW - arkitekturen med utökade noder dedikerade till videobehandling [6] .
  • Mobileye EyeQ är en specialiserad processor som accelererar bearbetningen av maskinseendealgoritmer för användning i ett obemannat fordon [12] .
• Tensorprocessorer :
  • Google TPU ( eng.  Tensor Processing Unit ) - presenteras som en accelerator för Google TensorFlow- systemet , som används flitigt för konvolutionella neurala nätverk. Fokuserad på en stor mängd 8-bitars precisionsaritmetik [5] .
  • Huawei Ascend 310 / Ascend 910 är de två första AI-optimerade chipsen från Huaweis Ascend-linje [13] .
  • Intel Nervana NNP( eng.  Neural Network Processor ) är den första kommersiellt tillgängliga tensorprocessorn designad för att bygga nätverk för djupinlärning [14] , Facebook var en partner i dess designprocess [15] [16] .
  • Qualcomm Cloud AI 100 är en artificiell intelligensaccelerator designad för användning som en del av molnplattformar som stöder PyTorch , Glow , TensorFlow , Keras och ONNX mjukvarubibliotek [17] .
• Neuromorfa processorer :
  • IBM TrueNorth  är en neuromorf processor byggd på principen om interaktion mellan neuroner , snarare än traditionell aritmetik. Pulsfrekvensen representerar signalens intensitet. Från och med 2016 finns det ingen konsensus bland AI-forskare om detta är rätt väg att gå [18] , men vissa resultat är lovande, med stora energibesparingar påvisade för maskinseendeuppgifter [19] .
• Adapteva Epiphany - Designad som en samprocessor, inkluderar en minnesmodell för anteckningar nätverk på ett chip, närmar sig informationsflödesprogrammeringsmodellen, som borde vara lämplig för många maskininlärningsproblem.
• ComBox x64 Movidius PCIe Blade-kort - PCI Express -expansionskort med maximal VPU-densitet Intel Movidius (MyriadX) för slutledning av ultraexakta neurala nätverk i datacentret
• CambriconMLU100 är ett 64 TFLOPS halvprecision AI-processor PCI Express expansionskort eller 128 TOPS för INT8-beräkningar [20] .
• Cerebras Wafer Scale Engine (WSE, CS-1) - Cerebras experimentella superprocessor innehåller 1,2 biljoner transistorer organiserade i 400 000 AI-optimerade datorkärnor och 18 GB lokalt distribuerat SRAM , alla anslutna via ett mesh-nätverk med en total prestanda 100 petabits per sekund . Cerebras chip är faktiskt en superdator på ett chip, där SLAC (Sparse Linear Algebra Cores) datorkärnor är helt programmerbara och kan optimeras för att fungera med alla neurala nätverk [21] .
• KnuPath - KnuEdge-processor, designad för att fungera i taligenkänningssystem och andra områden av maskininlärning, använder den LambdaFabric-anslutningstekniken och låter dig kombinera upp till 512 tusen processorer till ett enda system [22] .

GPU- produkter

• Nvidia Tesla  är en serie dedikerade GPGPU- produkter från Nvidia [23] :
  • Nvidia Volta - grafikprocessorer (GPU) i Volta-arkitekturen (2017) från Nvidia (som Volta GV100), innehåller upp till 640 specialkärnor för tensorberäkning [1] .
  • Nvidia Turing - Turing-arkitektur-GPU:er (2018) från Nvidia (som Nvidia TU104), innehåller upp till 576 specialkärnor för tensorberäkning [24] .
  • Nvidia DGX-1 - en specialiserad server som består av 2 centrala processorer och 8 Nvidia Volta GV100 GPU:er(5120 tensorkärnor) ansluten via den snabba NVLink- bussen [25] . Dedikerad minnesarkitekturdetta system är särskilt lämpligt för att bygga nätverk för djupinlärning [26] [27] .
• AMD Radeon Instinct är ett specialiserat AMD GPGPU- kort som erbjuds som en accelerator för djupinlärningsuppgifter [28] [29] .

AI-acceleratorer i form av interna samprocessorer (AI-hårdvaruenheter)

• Cambricon-1A är ett NPU-block i Huawei Kirin 970 ARM - chips utvecklat av Cambricon Technologies[30] .
• CEVANeuPro är en familj av licensierade deep learning AI-processorer från CEVA, Inc.[31] .
• Neural Engine  är en AI-accelerator inuti Apple A11 Bionic och A12 Bionic SoC ARM-chips [32] .
• PowerVR 2NX NNA (Neural Network Accelerator) är en familj av licensierade IP-moduler för maskininlärning från Imagination Technologies [33] .

Forsknings- och utvecklingsprodukter

• Indian Institute of Technology Madrasutvecklar en accelerator baserad på impulsneuroner för nya RISC-V- arkitektursystem som syftar till att bearbeta big data på serversystem [34] .
• ögonbryn - Utveckling fokuserad på konvolutionella neurala nätverk med användning av notebook-minne och nätverksarkitektur i kristallen.
• Fujitsu DLUär en Fujitsu  multi-block och multi-core coprocessor som använder lågprecisionsberäkningar och är designad för djup maskininlärning [35] .
• Intel Loihiär Intels  neuromorfa processor som kombinerar lärande, träning och beslutsfattande i ett enda chip, vilket gör att systemet kan vara autonomt och "smart" utan att vara anslutet till molnet . Till exempel, när man tränar med MNIST-databasen (Mixed National Institute of Standards and Technology) är Loihi-processorn 1 miljon gånger bättre än andra typiska spikade neurala nätverk [36] .
• Kalray — visade MPPA[37] och rapporterade en ökning av effektiviteten hos konvolutionella neurala nätverk jämfört med GPU :er .
• SpiNNaker  är en massivt parallell datorarkitektur som kombinerar kärnorna i en traditionell ARM-arkitektur med ett avancerat nätverksramverk specialiserat för simulering av stora neurala nätverk.
• Noll NPU är en utveckling av Qualcomm som direkt syftar till att föra tal- och bildigenkänningsfunktioner till mobila enheter [38] .
• IVA TPU är en tensorprocessor utvecklad av det ryska företaget IVA Technologies [39] [40] . I oktober 2020, resultaten [41] [42] av testning av arkitekturen för IVA TPU neurala nätverksaccelerator, utförd av det internationella konsortiet MLPerf (etablerat 2018 av Baidu , Google , Harvard University , Stanford University , University of California, Berkeley ) publicerades.

Anteckningar

1. ↑ 1 2 Populariteten för maskininlärning påverkar utvecklingen av processorarkitekturen . servernyheter. (31 augusti 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
2. ↑ Neuroprocessor, anordning för beräkning av mättnadsfunktioner, beräkningsanordning och adderare . FindPatent.RU. Hämtad 17 november 2017. Arkiverad från originalet 1 december 2017. (ryska)
3. ↑ IBM försåg LLNL med TrueNorth-neuroprocessorer för 1 miljon dollar . Computerra . (31 mars 2016). Hämtad 17 november 2017. Arkiverad från originalet 19 november 2017. (ryska)
4. ↑ Intel utvecklar tensorprocessorer för AI . PC Week /RE. (22 november 2016). Hämtad 17 november 2017. Arkiverad från originalet 1 december 2017. (ryska)
5. ↑ 1 2 Detaljer om Google TPU Tensor Coprocessor . servernyheter. (25 augusti 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (ryska)
6. ↑ 1 2 Intel tillkännager Movidius Myriad X Vision Processor . 3D Nyheter . (29 augusti 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (ryska)
7. ↑ Nvidia Drive PX: Skalbar AI-superdator för autonom körning . Nvidia . Hämtad 17 november 2017. Arkiverad från originalet 16 juli 2016.  (obestämd)  (Engelsk)
8. ↑ NVIDIA avslöjar Drive PX Pegasus, nästa generations autopilotplattform . 3DNews (10 oktober 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017.  (obestämd)  (ryska)
9. ↑ Movidius driver världens mest intelligenta drönare . Datum för åtkomst: 15 november 2017. Arkiverad från originalet den 9 augusti 2016.  (obestämd)  (Engelsk)
10. ↑ Qualcomm Research ger maskininlärning i serverklass till vardagliga enheter . Hämtad 15 november 2017. Arkiverad från originalet 8 augusti 2016.  (obestämd)  (Engelsk)
11. ↑ Design av ett maskinseendesystem för ogräsbekämpning (otillgänglig länk) . Hämtad 15 november 2017. Arkiverad från originalet 23 juni 2010.  (obestämd)   (Engelsk)
12. ↑ Evolutionen av EyeQ . Hämtad 18 november 2017. Arkiverad från originalet 7 december 2017. (obestämd)
13. ↑ Huawei skapade världens första AI-processorer, efter Elbrus-utvecklarnas väg , CNews  (23 oktober 2018). Arkiverad från originalet den 23 oktober 2018. Hämtad 24 oktober 2018.
14. ↑ Före årets slut kommer Intel att släppa "branschens första chip för bearbetning av neurala nätverk" - Intel Nervana Neural Network Processor . iXBT.com (18 oktober 2017). Hämtad 21 november 2017. Arkiverad från originalet 15 november 2017. (ryska)
15. ↑ Intel avslöjar specialbyggd neural nätverksprocessor för djupinlärning , teknisk rapport (17 oktober 2017). Arkiverad från originalet den 24 november 2017. Hämtad 17 november 2017.
16. ↑ Intel Nervana Neural Network Processors (NNP) Omdefiniera AI Silicon  (17 oktober 2017). Arkiverad från originalet den 20 oktober 2017. Hämtad 17 november 2017.
17. ↑ Qualcomm introducerade Cloud AI 100 artificiell intelligensaccelerator , Servernews.ru  (10 april 2019). Arkiverad från originalet den 10 april 2019. Hämtad 16 april 2019.
18. ↑ Jan LeKun på IBM TrueNorth . Hämtad 15 november 2017. Arkiverad från originalet 5 juli 2015.  (obestämd)  (Engelsk)
19. ↑ IBM öppnar ny era av neuromorfisk datoranvändning . - "TrueNorth är otroligt effektivt: chippet förbrukar bara 72 milliwatt vid maximal belastning, vilket motsvarar cirka 400 miljarder synaptiska operationer per sekund per watt - eller cirka 176 000 gånger effektivare än en modern CPU som kör samma hjärnliknande arbetsbelastning, eller 769 gånger effektivare än andra toppmoderna neuromorfa metoder". Hämtad 15 november 2017. Arkiverad från originalet 9 juli 2016.  (obestämd)  (Engelsk)
20. ↑ Det kinesiska företaget Cambricon utvecklar AI-chips för datacenter. (inte tillgänglig länk) . Hämtad 15 juni 2018. Arkiverad från originalet 16 juni 2018. (obestämd) 
21. ↑ Cerebras är en AI-processor av otrolig storlek och kraft . 3D Nyheter . (20 augusti 2019). Hämtad 21 augusti 2019. Arkiverad från originalet 20 augusti 2019. (obestämd)
22. ↑ KnuPath är en neuromorf processor av militär kvalitet . 3D Nyheter . (9 juni 2016). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
23. ↑ Computex: Nvidia-chefen ser inget hot i Googles tensorprocessor . " Öppna system ". (1 juni 2016). Hämtad 17 november 2017. Arkiverad från originalet 1 december 2017. (obestämd)
24. ↑ Vad kommer den nya NVIDIA Turing-arkitekturen att tillföra marknaden? . 3D Nyheter. (14.08.2018). Hämtad 17 augusti 2018. Arkiverad från originalet 23 mars 2019. (obestämd)
25. ↑ NVIDIA Volta-eran började med Tesla V100-acceleratorn . servernyheter. (11 maj 2017). Hämtad 17 november 2017. Arkiverad från originalet 1 december 2017. (obestämd)
26. ↑ GTC Europe 2017: NVIDIA TensorRT 3-biblioteket snabbar upp neurala nätverk med 18 gånger jämfört med en universell lösning . servernyheter. (12 oktober 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
27. ↑ Ny rysk superdator designad för att träna neurala nätverk . servernyheter. (1 september 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
28. ↑ AMD tillkännager Radeon Instinct: GPU Accelerators for Deep Learning, kommer under 2017 , Anandtech (12 december 2016). Arkiverad från originalet den 12 december 2016. Hämtad 12 december 2016.
29. ↑ Radeon Instinct Machine Learning GPU:er inkluderar Vega, Preview Performance , PC Per (12 december 2016). Arkiverad från originalet den 11 augusti 2017. Hämtad 12 december 2016.
30. ↑ Huawei avslöjar framtiden för mobil AI på IFA 2017. . Hämtad 15 juni 2018. Arkiverad från originalet 16 juni 2018. (obestämd)
31. ↑ CEVA NeuPro. En familj av AI-processorer för djupinlärning vid kanten. . Hämtad 15 juni 2018. Arkiverad från originalet 16 juni 2018. (obestämd)
32. ↑ iPhone X:s nya neurala motor exemplifierar Apples inställning till AI , The Verge  (13 september 2017). Arkiverad från originalet den 15 september 2017. Hämtad 17 november 2017.
33. ↑ Imagination avslöjar nya PowerVR 2NX AI-acceleratorer , 3DNews  (8 juni 2018). Arkiverad från originalet den 16 juni 2018. Hämtad 15 juni 2018.
34. ↑ Indien förbereder RISC-V-processorer - Shakti riktar sig till servrar, IoT, analys (nedlänk) . - "Shakti-projektet inkluderar nu planer på minst sex mikroprocessordesigner samt tillhörande tyger och ett acceleratorchip." Hämtad 15 november 2017. Arkiverad från originalet 3 juli 2017.  (obestämd)   (Engelsk)
35. ↑ Fujitsu utvecklar anpassad processor för AI-system . servernyheter. (24 juli 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
36. ↑ Intel avtäcker Loihi neuromorfisk processor . 3D Nyheter . (26 september 2017). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
37. ↑ Kalray MPPA . Hämtad 15 november 2017. Arkiverad från originalet 23 april 2016.  (obestämd)  (Engelsk)
38. ↑ Qualcomm visade Zeroth-neuroprocessorn . Logmag.net (16 oktober 2013). Hämtad 17 november 2017. Arkiverad från originalet 17 november 2017. (obestämd)
39. ↑ inbäddad värld. IVA TPU – DNN-inferensaccelerator // NeuroMatrix Architecture for Neural Network Applications | inbäddad  värld . www.embedded-world.de _ Hämtad 30 november 2020. Arkiverad från originalet 21 januari 2021.
40. ↑ En original processorarkitektur har skapats i Ryssland som kan pressa ut NVidia . cnews.ru . Hämtad 30 november 2020. Arkiverad från originalet 25 november 2020. (obestämd)
41. ↑ Slutledningsresultat  . _ MLPerf . Hämtad 30 november 2020. Arkiverad från originalet 28 november 2020.
42. ↑ Sally Ward-Foxton. Benchmark för maskininlärning utökar stödet för edge, datacenter   -arbetsbelastningar ? . Embedded.com (3 november 2020). Hämtad 30 november 2020. Arkiverad från originalet 25 november 2020.  (obestämd)

Länkar

• Populariteten för maskininlärning påverkar utvecklingen av processorarkitekturen . servernyheter. (31 augusti 2017). Tillträdesdatum: 17 november 2017. (ryska)