De AI aan de rand van het netwerk betekent zelden alleen inferentie.die allemaal gelijktijdig worden uitgevoerdDeze multifunctionele werklasten vereisen nauwe coördinatie en hoge zekerheid, en ontwerpers hebben het moeilijk gevonden om aan deze eisen te voldoen met behulp van mainstream AI-hardware.
Twee factoren maken dit probleem nog complexer. Ten eerste ontwikkelen AI-modellen zich in een verbazingwekkend tempo, waardoor ontwerpers platforms moeten aannemen die snelle algoritme-updates ondersteunen.veel randsystemen zijn al tien jaar of langer ter plaatse in gebruikTen tweede is de weg van goed opgeleide modellen naar de inzet en implementatie van het systeem nog steeds gefragmenteerd.Gegevenswetenschappers gebruiken PyTorch en TensorFlow, terwijl ingebedde teams volledig verschillende gereedschapsketen gebruiken, wat wrijving veroorzaakt tijdens het overdrachtsproces en de productiesnelheid vertraagt.
Om deze uitdagingen aan te pakken, moeten platforms in staat zijn om high-throughput AI-verwerking te combineren met deterministisch gedrag, flexibele I/O en aanpassingsvermogen op lange termijn.die allemaal binnen het typische stroomverbruiksbereik van beperkte randontplooiing moeten worden bereikt.
Dit artikel richt zich op de toepassingsscenario's en aanverwante vereisten die ontwerpers uitdagen om nieuwe edge AI architecturen te verkennen.Het introduceerde Altera's veldprogrammable gate array (FPGA) apparaten en software tools die edge AI ondersteunen, en aangetoond hoe ze kunnen worden gebruikt om te voldoen aan de uiteenlopende prestatie- en vermogenseisen van deze toepassingen.
De evolutie van edge AI vereist architectonische innovatie
Edge-systemen nemen steeds vaker verschillende AI-technologieën aan, waaronder klassiek machine learning (ML) voor anomalie-detectie, convolutionele neurale netwerken (CNN) voor perceptie,en omzetters voor grote taalmodellen (LLM)Deze computerintensieve algoritmen bestaan vaak samen met veeleisende niet-AI-functies zoals signaalverwerking, netwerkcommunicatie en realtimecontrole.
Autonome systemen zijn een goed voorbeeld. Ze moeten meestal gegevens opnemen van meerdere sensormodificaties zoals video, audio, radar, LiDAR en feedback over beweging/positie,Pre-verwerking van deze data stromen met een hoge doorvoer, analyseren de resultaten met behulp van complexe AI, en vervolgens beheersen van hoogprecise besturingslussen, die allemaal betrouwbare determinatie vereisen.
Er zijn veel vergelijkbare voorbeelden in industriële automatisering, medische beeldvorming, defensie en telecommunicatie toepassingen.Een gemeenschappelijke uitdaging is dat traditionele architecturen moeilijk kunnen worden aangepast aan voortdurend convergerende werklasten..
Waarom FPGA's bijzonder geschikt zijn voor edge AI
De kern van FPGA is het verstrekken van configureerbare logica om operaties op een werkelijk parallelle manier uit te voeren,met zijn timing gedrag ingebed op ontwerptijd in plaats van fluctueren op runtimeDeze architectuur kan een laag latency determinisme bereiken, wat cruciaal is voor edge AI. Flexible logica kan ook krachtige I/O gebruiken: FPGAs bieden meestal overvloedige high-speed I/O,die kunnen worden aangesloten op verschillende sensoren en actuatoren om een nauwe koppeling met AI-verwerking te bereiken.
FPGA omvat ook gedistribueerd intern geheugen, waarmee gegevens kunnen worden geopend door de logica die erop werkt.Dit vermindert de knelpunt die ontstaat wanneer meerdere verwerkingsstadia moeten concurreren om toegang te krijgen tot de gedeelde geheugenbus, wat een veel voorkomende beperking is in op processoren gebaseerde architecturen.
Veel FPGA's integreren ook gespecialiseerde digitale signaalverwerking (DSP) -hardware.Deze verbeterde circuits bieden hogere prestaties en een betere energie-efficiëntie voor signaalverwerkingswerkbelastingenSommige FPGA's integreren ook hard-wired processorsystemen die standaard software stacks (inclusief Linux) kunnen uitvoeren, waardoor traditionele softwareontwikkeling voor taken zoals netwerken,apparaatbeheer, en gebruikersinterface.
Kortom, een enkele FPGA kan functies integreren die anders afzonderlijke I/O-chips, AI-versnellers, DSP's en controlevlakprocessors vereisen.Verminder de oppervlakte van het printplaat, lager stroomverbruik, met behoud van de lage latentie en zekerheid die vereist zijn voor rand-AI-toepassingen.
Hoe nieuwe mogelijkheden te openen met de toevoeging van AI tensor blokken
Traditionele FPGA DSP-hardware is al zeer geschikt voor veel edge-workloads, maar AI-afleidingen zijn vaak afhankelijk van dichte maar lage precisie vermenigvuldigingsoperaties.Altera's Agilex 3 en Agilex 5 apparaten gebruiken verbeterde DSP's met AI tensor blokkenDit is gespecialiseerde hardware voor matrixmatrix en vectormatrixvermenigvuldiging, die herhaaldelijk verschijnt in AI-berekeningsgrafieken.
De kern van deze methode is het scalair product en de adder/accumulator motor (figuur 1).de hard-wired-puntmotor gebruikt 8-bits invoer en vooraf geladen 8-bits gewichten om een 10-element puntproduct uit te voerenOm het dynamische bereik uit te breiden,het gegevenspad kan ook een gedeelde "gemeenschappelijke index" gebruiken voor het schalen van blokken met zwevende komma om te kunnen omgaan met typische scenario's waarbij AI-afleidingen meestal een hoog dynamisch bereik vereisen, maar een lage nauwkeurigheid.