Les necessitats massives d'energia dels sistemes d'IA estan posant l'accent en la sostenibilitat a l'ecosistema de semiconductors. La indústria dels xips ha de ser capaç de produir semiconductors més eficients i de menor potència. Però les demandes per augmentar la velocitat de processament estan augmentant amb l'ús generalitzat de grans models de llenguatge i l'augment global de la quantitat de dades que cal processar. Gartner calcula que el 50% de les organitzacions adoptaran un monitoratge habilitat per la sostenibilitat el 2026 per gestionar el consum d'energia i les mètriques de la petjada de carboni per als seus entorns de núvol híbrid. Això és necessari, atès que és probable que el 40% dels centres de dades tinguin una potència limitada el 2027, segons la firma.
Els semiconductors poden ajudar amb la sostenibilitat si estan dissenyats correctament. Això és cert fins i tot per als xips AI/ML dissenyats per al màxim rendiment, sempre que puguin fer càlculs més ràpidament mitjançant algorismes més dispersos. Això es tradueix en una reducció global de la quantitat d'energia consumida. Aquí és on entren en joc els acceleradors personalitzats. Poden aportar millores significatives en comparació amb els processadors de propòsit general, sovint treballant en conjunt.
La petjada creixent de la IA
La informàtica està passant a tot arreu i tot ha de ser més eficient. Les ciutats intel·ligents, les infraestructures intel·ligents i el transport intel·ligent no són possibles sense la tecnologia intel·ligent i, cada cop més, això està activat per la IA. A mesura que la IA s'arregla, l'ecosistema de semiconductors intenta minimitzar el seu impacte en els recursos.
Els centres de dades actuals ja consumeixen enormes quantitats d'energia. A nivell mundial, es necessiten 460 terawatts-hora (TWh) d'electricitat anualment. Això equival a tota la quantitat d'energia produïda per Alemanya. Als Estats Units, el consum d'electricitat del centre de dades va ser del 2,5% del total dels EUA (~130 TWh) el 2022, i s'espera que es tripliqui fins al 7,5% (~390 TWh) el 2030, segons el Boston Consulting Group. Això és l'equivalent a l'electricitat utilitzada per uns 40 milions de cases dels EUA, o gairebé un terç del total de les cases dels EUA.
"La IA té el potencial de superar totes les innovacions transformadores creades al segle passat", va dir Imran Yusuf, director d'ecosistemes de maquinari a Arm's Infrastructure Group. "Però les demandes de potència de la computació d'IA són importants i, a mesura que les empreses s'afanyen a desenvolupar les seves capacitats d'IA, corren el risc de superar els seus propis objectius de sostenibilitat. Els futurs models d'IA continuaran fent-se més grans i intel·ligents, alimentant la necessitat de més càlcul, que augmenta. La demanda d'energia com a part d'un cicle virtuós, sense electricitat, sense IA. Com equilibrem la necessitat d'electricitat amb la necessitat de continuar alimentant la revolució de la IA Sistemes informàtics d'IA".
Altres estan d'acord. "Es tracta de ser més eficient en el disseny", va dir Neil Hand, director de màrqueting de Siemens EDA. "Podeu mirar qualsevol algorisme. Hi ha ordres d'eficiència. L'enfocament més ineficient des d'una perspectiva de potència és executar el codi en brut en un processador de propòsit general i deixar-lo arrencar, i torrar alguns malvaviscos per sobre de la CPU perquè està en marxa. per escalfar molt".
Un bastidor de servidors basat en les GPU NVIDIA Grace Blackwell requereix 120 quilowatts. Però també són 1,000 vegades més capaços que les generacions anteriors, la qual cosa equival a 500 vegades més càlcul per unitat de potència, segons Rich Goldman, director d'Ansys. "Si creeu un centre de dades de CPU i voleu fer molta informàtica, podeu substituir les CPU per les últimes GPU i reduir la potència per a les mateixes capacitats de computació. Encara tindrem grans problemes d'energia. perquè amb la IA estem fent més informàtica, però això ajudarà".
Hand veu el maquinari especialitzat Grace Blackwell de tipus especialitzat per a IA com el següent pas del desenvolupament, però afegeix que es pot fer molt més perquè encara són xips d'ús general. Va dir que és possible construir xips d'IA més eficients que estan destinats a classificar i treballar amb una classificació àmplia.
"Això és el que veiem fent NVIDIA, això és el que veiem que fan Google i molts dels proveïdors de núvol", va assenyalar Hand. "Hi ha nivells d'eficiència que podem fer per permetre que aquests xips es produeixin de manera més eficient i per permetre tot el que hi ha al voltant de la sostenibilitat que vagi amb això. Aleshores, podeu fer un pas més enllà amb noves tecnologies que prenen un model d'IA totalment entrenat. i convertir-lo en maquinari serà el més eficient que puguis ser, i utilitzarà una fracció de la potència en aquest punt, així que hauràs d'afrontar el repte que s'està accelerant i canviant tan ràpidament. Fins a quin punt ho estem veient amb els recents anuncis d'Intel i Qualcomm a les seves CPU mòbils, i Apple ho fa des de fa un parell de generacions sigui quina sigui la xarxa neuronal que vulgueu tenir al xip, i només hi haurà aquest continu".
Steve Roddy, director de màrqueting de Quadric, va estar d'acord. "Les forces que impulsen l'explosió dels models d'IA/ML tenen un abast massiu. L'ona generativa d'IA està canviant la forma en què treballen els individus i les corporacions; possiblement afectant milions de llocs de treball a tot el món. L'ecosistema de semiconductors/EDA/IP no pot doblegar raonablement la corba de el progrés en l'evolució dels models d'IA massius que estan sent impulsats per centenars de milers de milions de dòlars d'inversió anuals dels titans tecnològics, però les indústries de semiconductors i IP poden ajudar a reduir radicalment la petjada de consum d'energia d'executar aquests models GenAI al dia. - ús de la inferència actual".
El repte de sostenibilitat més gran per a la inferència GenAI és la conversió de modes en formats sencers quantificats de baix consum. "Els equips de ciència de dades que creen models GenAI són aparentment inconscients del fet que els models de referència que publiquen en format de coma flotant consumeixen 10 vegades l'energia per inferència en comparació amb el mateix model convertit en formats enters (comparant una multiplicació-acumulació de 32b de coma flotant versus un 8). x 8 o 4 x 8 enter MAC)", va dir Roddy. "Ja sigui que la inferència es produeix al centre de dades o al dispositiu, l'estalvi d'energia i els beneficis resultants per a la sostenibilitat de la conversió a formats enters de menor potència són substancials. Aquesta bretxa existeix avui perquè els científics de dades que creen nous models GenAI són matemàtics, no integrats. enginyers".
Avenços tecnològics
Quan l'equip de disseny decideix que és hora d'anar al maquinari, tot i que els algorismes d'IA avança tan ràpidament, hi haurà una certa estabilitat, va dir Hand. "És una mica com quan vam entrar en l'evolució de les TPU, NPU, XPU. En general, no van ser gaire viables durant un temps perquè els blocs bàsics estaven canviant amb més regularitat. Però durant els últims anys, aquestes funcionalitats bàsiques s'han estabilitzat per tal que ara puguis fer un maquinari més eficient energèticament. A mesura que les coses es comencin a estabilitzar, sempre hi haurà algorismes molt més potents que necessiten un nou maquinari. Probablement sempre acabem utilitzant més del que diem perquè els centres de dades són un gran consumidor d'energia, però això és tot el problema des d'una perspectiva de productivitat, ens permeten fer coses que d'altra manera no podríem? Però molt d'això és si es tracta d'un xip d'IA complex o de qualsevol tipus de xip. Els aspectes de l'EDA són aproximadament els mateixos.
Una altra consideració és com generar prou energia per al centre de dades. Com col·loqueu aquests centres de dades en llocs on no hi ha prou potència? "Veureu centres de dades amb més freqüència als llocs que tenen un excedent d'energia, i els països que tenen un excedent d'energia es convertiran en centres de dades", va dir Goldman. "Ubicaran el centre de dades allà i després donaran el coneixement que obteniu d'aquest poder".
Això anirà acompanyat de noves i noves fonts de poder. "Hem sentit parlar de minicentrals nuclears per alimentar centres de dades individuals i d'aplicacions com posar-les a la part superior dels pous de petroli perquè el metà que ara entra a l'aire i contamina l'aire, puguem cremar-ho i crear energia a partir de aquells per executar els centres de dades", va dir Goldman. "Hem d'aconseguir novetats com aquesta per alimentar aquests centres de dades".
Part integrant de la discussió sobre la sostenibilitat de la IA és l'eficiència del centre de dades, on hi ha un conflicte constant entre el poder necessari per moure les dades i fins a quin punt aquestes dades realment necessiten moure's. "Veiem que la gent construeix processadors molt grans amb xips, i part d'això és perquè, tot i que saben que podrien construir un sistema equivalent a partir de dos xips connectats a través d'un bus, però moure les dades entre ells costarà molt. de poder", va explicar Steven Woo, company i distingit inventor de Rambus. "Com més ajunteu les coses, menys distància han de recórrer les dades, menys energia gastareu movent dades. Però aleshores el problema és que la densitat de potència augmenta. Heu de lliurar més potència i heu de Cool la cosa, doncs, l'estira i arrossegament és, com puc refredar aquesta cosa, estic estalviant una mica d'energia en no tenir els xips distants els uns dels altres, però ara ha d'oferir més potència a aquest volum? He de refredar-ho. Aquest és l'estira i arrossegament al qual s'enfronten ara els arquitectes a nivell de sistema".
A nivell de centre de dades, hi ha un ús creixent de tècniques de refrigeració avançades als servidors. "Més gent parla de refrigeració líquida, incloses les plaques fredes", va dir Woo. "Google ha estat fent això, i NVIDIA n'ha estat parlant per a Grace Blackwell. Aquesta és la tecnologia que utilitzen alguns dels superordinadors avui, i no és una tecnologia estrangera o nova. És qüestió de temps que la vegem com Probablement hi haurà alguns sistemes que es refredin per aire en un futur previsible, però veureu més sistemes que adopten algun tipus de líquid bombat amb un sistema de refrigeració de dues fases".
A l'extrem extrem d'aquest enfocament hi ha el refredament per immersió. "És possible que aquesta no sigui una solució viable de refrigeració del servidor del centre de dades aviat, però pot ser que si ens quedem sense pista als líquids canalitzats", va afegir. "Una vegada que pugueu gestionar la calor amb un líquid, o alguna cosa així, podeu limitar el rang de temperatura pel qual passa un xip, la qual cosa significa que si fa un cicle tèrmic, és possible que no arribi a les temperatures extremes. Això és bo. , perquè llavors no teniu l'expansió i la contracció tèrmiques en aquest rang més gran, i algunes de les altres fallades relacionades amb la fiabilitat es redueixen una mica".
L'anàlisi de grans dades també juga un paper en la sostenibilitat en identificar tendències en el disseny de xips basades en l'ús del centre de dades. "Hi ha tot un tren de poder", va dir Adam Cron, arquitecte distingit de Synopsys. "Les preocupacions estan al nivell de la matriu. Després tens el tauler on està, el bastidor on està, la granja on es troba, i després es torna a les línies de transmissió. I el que els agrada veure als gestors del centre de dades és un una quilla agradable, fins i tot, no balancegis massa el vaixell, perquè si vols molt per aquí, potser t'has de baixar allà, o viceversa".
Idealment, la potència es reduïria a tot arreu. "Els centres de dades estan utilitzant entre l'1 i el 2% de l'electricitat del món i estan en un curs intensiu per utilitzar-ho tot", va dir Cron.
Rendiment, vincles de fabricabilitat
Hi ha un enllaç interessant entre l'esforç per fer semiconductors sostenibles i el rendiment i la fabricabilitat, va assenyalar Siemens' Hand. "Aquestes fitxes són cada cop més grans. Per tant, el rendiment es converteix en un problema més. Com més podem fer amb el rendiment, millor podem ser per a la sostenibilitat, perquè un dau mort és un malbaratament de recursos. Un bon dau sempre és millor. . Què podem fer a l'ecosistema de semiconductors d'EDA per millorar el rendiment, irònicament, algunes solucions comercials fan servir la intel·ligència artificial per obtenir un millor rendiment el cost de la sostenibilitat de la IA i l'oportunitat de sostenibilitat de la IA i com funcionen conjuntament, en general, és un positiu net, però no sé que es pot, perquè és difícil trobar les dades en brut diu el que costa entrenar aquests models. És car utilitzar-los, però, com es poden mesurar els coneixements, probablement, per intentar calcular l'impacte. i les tecnologies d'IA es poden aprofitar aquí. Només l'EDA està fent la seva cosa EDA".
L'anàlisi tèrmica i l'envelliment també jugaran en la sostenibilitat del centre de dades d'IA. Això no és exclusiu de la IA, per descomptat. S'aplica a totes les fitxes", va dir Hand. "Podeu començar a entendre quines són les tèrmiques a nivell de matriu, a nivell de sub matriu, per entendre les implicacions. Ara, puc unir una pila 3D i que sigui fiable? Puc executar aquestes coses a un nivell de potència suficient que no estic accelerant la seva desaparició? Aquestes capacitats ens permetran anar encara més enllà. A més, a mesura que comencem a ampliar la definició del bessó digital i comencem a ampliar el que s'hi inclou, podeu començar a veure els impactes a nivell del sistema. I tot i que no és específic de la IA i la sostenibilitat, és on començarem a veure grans salts d'eficiència perquè en aquests moments hi ha molta enginyeria? Quant hi ha massa residus dins? Una vegada que podem començar a tenir un disseny més coherent a nivell de producte i problema, també hi ha avantatges. Tornant-lo a la IA específicament, per arribar a autèntics bessons digitals complets de diversos dominis, la IA serà necessària perquè la IA farà l'anàlisi entre dominis per a tu i l'extracció del model substitut i l'adaptació automàtica de la fidelitat. Tot això n'hi haurà. Com més IA necessitem, més IA fem servir".
Conclusió
La sostenibilitat no és un tema nou, però sempre va ser un tema per a debats futurs. Això ja no és així.
"Els venedors de maquinari i programari han entès durant anys que l'escala informàtica i la sostenibilitat podrien estar en un curs de col·lisió amb la realitat, però no han de ser si la indústria aprofita les seves capacitats de l'ecosistema", va dir Yusuf d'Arm. "Preneu Arm Total Design, per exemple, que és un ecosistema d'empreses líders de tota la indústria dels semiconductors dedicats a habilitar solucions de silici personalitzades i eficients per a casos d'ús d'IA/ML. Com a tal, ofereix als socis un accés preferent als subsistemes informàtics d'Arm Neoverse. (CSS), eines IP i EDA preintegrades, serveis de disseny, suport de foneria i suport de programari comercial. També representa una nova mentalitat que fomenta la col·laboració, la flexibilitat i la innovació, alhora que entén que l'era de la IA ha de coexistir. amb objectius de sostenibilitat global".
El que ha canviat és que la sostenibilitat ha passat de "agradable tenir" a "cal tenir". Des de la seva perspectiva com a líder del sector, Intel ha creat set consells per utilitzar la IA sense l'elevat cost ambiental. A més, Intel creu que ser intencionat amb com s'implementa la IA per dissenyar és clau per assolir els objectius de sostenibilitat. Amb intencionalitat, els que executen iniciatives d'IA poden obtenir els beneficis de les càrregues de treball optimitzades (vegeu aquí per a més informació), i un enfocament proactiu del disseny de projectes i la gestió de TI és fonamental per maximitzar l'impacte de les iniciatives d'IA i minimitzar la petjada de carboni (vegeu aquí per obtenir més informació). casos d'ús).
Bàsicament, reduir l'impacte de la IA en la sostenibilitat es reduirà a la pròpia tecnologia. Roddy de Quadric va dir que l'ecosistema de semiconductors pot ajudar "augmentant la consciència general de la necessitat d'utilitzar formats de dades de menor precisió, així com construir eines més automatitzades per salvar la bretxa entre el matemàtic i l'enginyer integrat".
