Google rozšíril svoju ôsmu generáciu procesorov Tensor Processing Unit o dva nové systémy: TPU 8tx a TPU 8i Max. Každý rieši inú prekážku pri prevádzke umelej inteligencie. Prvý sa zameriava na ochranu citlivých dát počas výpočtov, druhý na výkon a pamäť potrebnú pri práci s mimoriadne rozsiahlym kontextom.
TPU 8tx má chrániť dáta aj počas spracovania
Bežné zabezpečenie dát sa často sústreďuje na ich ochranu pri ukladaní alebo prenose. Počas samotného spracovania však musia byť údaje dostupné procesoru. Google tvrdí, že TPU 8tx prináša dôverné výpočty priamo na hardvérovej úrovni, aby citlivé dáta a váhy modelov zostali izolované aj počas aktívneho používania.
Systém využíva rovnaký základný kremík ako TPU 8t a kombinuje ho s procesormi AMD EPYC piatej generácie. Podľa Googlu má takáto konfigurácia umožniť bezpečné dolaďovanie modelov na súkromných dátach, ich destiláciu aj tréning agentov bez presúvania citlivých informácií medzi oddelenými klastrami.
TPU 8i Max cieli na veľké kontextové okná
Druhý nováčik, TPU 8i Max, rieši takzvanú pamäťovú bariéru. Tá sa prejavuje pri úlohách, v ktorých AI pracuje s rozsiahlymi zdrojmi, napríklad s veľkým softvérovým projektom alebo dlhými videozáznamami. Google spojil dva čipy TPU 8i do jedného puzdra a uvádza, že výsledkom je dvojnásobný výpočtový výkon, dvojnásobná SRAM a dvojnásobná priepustnosť HBM oproti TPU 8i.
Firma zároveň zdôrazňuje vyššiu hustotu výkonu v dátových centrách. Ide o systém určený predovšetkým pre zákazníkov Google Cloud a veľké organizácie, nie o procesor, ktorý by si bežný používateľ kúpil do domáceho počítača.
Štyri systémy ôsmej generácie v jednom roku
Google týmto oznámením rozšíril ôsmu generáciu na štyri špecializované systémy. TPU 8t je určený na rozsiahly tréning modelov, TPU 8i na nízkolatenčné uvažovanie, TPU 8tx na dôverné výpočty a TPU 8i Max na úlohy s veľkým kontextom a vysokými nárokmi na pamäť.
Spoločnosť zároveň upozorňuje na širšie sprístupňovanie svojho hardvéru vývojárom vrátane podpory PyTorch a nástrojov pre otvorené inferenčné riešenia. Praktický prínos nových systémov ukáže až ich nasadenie u cloudových zákazníkov. Technické parametre a ďalšie podrobnosti zverejnil Google na svojom oficiálnom blogu.
