구글, 6세대 TPU인 트릴리움의 일반고객 대상 출시

반응형

구글이 6세대 TPU인 트릴리움을 출시했다고 발표했다.

​

갈수록 텍스트와 이미지와 같이 다양한 것들을 처리할 수 있는 대규모 AI 모델의 등장은 곧 고유한 인프라 문제를 야기하게 된다. 이러한 모델은 효율적으로 훈련하거나 미세 조정 및 추론을 처리하기 위해 엄청난 연산 능력과 특수 하드웨어가 필요하다고 한다.

​

10년전 구글은 증가하는 AI 워크로드 수요를 해결하기 위해 맞춤형 AI 가속기인 텐서 처리 장치라고 하는 TPU를 개발하기 시작하여 멀티모달 AI의 길을 열었다!

​

​

구글은 24년초에 6세대이자 지금까지 가장 성능이 뛰어난 TPU인 트릴리움을 발표했고, 이젠느 구글 클라우드 고객에게 일반적으로 제공이 된다고 한다.

​

트릴리움 TPU를 사용하여 구글의 가장 유능한 AI 모델인 새로운 제미나이 2.0을 훈련했으며, 이제 기업과 스타트업 모두 강력하고 효율적이며 지속 가능한 동일 인프라를 활용할 수 있을 것으로 기대하는 모습이었음.

​

 

​

​

​

​

<AI 교육 워크로드 확장>

제미나이 2.0과 같은 대형 모델을 교육하기 위해서는 엄청난 양의 데이터와 계산이 필요하다고 하는데, 트릴리움의 엄청난 확장기능을 통해 고속칩 간 상호 연결과 최첨단 데이터센터 네트워킹을 통해 연결된 여러 트릴리움의 호스트에 효과적이고 효율적으로 워크로드를 분산하여 상당히 빠르게 교육할 수 있게 된다고 한다.

​

이전 세대 보다 최대 4배 빠른 학습을 제공한다고 ㄷㄷ

​

​

​

​

​

​

<추론 성능 및 수집 스케쥴링>

 

​

​

다단계 추론의 중요성이 커지면서 증가하는 계산 수요를 효율적으로 처리할 수 있는 가속기가 필요한데, 트릴리움은 추론 워크로드에 상당한 발전을 제공하여 더욱 빠르고 효율적인 AI 모델의 배포를 가능하게 한다고 한다.

​

또한 새로운 컬렉션 스케쥴링 기능을 도입하여, 구글의 스케쥴링 시스템에서 지능적인 작업 스케쥴링의 결정을 내려 추론 워크로드의 전체 가용성과 효율성을 높일 수 있다고 함.

​

​

​

​

<AI 혁신을 한단계 업그레이드>

트릴리움은 구글 클라우드의 AI 인프라에서 큰 도약을 이루었으며, 광범위한 AI 워크로드에 놀라운 성능, 확장성 및 효율성을 제공할 수 있다는 평가이다. 세계적 수준의 공동 설계 소프트웨어를 사용하여 수십만개의 칩으로 확장할 수 있는 트릴리움은 더 빠른 혁신을 달성하고 우수한 AI 솔루션을 제공할 수 있도록 지원한다.

​

또한, 트릴리움의 가격대비 뛰어난 성능은 AI 투자의 가치를 극대화하려는 조직에 비용 효율적인 선택이 될 수 있고, 트릴리움은 AI 환경이 계속 진화함에 따라 기업이 AI의 잠재력을 최대한 발휘할 수 있도록 지원하는 첨단 인프라를 제공하기 위한 구글 클라우드의 노력을 증명하는 제품임을 강조했다.

​

​

TPU라는 것 자체가 구글이 머신러닝을 위해 설계한 제품이기 때문에 앞으로도 이 TPU라는 존재는 AI 등 여러 분야에 활용될 수 있어 더욱 기대가 되는 부분이다.

​

이런 발표들을 보면 구글이 앞으로 수익을 올릴 수 있는 먹거리가 여전히 엄청나다는 것도 느낄 수 있는 것 같다. 앞으로의 성장 동력이 빵빵 터져주기 전에 열심히 모아가야겠음!ㅎㅎ