새로운 NLP‌‍ 접근법을 통한 B‍ERT 가속화

자연어 처리(NLP)는 세계에서 가장 복잡한 비즈니스 문제 중 일부를 해결하는 데 사용됩니다. AI를 사용하는 기업이 NLP 작업 성능을 극대화하기 위해 노력하는 가운데, NLP 모델의 규모는 그 어느 때보다도 크게 확장되고 있습니다. GPT-3와 같은 모델의 경우 매개변수가 수천억 개에 달할 정도입니다.

머신 인텔리전스에 최적화된 그래프코어의 IPU-POD 시스템은 BERT-Large와 같은 NLP 및 트랜스포머 모델에서 이미 세계 최상급의 성능을 달성했으며, 향후 더 큰 GPT급 언어 모델을 가속화할 수 있는 가능성을 보여주었습니다.

이 웨비나에서는 IPU-POD 시스템의 BERT 훈련을 가속화하는 방법을 살펴보고, 최근 그래프코어의 고객과 연구자들이 IPU-POD 시스템을 사용하여 달성한 획기적인 NLP 성과를 소개합니다.

요약:

• 사용 사례: 그래프코어의 고객사에서 트랜스포머 훈련 시간을 10시간에서 2시간으로 단축한 방법 알아보기
• 새로운 BERT 연구 방향 및 대형 언어 모델 활용 방법
• 머신 인텔리전스 가속화에 최적화된 그래프코어의 IPU 하드웨어 및 소프트웨어 개요