LLM(Large Language Model) 기본 정리 및 활용 방안 | LIM
LLM은 "Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미한다. GPT 시리즈와 같은 모델은 OpenAI에 의해 개발되었고, 이는 대표적인 LLM의 한 예이다. LLM은 대규모의 학습 데이터셋과 엄청난 컴퓨터 리소스를 필요로 한다. 파라미터수가 엄청나기 때문이다 (이래서 엔비디아 주가가,,나만 못 샀어,,) LLM에 사용되는 딥러닝 모델인 Transformer 이 모델은 다들 많이 아시다시피 "Attention Is All You Need" 라는 논문에서 처음 소개되었다. 기존의 순차적인 데이터 처리 방식(ex. RNN, LSTM) 대신, "어텐션 매커니즘" 을 이용하여 전체 입력 데이터를 한 번에 처리함으로써, 처리 속도를 대폭 향상시키고, 더..
2024. 3. 17.
