딥 러닝에서파인 튜닝(fine-tuning)은 하나의 작업을 위해 설계된 모델(상위 작업)을 새로운 작업(하위 작업)에 특화시키는 과정이다. 따라서 이는전이학습의 특별한 경우이다.
기술적으로, 파인 튜닝은 사전 학습된인공 신경망의 매개변수에 추가 학습(예: 새로운 데이터에 대한 학습)을 적용하는 것을 포함한다.[1] 다양한 변형이 존재한다. 추가 학습은 전체 신경망에 적용될 수도 있고,은닉층의 일부에만 적용될 수도 있다. 후자의 경우, 파인 튜닝되지 않는 층은 "고정"된다(즉,역전파 중에 변경되지 않는다).[2] 모델은 또한 "어댑터"로 보강될 수 있는데, 이는 모델 아키텍처에 삽입되어 도메인 적응을 위해 임베딩 공간을 미세 조정하는 경량 모듈이다. 이 모듈은 원래 모델보다 훨씬 적은 매개변수를 포함하며, 어댑터의 가중치만 조정하고 나머지 모델의 가중치를 고정하여 매개변수 효율적인 방식으로 파인 튜닝될 수 있다.[3]
합성곱 신경망과 같은 일부 아키텍처의 경우, 입력층에 가장 가까운 초기 층은 저수준특징을 포착하므로 고정된 상태로 유지하는 것이 일반적이며, 후기 층은 모델이 학습된 작업과 더 관련될 수 있는 고수준 특징을 식별한다.[2][4]
크고 일반적인 말뭉치에서 사전 학습된 모델은 일반적으로 매개변수를 시작점으로 재사용하고 처음부터 학습된 작업별 층을 추가하여 파인 튜닝된다.[5] 전체 모델을 파인 튜닝하는 것도 일반적이며 종종 더 나은 결과를 얻지만, 계산 비용이 더 많이 든다.[6]
파인 튜닝은 일반적으로지도 학습을 통해 이루어지지만,약한 지도 학습을 사용하여 모델을 파인 튜닝하는 기술도 있다.[7] 파인 튜닝은인간 피드백을 통한 강화 학습 기반의목표와 결합되어챗GPT (GPT 모델의 파인 튜닝된 버전) 및스패로우와 같은 언어 모델을 생성할 수 있다.[8][9]
파인 튜닝은 모델의분포 변화에 대한 강건성을 저하시킬 수 있다.[10][11] 한 가지 완화 방법은 파인 튜닝된 모델의 가중치를 원본 모델의 가중치와 선형 보간하는 것인데, 이는 파인 튜닝된 모델의 내부 분포 성능을 크게 유지하면서 외부 분포 성능을 크게 향상시킬 수 있다.[12]
저랭크 적응(LoRA)은 모델을 효율적으로 파인 튜닝하기 위한 어댑터 기반 기술이다. 기본적인 아이디어는 낮은랭크 행렬을 설계하여 원래 행렬에 추가하는 것이다.[13] 이 맥락에서 어댑터는 기본 모델에 추가될 때 파인 튜닝된 모델을 생성하는 저랭크 행렬의 모음이다. 이는 더 적은 공간 요구 사항으로 전체 모델 파인 튜닝에 가까운 성능을 가능하게 한다. 수십억 개의 매개변수를 가진 언어 모델은 수백만 개의 매개변수로 LoRA 파인 튜닝될 수 있다.
LoRA 기반 파인 튜닝은스테이블 디퓨전 커뮤니티에서 인기를 얻고 있다.[14] LoRA 지원은허깅 페이스의 디퓨저스 라이브러리에 통합되었다.[15] LoRA 및 유사 기술에 대한 지원은 허깅 페이스의 매개변수 효율적인 파인 튜닝(PEFT) 패키지를 통해 광범위한 다른 모델에서도 사용할 수 있다.[16]
표현 파인 튜닝(ReFT)은스탠퍼드 대학교 연구원들이 개발한 기술로,대형 언어 모델(LLM)의 1% 미만의 표현을 수정하여 파인 튜닝하는 것을 목표로 한다. 주로 가중치 업데이트에 초점을 맞추는 매개변수 효율적인 파인 튜닝(PEFT) 방법과 달리, ReFT는 표현을 대상으로 하며, 표현 수정이 가중치 업데이트보다 더 효과적인 전략일 수 있음을 시사한다.[17]
ReFT 방법은 고정된 기본 모델에서 작동하며, 숨겨진 표현에 대한 작업별 개입을 학습하고, 모델 표현의 작은 부분을 조작하는 개입을 훈련하여 추론 시 하위 작업을 해결하는 방향으로 모델 동작을 유도한다. ReFT 계열 내의 특정 방법 중 하나는 저랭크 선형 부분공간 ReFT(LoReFT)인데, 이는 저랭크 투영 행렬에 의해 확장된 선형 부분공간에서 숨겨진 표현에 개입한다.[17] LoReFT는 저랭크 적응(LoRA)의 표현 기반 등가물로 볼 수 있다.
파인 튜닝은자연어 처리(NLP), 특히언어 모델링 영역에서 흔히 사용된다.오픈AI의GPT 파운데이션 모델 시리즈와 같은대형 언어 모델은 특정 하위 NLP 작업(사전 학습된 모델을 사용하는 작업)에 대한 데이터로 파인 튜닝되어, 수정되지 않은 사전 학습된 모델보다 성능을 향상시킬 수 있다.[6]
상업적으로 제공되는 대형 언어 모델은 공급자가 파인 튜닝 API를 제공하는 경우 파인 튜닝될 수 있다. 2023년 6월 19일 현재, 언어 모델 파인 튜닝 API는오픈AI와마이크로소프트 애저의 애저 오픈AI 서비스에서 일부 모델에 대해 제공되며,구글 클라우드 플랫폼에서도 일부PaLM 모델에 대해 제공되는 등 여러 곳에서 제공되고 있다.[18][19][20]
