데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

1.Fully Fine-Tuning 이 힘든 이유?LLM의 weight는 최소 1.5~3B 이다.Model을 GPU에 load 하는 것만 해도 웬만한 GPU가 아닌 이상 불가능 하다.모델을 Fine-Tuning 학습하는것도 힘듦forward & Backward, 이를 통한 Model weight update는 gradient 를 전부 GPU에 저장해야 된다.gradient 뿐만 아니라 Optimizer를 위한 이전 기록(=tensor)들도 GPU에 저장해야 한다.결국 Fully Fine-Tuning을 위해서는 모델의 weight수 *2~3배의 GPU vram이 필요하다.weight의 수가 많은 LLM을 Fully Fine-tuning하지 않는 이유가 이것이다.이를 개선 하고자 나온 것이 LoRA d이다...

0. Abstract고품질 금융 데이너에 액세스하는 것은 금융 LLM(FinLLM)의 첫번째 과제BloombergGPT와 같은 독점 모델은 고유한 데이터 축적을 활용, 이러한 권한 있는 액세스에는 인터넷 규모의 금융 데이너를 민주화하기 위한 오픈소스 대안이 필요함BloombergGPT와 간은 독점 모델과 달리 FinGPT는 데이터 중심 접근 방식을  취하여 연구원과 실무자에게 FinLLM을 개발할 수 있는 접근 가능하고 투명한 리소스를 제공FinGPT 구축에 있어 자동 데이터 큐레이션 파이프라인(Autimatic data curation pipeline)과 경량 하위 적응 기술(Lightweight low-rank adaptation technique)의 중요성을 강조로보어드바이저, 알고리즘 거래, 로우..

리뷰논문 review paper란?리뷰 논문은 특정 주제에 대한 여러 최신 연구 결과들에 대해 정리한 논문대부분 그 분야의 대가 혹은 rising star 들이 그 논문을 작성길이가 길고 reference들이 아주 많음실험 논문과 달리 리뷰 논문은 실험 없이 다른 논문을 바탕으로 실험 결과를 종합하여 정리하거나 연구 방향을 제시한다.리뷰 논문은 앞에서 말했듯이 그분야의 다양한 이론들을 한 주제로 정리하기 때문에 해당 분야의 초보들이 리뷰를 읽고 그 분야를 잏하는 데 도움을 준다.리뷰논문 review paper의 종류비체계적 문헌 고찰 (narrative review): 주제에 관한 출간된 기존의 모든 연구를 검토하고 소개체계적 문헌 고찰(systematic review): 한 주제에 대해 존재하는 과학 ..

논문 서베이(Survey)란?어떤 분야의 연구나 프로젝트를 시작하기에 앞서, 해당 분야를 깊에 이해하기 위한 과정해당 분야의 선행 연구 논문들을 조사하고 정리하며, 문제 정의를 명확히 하고, 최근 몇 년 동안 어떤 방식을 사용하여 문제 해결을 시도하였는지 이해하는 것 논문 서베이에서 조사할 내용논문의 제목논문 링크gitHub 링크인용수학회나 학술지발행연도+ 논문의 한줄요약, 성능지표, 소스코드 공개 여부논문 찾는 방법papersWithCode에서 원하는 분야를 검색하고 Sota(State of the art)논문을 찾는다.또는 arxiv나 학회, 학술지 홈페이지에서 찾는것도 좋다 (CV = ICCV, CVPR등)Sota 논문을 먼저 정리한 후, 논문의 Related work를 통해 다른 논문을 찾는다.인..