데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

Distance-based methodsDiscovering tge grouping in a dataset based on the distances of data onjectsPartitioningGIven k, find a partition of k clusters that optimizes the chosen distance-based objective functionk-Meansk-Means++k-MedoidsHierarchicalgenerate a clustering hierachy, visualized as a dendrogramAgglomerative VS divisiveCluster distance measuresBIRCHcluster features(CF) to summarize a clu..

Clustering AnalysisGiven a set of data point, partition them into a set of groups (i.e. cluster)Learning philosophyUnsupervised learning with unknown cluster labelscf. classification is supervised learning with known class labelsQualityA good clustering method will produce high-quality clustersHigh intra-class similarity -> Cohesive within clustersLow inter-class similarity -> distinctive betwee..

GINI Index노드에서 데이터를 잘못 분류할 확률을 수정(노드 불순도를 의미)계산 방법: 특정 노드에서 클래스 j를 가질 확률𝑝(𝑗|𝑡)𝑝(𝑗|𝑡) = # of records of class j in t / # of records in t특징:값의 범위: 0=최소값(0): 모든 데이터가 하나의 클래스에 속할 때최대값 (1-1/c): 데이터가 모든 클래스에 균등하게 분포될 때 Entropy정보량, 불확실성, 놀라움의 정도를 측정계산방법:특정 노드에서 클래스 K  Entropy ( information theory)정보량, 불확실성, 놀라움의 정도를 측정Higher probability -> Lower uncentainty/surprise -> Lower information -> Lower ..

Concepts 분류는 정해진 정답 셋에서 데이터를 분류하는 문제데이터는 속성(attrubutes/features)과 클래스 레이블(class label)로 구성속성은 예측 변수/독립변수로, 클래스 레이블은 종속변수 / 결과 값으로 볼 수 있음 Classification methodologiesLazy Learning 학습 데이터를 저장하고 새로운 데이터가 들어올때 비교하여 분류특징:학습시간이 적게 들지만 예측 시간이 오래 걸림노이즈에 강건하지만 일반화 성능일 떨어질 수 있음ex) K-Nearest Neighbors(KNN) Eager Learning 학습 데이터로 부터 일반화된 모델을 미리 생성특징:학습시간이 오래걸리나 예측 시간은 빠름좋은 일반화가 가능하나 불필요한 특성에 민감할 수 있음ex)  Lo..

1.Fully Fine-Tuning 이 힘든 이유?LLM의 weight는 최소 1.5~3B 이다.Model을 GPU에 load 하는 것만 해도 웬만한 GPU가 아닌 이상 불가능 하다.모델을 Fine-Tuning 학습하는것도 힘듦forward & Backward, 이를 통한 Model weight update는 gradient 를 전부 GPU에 저장해야 된다.gradient 뿐만 아니라 Optimizer를 위한 이전 기록(=tensor)들도 GPU에 저장해야 한다.결국 Fully Fine-Tuning을 위해서는 모델의 weight수 *2~3배의 GPU vram이 필요하다.weight의 수가 많은 LLM을 Fully Fine-tuning하지 않는 이유가 이것이다.이를 개선 하고자 나온 것이 LoRA d이다...

what is LoRA?:  Low-Rank Adaptation대규모 언어모델(LLM)의 효율적인 미세 조정을 위해 개발된 기술이 방법은 사전 학습된 모델의 가중치를 동결하고, 각 층에 저랭크(rank decomposition)행렬을 삽입하여 학습 가능한 파라미터 수를 크게 줄임.이를 통해 계산 및 메모리 요구 사항을 감소시키면서도, 성능은 전체 미세 조정과 유사하게 유지할 수 있음 LoRa의 작동 원리LoRA는 특정 작업에 적응하기 위해 사전 학습된 가중치 행렬의 업데이트를 저랭크 행렬로 표현한다. 예를 들어, 트랜스포머 모델의 셀프 어텐션 모듈에서 4개의 가중치 행렬과 MLP모듈에서 2개의 가중치 행렬을 저랭크 행렬로 대체하여 학습한다.이는 전체 가중치 행렬을 업데이트하는 대신, 입력에 대해 곱해진 ..

0. Abstract고품질 금융 데이너에 액세스하는 것은 금융 LLM(FinLLM)의 첫번째 과제BloombergGPT와 같은 독점 모델은 고유한 데이터 축적을 활용, 이러한 권한 있는 액세스에는 인터넷 규모의 금융 데이너를 민주화하기 위한 오픈소스 대안이 필요함BloombergGPT와 간은 독점 모델과 달리 FinGPT는 데이터 중심 접근 방식을  취하여 연구원과 실무자에게 FinLLM을 개발할 수 있는 접근 가능하고 투명한 리소스를 제공FinGPT 구축에 있어 자동 데이터 큐레이션 파이프라인(Autimatic data curation pipeline)과 경량 하위 적응 기술(Lightweight low-rank adaptation technique)의 중요성을 강조로보어드바이저, 알고리즘 거래, 로우..

리뷰논문 review paper란?리뷰 논문은 특정 주제에 대한 여러 최신 연구 결과들에 대해 정리한 논문대부분 그 분야의 대가 혹은 rising star 들이 그 논문을 작성길이가 길고 reference들이 아주 많음실험 논문과 달리 리뷰 논문은 실험 없이 다른 논문을 바탕으로 실험 결과를 종합하여 정리하거나 연구 방향을 제시한다.리뷰 논문은 앞에서 말했듯이 그분야의 다양한 이론들을 한 주제로 정리하기 때문에 해당 분야의 초보들이 리뷰를 읽고 그 분야를 잏하는 데 도움을 준다.리뷰논문 review paper의 종류비체계적 문헌 고찰 (narrative review): 주제에 관한 출간된 기존의 모든 연구를 검토하고 소개체계적 문헌 고찰(systematic review): 한 주제에 대해 존재하는 과학 ..

논문 서베이(Survey)란?어떤 분야의 연구나 프로젝트를 시작하기에 앞서, 해당 분야를 깊에 이해하기 위한 과정해당 분야의 선행 연구 논문들을 조사하고 정리하며, 문제 정의를 명확히 하고, 최근 몇 년 동안 어떤 방식을 사용하여 문제 해결을 시도하였는지 이해하는 것 논문 서베이에서 조사할 내용논문의 제목논문 링크gitHub 링크인용수학회나 학술지발행연도+ 논문의 한줄요약, 성능지표, 소스코드 공개 여부논문 찾는 방법papersWithCode에서 원하는 분야를 검색하고 Sota(State of the art)논문을 찾는다.또는 arxiv나 학회, 학술지 홈페이지에서 찾는것도 좋다 (CV = ICCV, CVPR등)Sota 논문을 먼저 정리한 후, 논문의 Related work를 통해 다른 논문을 찾는다.인..

Main Memory #2 페이징과 스와핑1. 페이징(paging)페이징의 필요성프로세스를 메모리에 올릴떄 가장 좋은 시나리오는 메모리에서 연속적인 위치에 그대로 올라가는 것이다. 하지만 프로세스의 크기가 커지면 커질 수록 연속적인 위치에 놓지 못하게 됨. 이렇게 되면 메모리 위에서 프로세스는 쪼개지는 외부 단편화가 발생 페이징이란 무엇인가?프로세스의 물리적 주소 공간을 비연속적으로 허용하는 메모리 관리 체계이다연속적인 메모리 할당의 2가지 문제를 극복한다외부 단편화(External fragmentation) 회피압축과 관련된 요구를 회피운영체제와 하드웨어 사이에서 협력하여 구현페이징의 기본적인 방법물리적인 메모리를 고정된 크기의 블록(Frames)으로 분할논리적인 메모리를 같은 크기의 블록(pages)..