[PaperReview]FinGPT: Open-Source Financial Large Languge Models(2023)

0. Abstract

• 고품질 금융 데이너에 액세스하는 것은 금융 LLM(FinLLM)의 첫번째 과제
• BloombergGPT와 같은 독점 모델은 고유한 데이터 축적을 활용, 이러한 권한 있는 액세스에는 인터넷 규모의 금융 데이너를 민주화하기 위한 오픈소스 대안이 필요함
• BloombergGPT와 간은 독점 모델과 달리 FinGPT는 데이터 중심 접근 방식을  취하여 연구원과 실무자에게 FinLLM을 개발할 수 있는 접근 가능하고 투명한 리소스를 제공
• FinGPT 구축에 있어 자동 데이터 큐레이션 파이프라인(Autimatic data curation pipeline)과 경량 하위 적응 기술(Lightweight low-rank adaptation technique)의 중요성을 강조
• 로보어드바이저, 알고리즘 거래, 로우 코드 개발등 사용자를 위한 디딤돌러서 여러 잠재적인 애플리케이션을 선보임
• FinGPT는 오픈 소스 AI4Finance 커뮤니티 내의 공동 노력을 통해 혁신을 촉진하고 FinLLM을 민주화하여 개방형 금융에서 새로운 기회를 창출하는 것을 목표로 한다

1. Introduction

1.  고품질의 관련성 있는 최신 데이터를 수집하는 것이 효과적이고 효율적인 오픈 소스 금융 언어 모델을 개발하는데 중요한 요소이다.
2. 금융 분야에서 언어 모델을 활용하는데 장애물이 있음
   • ex. 데이터 획득, 다양한 데이터 형식 및 유형 처리, 데이터 품질 불일치 관리의 어려움부터 최신 정보의 필수 요구 사항 까지 다양
   • ex. 특히 과거 또는 전문 금융 데이터 추출은 웹 플랫폼, API. PDF문서, 이미지 등 다양한 데이터 매체로 인해 복잡해짐.
3. 독점 영역(Proproetary sphere)에서는 BloombergGPT는 전문 데이터에 대한 독점적인 액세스를 활용하여 금융 관련 언어 모델을 학습시킴. -> BUT 데이터 수집 및 교육 프로토콜의 제한된 접근성과 투명성으로 인해 보다 개방적이고 포괄적인 대안에 대한 요구가 더욱 커짐. -> 이러한 요구에 부응하여 우리는 오픈소스 도메인에서 인터넷 규모의 금융 데이터를 민주화 하는 방향으로 변화하는 추세를 목격하고 있음

 본 논문에서는 앞서 언급한 금융 데이터와 관련된 문제를 해결하고 금융 대형 언어모델(FinLLM)을 위한 end-to-end 오픈 소스 프레임워크인 FinGPT를 소개한다
데이터 중심 접근 방식을 채택한 FinGPT는 오픈소스 FinLLM 개발에서 데이터 수집, 정리 및 전처리에서 중요한 역활을 강조한다
FinGPT는 데이터 접근성을 옹호함으로써 금융분야의 연구, 협업 및 혁신을 강화하고 개방형 금융 관행의 기반을 마련하고자 한다

 

Contribution

 1. Democratization

• 오픈 소스 프레임 워크인 FinGPT는 금융 데이터와 FinLLM을 민주화하여 개방형 금융에서 아직 활용되지 않은 잠재력을 발굴하는 것을 목표로 한다.

2. Data-centric approach

• FinGPT는 데이터 큐레이션의 중요성을 인식하고 데이터 중심 접근 방식을 채택하고 다양한 데이터 형식과 유형을 처리하기 위한 엄격한 정리 및 전처리 방법을 구현하여 고품질 데이터를 보장한다.

3. End-to-end Framework

• FinGPT는 4개 계층으로 구성된 FinLLM용 전체 스택 프레임 워크를 수용한다.
  1. Data Source Layer
     • 실시간 정보 캡쳐를 통해 금융 데이터의 시간적 민감도를 해결하면서 포괄적인 시장 범위를 보장
  2. Data Engineering Layer
     • 실시간 NLP데이터 처리에 최적화 된 이 계층은 금융 데이터의 높은 시간 민감도와 낮은 신호 대잡음비라는 고유한 문제를 해결
  3. LLMs Layer
     • 다양한 미세 조정 방법론에 초점을 맞춘 이 계층은 금융 데이터의 매우 동적인 특성을 완화하여 모델의 관련성과 정확성을 보장
  4. Apploication Layer
     • 실용적인 애플리케이션과 데모를 보여주는 이 레이어는 금융 부문에서 FinGPT의 잠재적인 역량을 강조

 

2. Related Work

2.1 LLMs and ChatGPT

• LLM(대형 언어모델)은 GPT-3 및 GPT-4 Browm등과 같은 자연어 처리 분야의 기술적 혁신으로 인식되었다. 그들은 Transformer 기반 아키텍처를 사용하여 다양한 생성 작업에서 인상적인 성능을 보여준다.
• OpenAI가 개발한 GPT 제품군의 파생물인 ChatGPT는 입력 프롬프트를 기반으로 인간과 유사한 텍스트를 생성하도록 설계되었다. 이메일 초안 작성부터 코드 작성, 심지어 서면 콘텐츠 작성까지 다양한 애플리케이션에서 상당한 유용성을 보여주었다.

2.2 LLMs in Finance

• LLM은 금융 부문의 다양한 업무에 적용되었다. 예측 모델링 부터 원시 재무 데이터로부터 통찰력있는 설명 생성까지, 최근 문헌에서는 뉴스 기사, 실적 보고서, 소셜 미디어 게시물등 이분야 텍스트 데이터가 풍구하기 때문에 금융 텍스트 분석을 위해 이러한 모델을 사용하는데 중점을 두었다.
• 금융 LLM의 첫번째 예는 BloombergGPT Wu.et.al. (2023년), 이는 금융 및 일반 소스가 혼합된 데이터 세트에 대해 훈련되었다. 인상적인 기능에도 불구하고 액세스 제한이 존재하며 엄청난 교육 비용으로 인해 저비용 도메인 적응이 필요하게 되었다.

FInGPT는 이러한 과제에 대응하여 오픈 소스 금융 LLM을 제시한다. RLHF(Reinforcement Learning from Human Feedback)를 사용하여 개인의 선호도를 이해하고 이에 적응함으로써 맞춤형 금융 보조원을 위한 기반을 마련한다. 우리는 ChatGPT와 같은 일반 LLM의 강점을 재정적 적응과 결합하여 LLM의 금융 역량을 활용하는 것을 목표로 한다.

2.3 Why Open-source FinLLMs?

AI4Finance Foundation은 금융 대형 언어모델 (FinLLM)을 포함하여 인공 지능(AI)과 금융 어플리케이션을 통합하는 비영리 오픈 소스 조직

• FinLLM 민주화를 통해 평등한 기회 증진
  • 오픈 소스 방법론을 채택하면 FinLLM 민주화 정신을 고수하면서 최첨단 기술에 대한 보편적인 접근이 촉진
• 투명성과 신뢰 구축
  • 오픈 소스 FinLLM은 기본 코드베이스에 대한 포괄적인 개요를 제공하여 투명성과 신뢰를 강화
• 연구 및 혁신 가속화
  • 오픈 소스 모델은 AI 영역 내 연구 개발의 발전을 촉진, 이를 통해 연구자는 기존 모델을 활용하여 혁신과 과학적 발견을 더 빠르게 진행
• 교육 강화
  • 오픈 소스 FinLLM은 강력한 교육 도구 역할을 하며 학생과 연구원에게 완전 운영 모델과의 직접적인 참여를 통해 FinLLM의 복잡성을 탐구할 수 있는 가능성을 제시
• 커뮤니티 개발 및 협업 참여 촉진
  • 오픈 소스는 기여자의 글로벌 커뮤니티를 촉진, 이러한 공동 참여는 모델의 장기적인 내구성과 효율성을 강화

 

3. Data-Centric Approach for FinLLMs

FinGPT의 데이터 중심 접근 방식은 고품질 데이터의 수집, 준비 및 처리를 우선시한다

3.1. Financial Data and Unique Characteristics

재무 데이터 및 고유 특성 4가지

1. "Financial news" 

Financial mews(금융 뉴스)는 세계 경제, 특정 산업, 개별 기업에 대한 중요한 정보를 전달

1. Timeliness - 적시성: 금융 뉴스 보고서는 적시에 최신 정보를 제공하며 금융계의 최신 동향을 포착하는 경우가 많음
2. Dynamism - 역동성: 금융 뉴스에 포함된 정보는 역동적이며 변화하는 경제 상황과 시장 정서에 따라 빠르게 변화함
3. Influence - 영향: 금융 뉴스는 금융 시장에 상당한 영향을 미쳐 트레이더의 결정에 영향을 미치고 잠재적으로 극적인 시장 움직임으로 이어질 수 있음 

2. "Company Filings and announcements"

Company filings and announcements(회사 서류 및 발표)는 회사가 규제 기관에 제출하는 공식 문서로, 회사의 재무 건전성과 전략적 방향에 대한 통찰을 제공

1. Granularity - 세분성: 이 문서는 자산, 부채, 수익 및 수익성을 포함하여 회사의 재무 상태에 대한 세부적인 정보를 제공함
2. Reliability - 신뢰성: 회사의 기재 내용에는 규제 기관이 조사한 신뢰할 수 있고 검증된 데이터가 포함되어 있음
3. Periodicity - 주기: 회사 작성 자료는 정기적으로 이루어지며 일반적으로 분기별 또는 연간 기준으로 제출되어 회사의 재무 상황에 대한 정기적인 스냅샷을 제공함
4. Impactfulness - 영향력: 회사의 발표는 종종 시장에 상당한 영향을 미쳐 주가와 투자 심리에 영향을 미침 

3. "Social media discussions"

Social Media Discussions (금융과 관련된 소셜 미디어 토론)은 특정 주식, 부문 또는 전체 시장에 대한 대중의 정서를 반영

1. Variability - 가변성: 소설 미디어 토론은 어조, 내용, 품질이 매우 다양하므로 복잡하기는 하지만 정보 소스가 풍부
2. Real-time sentiment - 실시간 정서: 이러한 플랫폼은 종종 실시간 시장 정서를포착하여 여론의 추세와 변화를 감지
3. Volatility - 변동성: 소셜 미디어에 표현된 정서는 매우 변동성이 크며 뉴스 이벤트나 시장 움직임에 따라 빠르게 변할 수 있음

4. "Trends"

Seeking Alpha, Google Trends, 기타 금융 관련 블로그 및 포럼과 같은 웹사이트를 통해 흔히 관찰 할 수 있는 트랜드는 시장 동향과 투자 전략에 대한 중요한 통찰력을 제공

1. Analyst perspectives - 분석가 관점: 이 플랫폼은 노련한 재무 분석가 및 전문가의 시장 예측 및 투자 조언에 대한 엑세스를 제공
2. Market sentiment - 시장 정서: 이러한 플랫폼에 대한 담론은 특정 증권, 부문 또는 전체 시장에 대한 집단적 정서를 반영하여 지배적인 시장 분위기에 대한 귀중한 통찰력을 제공
3. Broad Coverage - 광범위한 적용 범위: 추세 데이터는 다양한 증권 및 시장 부문에 걸쳐 포괄적인 시장 범위를 제공

-> 이러한 각 데이터 소스는 금융 세계에 대한 고유한 통찰력을 제공

-> FinGPT와 같은 금융 언어 모델은 이러한 다양한 데이터 유형을 통합함으로써 금융 시장에 대한 포괄적인 이해를 촉진하고 효과적인 금융 의사 결정을 가능하게 한다.

 

3.2. Challenges in Handling Financial Data

High temporal sensitivity

• 금융 데이터는 시간에 민감, 시장을 움직이는 뉴스나 업데이트는 일단 공개되면 투자자가 알파(투자의 상대적 수익 측정)를 극대화 할 수 있는 좁은 기회 창을 제공

High dynamism

• 금융 환경은 뉴스, 소셜 미디어 게시물, 기타 시장 관련 정보가 매일 유입되면서 끊임 없이 진화하고 있음. 이러한 변화에 대처하기 위해 모델을 자주 재교육하는 것은 비실용적이며 비용도 많이 듦.

Low signal-to-noise ratio (SNR)

• 금융 데이터는 종종 "노이즈에 대한 낮은 신호"를 보임. Liu et al(2022년), 이는 유용한 정보가 일반적으로 관련이 없거나 시끄러운 데이터로 인해 왜소해짐을 의미함. 이 정보의 바다에서 귀중한 통찰력을 추출하려면 정교한 기술이 필요함.

 

4. Overview of FinGPT: An Open-Source Framework for FinLLM

 4계층으로 FinGPT가 이루어짐

1.  Data source Layer

• FinGPT의 시작점, 다양한 온라인 소스에서 광범위한 금융 데이터 수집을 조율하는 데이터 소스 계층
• 뉴스 웹사이트, 소셜 미디어 플랫폼, 재무제표, 시장동향 등의 데이터를 통합하여 포괄적인 시장 범위를 보장
• 목표는 시장의 모든 미요한 차이를 포착하여 금융 데이터에 내재된 시간적 민감도를 해결하는 것

2.  Data engineering Layer

• 이 계층은 금융 데이터에 내제된 High temporal sensitivity와 Low Signal-to-noise ratio 문제를 해결하기 위해 NLP 데이터의 실시간 처리에 중점을 둠
• 최첨단 NLP 기술을 통합하여 노이즈를 필터링하고 가장 중요한 정보를 강조 표시

3.  LLMs Layer

• 중심에 위치하며 경량 적응에 우선순위를 두고 모델을 최신 상태로 유지하고 관련성을 유지하기 위해 다양한 미세 조정 방법론을 포함
• 업데이트 된 모델을 유지함으로써 FinGPT는 금융 데이터의 매우 역동적인 특성을 처리하여 응답이 현재 금융 환경과 일치하도록 보장

4.  Application Layer

• FinGPT의 마지막 구성 요소는 FinGPT의 실제 적용 가능성을 보여주기 위해 설계된 어플리케이션 레이어
• 로보어드바이저 서비스, 정량 거래, 로우 코드 개발 등 금융업무를 위한 실습 튜토리얼과 데모 어플리케이션을 제공
• 이러한 실제 시연은 잠재적인 사용자에게 가이드 역할을 할 뿐만 아니라 금융 분야에서 LLM의 혁신적인 잠재력을 강조

4.1. Data Sources

다양한 온라인 소스에서 광범위한 금융 데이터를 수집함. 아래 데이터셋 말고도 다른 데이터 셋도 사용 됨.

 

"Financial news" 

: Reuters, CNBC, Yahoo Finance 등의 웹사이트는 금융 뉴스와 시장 업데이트를 제공하는 풍부한 소스, 이러한 사이트는 시장 동향, 회사 수익, 거시겨제 지표 및 기타 금융 이벤트에 대한 귀중한 정보를 제공

"Social media" 

: Twitter, Facebook, Reddit, weibo등의 플랫폼은 대중 정서, 트랜드 주제, 금융 뉴스 및 이벤트에 대한 즉각적인 반응 측면에서 풍부한 정보를 제공

"Filings" 

: 미국 SEC등 금융 규제 당국의 웹사이트에서 회사 서류에 대한 엑세스를 제공. 이러한 서류에는 연간 보고서, 분기별 수익, 내부자 거래 보고서 및 기타 중요한 회사별 정보가 포함. 증권거래소 (NYSE, NASDAQ, Shanghai Stock Exchange 등)의 공식 웹사이트에서는 주가, 거래량, 회사 목록, 과거 데이터 및 기타 관련 정보에 대한 중요한 데이터를 제공함

"Trends" 

: Seeking Alpha, Google Trends, 기타 금융 중심 블로그 및 포럼과 같은 웹사이트에서는 분석가의 의견, 시장 에측, 특정 증권 또는 시장 부문의 움직임 및 투자 조언에 대한 엑세스를 제공

"Academic datasets" 

: 정교한 재무 분석을 위해 선별되고 검증된 정보를 제공하는 연구 기반 데이터 세트

이러한 다양한 소스로 부터 풍부한 정보를 활용하기 위해 FinGPT는 API, 웹 스크래핑 도구, 가능한 경우 직접 데이터베이스 액세스 등 구조적 및 구조화 되지 않은 데이터를 스크래핑할 수 있는 데이터 수집 도구를 통합한다. 또한 시스템은 이러한 플랫폼의 서비스 약관을 존중하도록 설계되어 데이터 수집이 윤리적이고 합법적임을 보장한다.

"Data APIs" 

: FinGPT 프레임워크에서 API는 초기 데이터 수집 뿐만 아니라 실시간 데이터 업데이트에도 사용되어 모델이 최신 데이터에 대해 훈련 되도록함. 또한 API사용 제한을 준수하고 데이터 흐름 중단을 방지하기 위해 오류 처리 및 속도 제한 전략이 구현 됨

 

4.2. Real-Time Data Engineering Pipeline for Financial NLP

금융 시장은 실시간으로 운영되며 뉴스와 정서에 매우 민감

Ex) 유가 증권 가격은 새로운 정보에 따라 급격하게 변할 수 있으며, 해당 정보 처리가 지연되면 기회를 놓치거나 위험이 증가할 수 있다.

금융 NLP에서는 실시간 처리가 필수적!

실시간 NLP 파이프라인의 주요 과제는 지속적인 데이터 유입을 효율적으로 관리하고 처리하는 것! 

 

"Data cleaning" 

: 실시간 데이터는 잡음이 많고 일관성이 없을 수 있음

-> 따라서 실시간 데이터 정리에는 관련 없는 데이터 제거, 누락된 값 처리, 텍스트 정규화(ex,소문자화) 및 오류 수정

 

"Tokenization" 

: 실시간 어플리케이션은토큰화가 즉시 수행되어야함. 여기에는 텍스트 스트림을 더 작은 단위나 토큰으로  나누는 작업이 포함

 

"Stop word removal and stemming (어간추출)/ lemmatization(표제어)" 

: 실시간 처리를 위해 미리 정의된 불용어 목록을 사용하여 토큰 스트림에서 이러한 일반적인 단어를 필터링할 수 있음. 마찬가지로, 형태소 분석 및 표제어 분석 기술을 적용하여 단어를 어근 형태로 줄일 수 있음

 

"Feature extraction and sentiment analysis" 

: 특징 추출에는 원시 데이터를 기계 학습 모델이 이해할  수 있느 입력으로 변환하는 작업이 포함

TF-IDF, Bag of Words와 같은 기술이나 Word2Vec과 같은 임베딩 벡터를 사용할 수 있음.

정리된 데이터에 대해서도 감성 분석을 수행할 수 있는데, 텍스트를 긍정적, 부정적 또는 중립으로 분류함

 

"Prompt engineering" 

: 언어 모델의 생성 프로세스를 바람직한출력으로 안내할 수 있는 효과적인프롬프트를 생성

 

"Alerts/ Decision making" 

: 프롬프트가 입력되면 결과를 전달하거나 조치를 취해야 함. 특정 조건에 따라 경고를 트리거하거나 실시간 의사결정 프로세스에 알리거나 출력을 다른 시스템에 공금하는 것이 포함됨

 

"Continuous learning" 

: 실시간 시스템에서 모델은 데이터 변화에 적응해야, 지속적인 학습 시스템을 구현할 수 있음

-> 여기서 모델은 정기적으로 새로운 데이터에 대해 재교육을 받거나 각각의 새로운 데이터 포인트로 모델을 업데이트 할 수 있는 온라인 학습 알고리즘이 사용됨

 

"Monitoring" 

: 실시간 시스템은 올바르게 작동하는지 확인하기 위해 지속적인 모니터링이 필요

-> 파이프라인의 지연이나 문제는 즉각적인 영향을 미칠 수 있으므로 강력한 모니터링 및 경고 기능을 갖추는 것이 중요

4.3 Large Language Models(LLMs)

"LLMs APIs" 

: 확립된 LLM의 API는 기본 언어 기능을 제공

 

"Trainable models" 

: FinGPT는 사용자가 개인 데이터를 미세 조정하여 금융 어플리케이션에 맞게 맞춤화할 수 있는 학습가능한 모델을 제공

 

"Fine-tuning methods" 

: 양한 미세 조정 방법을 통해 FinGPT를 개인화된 로보어드바이저에 적용

 

처음 부터 재교육(retrain)하는 대신 LLM을 fine-tune하는 이유는?

-> 기존 LLM(대형 언어모델)을 활용하고 재무에 맞게 fine-turn 하면 비싸고 오랜 시간이 걸리는 모델 재교육에 대한 효육적이고 비용 교화적인 대안을 제공

• BloombergGPT는 금융 관련 기능이 뛰어나지만 집중적인 계산 요구 사항이 있음
• 훈련에 약 130만 GPU 시간이 사용되었으며, AWS 클라우드의 2.3달러 요율을 사용하여 계산하면 훈련당 약 300만 달러에 달하는 엄청난 비용이 소요됨

BloombergGPT와 같은 모델의 높은 계산 비용과 달리 FInGPT는최고의 오픈 소스 LLM의 경량화에 중점을 두어 보다 접근하기 쉬운 솔루션을 제공한다. 적응 비용은 훈련당 $300미만으로 크게 감소

• 이러한 접근 방식은 역동적인 금융 영역에 필수적인 시기적절한 업데이트와 적응성을 보장

오픈 소스인 FinGPT는 투명성을  촉진할 뿐만 아니라 사용자 맞춤화를 허용하여 개인화된 재정자문 서비스의 증가 추세에 부응
궁극적으로 FinGPT의 비용 효율적이고 유연한 프레임워크는 금융 언어 모델링을 민주화하고 사용자 중심 금융 서비스를 육성할 수 있는 잠재력을 보유하고 있다

 

FIne-turing via Low-rank Adaptation(LoRA)

FineGPT에서는 새로운 금융 데이터 세트를 활용하여 사전 훈련된 LLM을 fine-tune 한다

• 고품질의 레이블이 지정된 데이터가 ChatGPT를 포함한 많은 성공적인 LLM의 핵심 결정 요인
• but 이러한 최고 수준의 레이블이 지정된 데이터를 획득하려면, 시간과 리소스 측면에서 비용이 많이 들고 일반적으로 재무 전문가의 전문 지식이 필요함
• 우리의 목표가 금융 관련 텍스트를 분석하고 정량적 거래를 지원하기 위해 LLM을 사용하는 것이라면 시장 고유의 라벨링 기능을 활용하는 것이 합리적으로 보임.
  • -> 결과적으로 각 뉴스 항목에 대한 상대적 주가 변동률을 출력 레이블로 사용 (relative stock price change percentage for each news item as the output labels)
  • -> 뉴스 항목의 정서를 기반으로 이러한 레이블을 긍정적, 부정적, 중립의 세가지 범주로 나누는 임계값을 설정함

FIne-turing via Reinforcement. Learning on Stock Proces(RLSP)

마찬가지로 ChatGPT에서 활용하는 인간 피드백에 대한 강화 학습을 주가에 대한 강화학습(RLSP)으로 대체

이러한 대체의 이유? "주가"가 뉴스와 이벤트에 대한 시장 심리를 반영하는 정량화 가능하고 객관적인 지표를 제공하기 떄문

-> 이는 "모델 교육을 위한 강력한 실시간 피드백 매커니즘"을 만듦

• 강화학습(RL)을 사용하면 모델이 환경과의 상호 작용 및 피드백 수신을 통해 학습할 수  있음
• RLSP의 경우 environment = 주식시장
• feedback = form of stock price changes

이러한 접근 방식을 통해,

• FinGPT는 금융 텍스트에 대한 이해와 해석을 개선하여 다양한 금융 이벤트에 대한 시장 반응을 예측하는 능력을 향상
• 뉴스 정서와 관련 주식의 후속 실적을 연결함으로써 RLSP는 FinGPT를 fine-tune 하는 효과적인 방법을 제공

본질적으로 RLSP를 사용하면 모델이 다양한 뉴스 이벤트에 대한 시장의 반응을 추론하고 이에 따라 이해와 예측을 조정
(실제 주가 움직임을 피드백으로 사용함으로써 우리는 시장의 지혜를 직접 활용하여 모델을 더욱 효과적으로 만듦)

 

4.4 Applications

• Robo-advisor: 맞춤형 금융 조언을 제공하여 정기적인 대면 상담의 필요성을 줄임
• Quantitative trading: 정보에 입각한 거래 결정을 위한 거래 신호 생성
• Portifoilio Optimization: 다양한 경제 지표와 투자자 프로파일을 활용하여 최적의 투자 포트폴리오 구축
• Financial sentiment analysis: 통찰력 있는 투자 지침을 위해 다양한 금융 플랫폼 전반의 감정을 평가
• Risk management: 다양한 위험 요인을 분석하여 효과적인 위험 전략을 수립
• Financial Fraud detection: 금융 보안 강화를 위해 잠재적인 사기 거래 패턴을 식별
• Credit scoring: 금융 데이터로부터 신용도를 예측하여 대출 결정에 도움
• Insolvency prediction: 금융 및 시장 데이터를 기바능로 기업의 부실 또는 부도 가능성을 예측
• Mergers and acquisitions(M&A) firecasting: 재무 데이터와 회사 프로필을 분석하여 잠재적인 M&A 활동을 예측하여 투자자가 시장 동향을 예측하도록 도움
• ESG(Environmental, Social, Governance) scoring: 공개 보고서 및 뉴스 기사를 분석하여 기업의 ESG 점수를 평가
• Low-code developmemt: 사용자 친화적인 인터페이스를 통해 소프트웨어 생성을 촉진하고 기존 프로그래밍에 대한 의존도를 줄임
• Financial education: 더 나은 금융 이해력을 위해 복잡한 금융 개념을 단순화 하는 AI교사 역할

 

5. Conclusion

• 결론적으로, 대규모 언어모델(LLM)을 금융 부문에  혁신적으로  통합하면 고유한 복잡성과 막대한 기회가 발생함
• 높은 시간적 민감도, 연동적인 금융 환경, 금융 데이터의 낮은 신호 대 잡음비 등의 문제를 해결하려면 효율적인 솔루션이 필요
• FinGPT는 기존 LLM을 활용하고 이를 특정 금융 어플리케이션에 맞게 FIne-tune하여 혁신적으로 대응
• BloombergGPT와 같은모델에 비해 적응 비용과 계산 요구 사항을 크게 줄여 금융 언어  모델링을 위한 보다 접근하기 쉽고 유연하며 비용 효율적인 솔루션을 제공
• 역동적이고 시간에 민감한 금융 세계에서 중요한 측면인 모델의 정확성과 관련성을 보장하기 위해 일관된 업데이트가 가능

6. Future Work

Individualization

: FinLLM전략의 핵심은 concept of individualized fine-tuning

FinLLM은 LoRA 및 QLoRA와 같은 기술을 사용하여 사용자가 특정 요구 사항에 맞게 모델을 맞춤화하여 개인용 로보어드바이저 또는 보조자를 만들 수 있도록함. 이는 소비자가 점점 더 자신의 고유한 위험 프로필 및 재무 목표에 맞는 맞춤형 조언을 요구함에 따라 금융 서비스의 맞춤화를 향한 광범위한 추세와 일치함

 

Open-source and low-cost adaptation

: FinLLM은 오픈 소스 가치를 옹호하여 일반적으로 $100~$300 사이의 저렴한 비용으로 LLM(대형 언어모델)을 자신의 요구 사항에 맞게 조정하는 데 필요한 도구를 사용자에게 제공

이는 고급 금융 모델링 기술에 대한 접근을 민주화 할 뿐만 아니라 개발자와 연구원으로 구성된 활발한 커뮤니티를 조성하여 금융 AI분야에서 가능한 것의 한계를 공동으로 확장함

 

Access to high-quality Financial data

: FinLLM은 단순한 모델링 기술 제공을 넘어 고품질 금융 데이터에 대한 엑세스도 제공

이를 통해 사용자는 모델을 효과적으로 훈련하는데 필요한 데이터를 확보하는 동시에 데이터 큐레이션프로세스를 단순화 할 수 있음. 데모가 포함된 데이터 큐레이션 파이프라인을 제공함으로써 이러한 엑세스가 더욱 향상되어 사용자가 재무 데이터의 잠재력을 최대한 활용할 수 있음

 

 

 

 

아래의 블로그를 참조하였습니다.

https://velog.io/@becky-kwon/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-FinGPT-Open-Source-Financial-Large-Language-Models-2023