데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

트랜스포머: 현대 AI 혁명 이면의 모델GPT, BERT, LLM의 핵심 구조는 모두 트랜스포머(Transformer)에서 시작됩니다.이번 장에서는 어텐션(Attention) 원리부터 트랜스포머 학습 방식, 디코딩 전략까지 핵심 개념을 정리합니다.2장. 어텐션과 셀프 어텐션 탐구하기2.1. 어텐션과 셀프 어텐션 탐구하기✔ Seq2Seq 모델의 한계Seq2Seq 모델은 인코더(Encoder)와 디코더(Decoder)로 구성된 RNN 기반 번역 모델입니다.인코더 → 입력 문장을 하나의 벡터로 압축디코더 → 이 벡터를 기반으로 출력 문장 생성이때 입력 문장을 압축한 벡터를 **컨텍스트 벡터(Context Vector)**라고 합니다.하지만 문제는…❗ Seq2Seq의 구조적 한계정렬(Alignment) 문제입력..

[AI 에이전트 엔진: 텍스트에서 대규모 언어 모델까지] study 딥러닝으로 텍스트 데이터 분석하기텍스트 데이터 분석은 인공지능(AI)과 딥러닝의 핵심 분야 중 하나입니다.특히 **자연어처리(NLP, Natural Language Processing)**에서는 텍스트를 어떻게 수치화하고, 어떤 모델 구조를 사용하느냐에 따라 성능이 크게 달라집니다.이번 장에서는 텍스트 표현 방법부터 임베딩, 그리고 RNN·LSTM 같은 신경망 구조까지 전체 흐름을 정리합니다.1.1. AI를 위한 텍스트 표현딥러닝으로 텍스트 데이터를 분석하려면 먼저 문자를 숫자로 변환해야 합니다.이를 텍스트 표현(Text Representation)이라고 합니다.• 토큰화(Tokenization)토큰화는 문장을 의미 있는 최소 단위(토큰..

국어 RAG 솔루션 성능 평가 ??→ 올거나이즈에서 운영중인 RAG리더보드에서 사용하는 벤치마크 데이터 셋 올거나이즈가 국내 최초로 검색 증강 생성(RAG) 성능을 평가하는 '알리 RAG 리더보드'를 공개했습니다. 이 리더보드는 금융, 공공, 의료, 법률, 커머스의 5개 분야에서 한국어 RAG 성능을 평가합니다. 이를 통해 기업들은 가장 적합한 RAG 솔루션을 비교하고 도입할 수 있습니다​ (AI타임스)​​ (올거나이즈, 기업 생산성을 혁신하는 LLM Enabler)​. 리더보드는 답변 유사도 및 정확도를 판단하는 5개의 평가 도구를 사용하여 성능을 평가합니다. 이 도구들은 답변의 정확성과 유사성을 측정하며, 각 평가 결과에서 3개 이상의 도구가 오류 없이 통과된 경우에 '이상 없음'으로 판정합니다​ (..

고급 RAG 기술의 각 방법론 및 성능 평가: 검색 및 생성 성능 중심 Retrieval-Augmented Generation(RAG)는 외부 지식 소스로 부터 추가적인 정보를 통합하여 대형 언어 모델(LLM)을 개선하는 과정이다, 이를 통해 LLM은 더 정확하고 문맥을 고려할 수 있는 답변은 생성하며, 환각(hallucination)을 방지할 수 있게 되었다. 이러한 장점을 가진 RAG는 2023년 이후 LLM 기반 시스템에서 범용적으로 사용되는 아키텍처로 자리 잡았다.RAG Framework의 3가지 범주Navie RAGAdavanced RAGModular RAG 1. Naive RAG1-1. Navie RAG의 개념 및 설명기본 RAG (Retrieval-Augmented Generation)은 R..

FAISS란?FAISS (Facebook AI Similarity Search):개발자가 서로 유사한 멀티미디어 문서의 임베딩을 빠르게 검색할 수 있게 해주는 라이브러리전통적인 쿼리 검색 엔진이 해시 기반 검색에 최적화되어 있어 발생하는 제한 사항을 해결하고, 보다 확장 가능한 유사성 검색 기능을 제공Facebook AI Similarity Search는 개발자가 서로 유사한 멀티미디어 문서의 임베딩을 빠르게 검색할 수 있게 해주는 라이브러리대규모 데이터 셋을 검색하여 대상 항목과 유사한 항목을 찾아야하는 상황에서 도움을 줄 수있도록 설계됨목적: FAISS는 메모리 사용량과 속도에 중점을 둔 어떤 크기의 벡터 집합에서든 검색하는데 사용. 매우 큰 데이터셋을 다룰때 특히 유용효율성: FAISS에는 밀리초 ..

https://arxiv.org/abs/2305.06983 Active Retrieval Augmented GenerationDespite the remarkable ability of large language models (LMs) to comprehend and generate language, they have a tendency to hallucinate and create factually inaccurate output. Augmenting LMs by retrieving information from external knowledge resources is onearxiv.org  🔍 사용자 입력에 기반하여 초기 정보 수집🔍 미래 문장을 예측하여 필요한 정보 지속적으로 검색🔍 저확신 ..

https://arxiv.org/pdf/2311.04934 1. 프롬프트 캐시(Prompt Cache) 개발: 자주 사용하는 텍스트 세그먼트의 주의 상태를 미리 계산하여 저장, 재사용으로 지연 시간 감소2. 프롬프트 마크업 언어(PML) 활용: 재사용 가능한 텍스트 세그먼트를 프롬프트 모듈로 정의, 이용자가 쉽게 접근 및 수정 가능하게 함.3. 지연시간 개선 평가: 다양한 LLM에서 평균 8배에서  60배까지 지연 시간 감소 확인, 정확성 유지 요약본 논문에서는 Prompt Cache라는 접근법을 제안하고 있음. 이 방법은 대형 언어모델 (LLM)의 추론을 가속화하는데  중점을 두며, 서로 다른 LLM 프롬프트 간에 주의 상태를 재사용하는 방식이다. 많은 입력 프롬프트는 시스템 메시지, 프롬프트 템플릿 ..

RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generationhttps://arxiv.org/pdf/2404.12457   요약: 본 논문에서는 Retrieval-Augmented Generation (RAG) 시스템의 효율성을 높이기 위해 새로운 멀티 레벨 동적 캐싱 시스템인 RAGCache를 제안한다. RAG는 대규모 언어 모델(LLM)과 외부 지식 데이터 베이스의 장점을 결합하여 자연어 처리 작업에서 성능을 크레 향상시켰다.하지만 RAG는 긴 시퀀스 생성을 유도하고, 이는 높은 계산 및 메모리 비용으로 이어진다. RAG란: RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 외부 지식 데이터 베이스와..

논문 소개Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (link)2025.03.19 - [Paper Review] - [PaperReview]SELF-RAG: Leaning to Retrieve, Generate, and Crutique through self-reflection LangChain 구현 코드https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb  LangChain 구현 코드와 논문 차이기존 논문에는 다시 문서 검색을 수행할때 "기존 쿼리 + 가장 순위가 높은 이전응답"을 활용해 검색 진행L..

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (link)기존의 RAG : LLM의 입력을 관련된 검색된 구문으로 보강하여 지식 집약적인 작업에서 오류를 줄임.but, 이 방법은 LLM의 다재다능성을 저해하거나, 불필요하거나 주제와 관련 없는 구문을 도입하여 저품질 생성을 초래할 수 있음→ 사실적 근거가 도움이 되는지 여부와 관계없이 무차별적으로 구문을 검색하기 때문,→ 출력은 검색된 관련 구문과 일관성을 보장하지도 않음 (모델이 제공된 구문에서 사실을 활용하고 따르도록 명시적으로 훈련되지 않았기 때문)RAG(Retrieval Augmented Generation)는 관련된 지식을 검색해 언어모델에 제공함으로써..