데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

[ing]RAG 벤치 마크 데이터셋 & 성능 평가 리뷰

국어 RAG 솔루션 성능 평가 ??→ 올거나이즈에서 운영중인 RAG리더보드에서 사용하는 벤치마크 데이터 셋 올거나이즈가 국내 최초로 검색 증강 생성(RAG) 성능을 평가하는 '알리 RAG 리더보드'를 공개했습니다. 이 리더보드는 금융, 공공, 의료, 법률, 커머스의 5개 분야에서 한국어 RAG 성능을 평가합니다. 이를 통해 기업들은 가장 적합한 RAG 솔루션을 비교하고 도입할 수 있습니다​ (AI타임스)​​ (올거나이즈, 기업 생산성을 혁신하는 LLM Enabler)​. 리더보드는 답변 유사도 및 정확도를 판단하는 5개의 평가 도구를 사용하여 성능을 평가합니다. 이 도구들은 답변의 정확성과 유사성을 측정하며, 각 평가 결과에서 3개 이상의 도구가 오류 없이 통과된 경우에 '이상 없음'으로 판정합니다​ (..

[RAG]기술의 각 방법론 및 성능 평가

고급 RAG 기술의 각 방법론 및 성능 평가: 검색 및 생성 성능 중심 Retrieval-Augmented Generation(RAG)는 외부 지식 소스로 부터 추가적인 정보를 통합하여 대형 언어 모델(LLM)을 개선하는 과정이다, 이를 통해 LLM은 더 정확하고 문맥을 고려할 수 있는 답변은 생성하며, 환각(hallucination)을 방지할 수 있게 되었다. 이러한 장점을 가진 RAG는 2023년 이후 LLM 기반 시스템에서 범용적으로 사용되는 아키텍처로 자리 잡았다.RAG Framework의 3가지 범주Navie RAGAdavanced RAGModular RAG 1. Naive RAG1-1. Navie RAG의 개념 및 설명기본 RAG (Retrieval-Augmented Generation)은 R..

FAISS란?FAISS (Facebook AI Similarity Search):개발자가 서로 유사한 멀티미디어 문서의 임베딩을 빠르게 검색할 수 있게 해주는 라이브러리전통적인 쿼리 검색 엔진이 해시 기반 검색에 최적화되어 있어 발생하는 제한 사항을 해결하고, 보다 확장 가능한 유사성 검색 기능을 제공Facebook AI Similarity Search는 개발자가 서로 유사한 멀티미디어 문서의 임베딩을 빠르게 검색할 수 있게 해주는 라이브러리대규모 데이터 셋을 검색하여 대상 항목과 유사한 항목을 찾아야하는 상황에서 도움을 줄 수있도록 설계됨목적: FAISS는 메모리 사용량과 속도에 중점을 둔 어떤 크기의 벡터 집합에서든 검색하는데 사용. 매우 큰 데이터셋을 다룰때 특히 유용효율성: FAISS에는 밀리초 ..

https://arxiv.org/abs/2305.06983 Active Retrieval Augmented GenerationDespite the remarkable ability of large language models (LMs) to comprehend and generate language, they have a tendency to hallucinate and create factually inaccurate output. Augmenting LMs by retrieving information from external knowledge resources is onearxiv.org  🔍 사용자 입력에 기반하여 초기 정보 수집🔍 미래 문장을 예측하여 필요한 정보 지속적으로 검색🔍 저확신 ..

https://arxiv.org/pdf/2311.04934 1. 프롬프트 캐시(Prompt Cache) 개발: 자주 사용하는 텍스트 세그먼트의 주의 상태를 미리 계산하여 저장, 재사용으로 지연 시간 감소2. 프롬프트 마크업 언어(PML) 활용: 재사용 가능한 텍스트 세그먼트를 프롬프트 모듈로 정의, 이용자가 쉽게 접근 및 수정 가능하게 함.3. 지연시간 개선 평가: 다양한 LLM에서 평균 8배에서  60배까지 지연 시간 감소 확인, 정확성 유지 요약본 논문에서는 Prompt Cache라는 접근법을 제안하고 있음. 이 방법은 대형 언어모델 (LLM)의 추론을 가속화하는데  중점을 두며, 서로 다른 LLM 프롬프트 간에 주의 상태를 재사용하는 방식이다. 많은 입력 프롬프트는 시스템 메시지, 프롬프트 템플릿 ..

RAGCache: Efficient Knowledge Caching for Retrieval-Augmented Generationhttps://arxiv.org/pdf/2404.12457   요약: 본 논문에서는 Retrieval-Augmented Generation (RAG) 시스템의 효율성을 높이기 위해 새로운 멀티 레벨 동적 캐싱 시스템인 RAGCache를 제안한다. RAG는 대규모 언어 모델(LLM)과 외부 지식 데이터 베이스의 장점을 결합하여 자연어 처리 작업에서 성능을 크레 향상시켰다.하지만 RAG는 긴 시퀀스 생성을 유도하고, 이는 높은 계산 및 메모리 비용으로 이어진다. RAG란: RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 외부 지식 데이터 베이스와..

논문 소개Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (link)2025.03.19 - [Paper Review] - [PaperReview]SELF-RAG: Leaning to Retrieve, Generate, and Crutique through self-reflection LangChain 구현 코드https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_self_rag.ipynb  LangChain 구현 코드와 논문 차이기존 논문에는 다시 문서 검색을 수행할때 "기존 쿼리 + 가장 순위가 높은 이전응답"을 활용해 검색 진행L..

Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (link)기존의 RAG : LLM의 입력을 관련된 검색된 구문으로 보강하여 지식 집약적인 작업에서 오류를 줄임.but, 이 방법은 LLM의 다재다능성을 저해하거나, 불필요하거나 주제와 관련 없는 구문을 도입하여 저품질 생성을 초래할 수 있음→ 사실적 근거가 도움이 되는지 여부와 관계없이 무차별적으로 구문을 검색하기 때문,→ 출력은 검색된 관련 구문과 일관성을 보장하지도 않음 (모델이 제공된 구문에서 사실을 활용하고 따르도록 명시적으로 훈련되지 않았기 때문)RAG(Retrieval Augmented Generation)는 관련된 지식을 검색해 언어모델에 제공함으로써..

AI Agent 개념Ai Agent는  기업의 목표를 달성하기 위해 데이터를 처리하고, 의사결정을 내리며, 실제 업무를 자동화하는 인공지능 시스템이다.최근 ChatGPT, Google Gemini 같은 LLM 기반 챗봇이 인기를 끌면서, AI 에이전트도 함꼐 주목받고 있다. Q. AI agent는 챗봇과 무엇이 다른가?

https://arxiv.org/abs/2310.11511 Self-RAG: Learning to Retrieve, Generate, and Critique through Self-ReflectionDespite their remarkable capabilities, large language models (LLMs) often produce responses containing factual inaccuracies due to their sole reliance on the parametric knowledge they encapsulate. Retrieval-Augmented Generation (RAG), an ad hoc approach tharxiv.org📚 외부 지식 자원을 미리 로드하여 L..