데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

NLP분야에서는 embedding 과정을 거치는데, 자연어를 기계가 이해할 수있는 숫자형태(Vector)로 바꾸는 과정 전체를 임베딩이라고 한다. 임베딩의 대표적 3가지 역할 1. 단어/문장 간 관련도 계산 2. 단어와 단어 사이의 의미적 / 문법적 정보 함축 ( 단어 유추 평가) 3. 전이학습 (Transfer Learning , 좋은 임베딩을 딥러닝 모델 입력 값으로 사용하는 것) 임베딩의 자세한 설명 : https://velog.io/@glad415/%EC%9E%84%EB%B2%A0%EB%94%A9Embedding%EC%9D%B4%EB%9E%80 가장 기본적으로 사용되는 벡터화의 방법으로는 One-hot Encoding이 있다. One-hot Encoding 필요한 정보를 담은 하나의 값만 1로 두..

what is Transformer ? 2023.07.05 - [Machine Learning/NLP] - what is Transformer? 구글의 연구원들이 2017년 논문에서 시퀀스 모델링을 위한 새로운 신경망 아키텍처를 제안했다. transformer라는 이름의 아키텍처는 기계 번역 작업의 품질과 훈련 비용 면에서 순환신경망 (RNN)을 능가했다. 동시에 효율적인 전이 학습 방법인 ULMFiT가 매우 크고, 다양한 말뭉치에서 LSTM 신경망을 훈련해 매우 적은 양의 레이블링된 데이터로도 최고 수준의 텍스트 분류 모델을 만들어 냄을 입증함. Transformer 을 기반으로 GPT(Generative Pretrained Transformer)와 BERT(Bidirectional Encoder Re..

[paper]Dense Passage Retrieval for open-Domain Questionestions and passages Answering(2020) 질문이 주어졌을 때, 질문에 대한 답을 찾기 위해 위키피디아 문서에서 검색을 하고, 분석을 진행 🟨Open-domain Question Answering 질문과 위키피디아 안에서의 연관성을 찾아서 답을 찾아가는 과정 -> TF-IDF 와 BM25를 사용 🟨ORQA: Learnable retriever 학습하는 과정에서 질문과 유사한 문장을 찾는 것 ( 임베딩을 통해서 유사도를 산출) 의미상 유사한 단어가 있어도 문장을 잘 파악해서 찾아냄. 🟨ORQA: Inverse Close Task(ICT) Inverse Close Task(ICT) : 사..

Fusion-in-Decoder(FiD): 현존 최고의 성능을 내는 오픈 도메인 질의 응답 모델 - 질의 (query)에 적합한 문서를 찾아(retrieve) 이를 생성 모델(generation model)에 넣어 답변을 얻어 내는 방식 -> 생성형 모델의 고질적인 문제인 hallucination(환각: -> 말이 안되는 말?)을 완화함 -> 검색 + 생성 기법이 '아무말 생성'에 가까운 생성 모델의 인퍼런스 결과를 사실에 근거한 답변으로 탈바꿈 시키는 효과가 있다. 논문에서 사용한 방식 1. 우선 쿼리 (ex. Where was Alan Turing born?)에 적절한 문서를 검색 모델을 통해 검색한다. 2. N 개 검색 결과를 생성 모델 인코더에 넣어 줌 3. 생성 모델(ex.Generative s..

BERT Bidirectional Encoder Representations from Transformers (트랜스 포머의 양방향 인코더) - bert paper : - bert example code : 특징 1. 전이 학습 모델 - 사전 학습된 대용량의 레이블링 되지 않은(unlabeled) data를 이용하여 언어모델 (Language Model)을 힉습하고 이를 토대로 특정작업(문서분류, 질의 응답, 번역 등)을 위한 신경망을 추가하는 전이 학습 방법 2. 사전 학습 모델 - BERT model은 기본적으로 대량의 단어 임베딩 등에 대해 사전 학습이 되어 있는 모델을 제공하기 떄문에 상대적으로 적은 자원만으로도 충분히 자연어 처리의 여러 일을 수행 할 수 있음 이전에는 단어 임베딩을 위해 wor..

시계열 데이터 분석에서의 어려움 현존 하는 데이터 증강 기법들은 시계열 데이터의 내제적 특성(intrinsic property)을 활용하지 못함 일반적으로 시계열 데이터는 시간 종속성(Temporal Dependency)라는 특성을 가지고 있음 이미지나 언어 데이터와 다르게 시계열 데이터는 크게 시간(time)과 빈도(Frequency) 도메인으로 나눌 수 있는데, 이러한 각각의 transformed domain에 적합한 데이터 증강이 수행되어야 하기 때문에 다른 데이터에 비해 비교적 어려움 현존하는 데이터 증강 기법들은 task에 의존적인 경향이 존재함 time Series Classification에 쓰인 증강기법이, time Seriese Anomaly Detection에는 적합하지 않을 수 있음 ..

meta learning + RL 에서 가장 유명한 논문 : Diversity is all you need: Learning skills without a reward function https://hugrypiggykim.com/2022/01/27/diayn/ https://lynnn.tistory.com/108 Diversity is all you need: Learning skills without a reward function Abstract 지적인, 또는 똑똑한 생물(intelligent creatures)은 감독관(Supervision)의 도움없이도 이런 저런 시도들을(exploration; 탐험) 통하여 스스로 useful skills를 학습한다. 본 논문에서도 이런 점에서 착안 lynnn..

ing https://www.youtube.com/watch?v=hE7eGew4eeg

Meta Learning - Learning to learn 배우는 방법을 배운다 meta라는 단어는 한 차원 위의 개념적 용어로 대상의 전반적인 특성을 반영한다. 그래서 메타 러닝은 데이터의 패턴을 정해진 프로세스로 학습하는 것이 아니라, 데이터의 특성에 맞춰 모델 네트워킄 구조를 변화 시키면서 학습 한다. Few shot learning - 모델이 추론하는 과정에서 소량의 데이터만 보고 추론을 하는 경우를 few-shot 라고 한다. - 용어 정리 : - way: 데이터 클래스의 개수 - shot, point: 데이터의 개수 - query: test data (validation data) - source: train data - Few shot Learning 의 목적은 말 그대로 적은 데이터로 추..

1) AI, ML, DL의 차이점 - AI : 인공지능 Artificial Intelligence - 인간의 학습 능력, 추론 능력, 지각 능력, 언어 이해 능력 등을 컴퓨터에 구현한 기술 - ML : 머신 러닝 Machine Learning - 머신 러닝은 과거의 경험을 바탕으로 추론 및 결정을 하는 방법을 머신에게 알려준다. 패턴을 파악하고 과거의 데이터를 분석하여 이러한 데이터들의 의미를 추측하고, 인간의 경험을 필요로 하지 않고서도 가능한 결론에 도달한다. 이러한 머신 러닝을 통해 데이터를 평가하고 결론을 낼 수 있다. - 많은 데이터를 기반으로 한 학습 - 뇌의 구조와 같은 인공 신경망, 결정 트리 등의 기계학습 - 클라우드 컴퓨터가 학습 모형을 기반으로 외부에서 주어진 데이터를 통해 스스로 학..