데이터 처리중입니다. 잠시만 기다려 주세요... AI_Developer

가상환경에서 R 설치하기 # conda prompt 실행 $ conda info —envs # 현재 존재하는 아나콘다 환경 확인 $ activate cuda # cuda라는 이름을 가진 아나콘다 환경 활성(Windows) $ conda install -c r r-essentials # R 패키지 설치 R package 설치 하기 ~anaconda3/envs/renv/bin 경로에서 R 실행 (명령어 : R ) R 접속 후 install.packages("패키지 명") Ubuntu install R https://jjeongil.tistory.com/1335 Ubuntu 18.04 : R 설치하는 방법, 예제, 명령어 R은 빠르게 성장하고 있는 오픈 소스 프로그래밍 언어이며, 통계 컴퓨팅과 그래픽 표현을..

docker-compose 적용하기 docker-compose.yaml 파일 있는 경로에서 # docker-compose up -d # docker ps > 를 통해서 이미지가 제대로 올라와있는지 확인할것 docker image 안에서 가상환경 만들기 # docker exec -u -it bash 1.아나콘다 설치하기 cd /tmp curl -O https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh -> 아나콘다 버전은 repo.anaconda.com/ 접속해서 최신버전으로 적용할 것 스크립트의 데이터 무결성을 확인합니다. sha256sum 명령을 사용하여 스크립트의 데이터 무결성을 확인 sha256sum Anaconda3-2021.11..

Tqdm conda 설치 오류시 해결 conda install -c conda-forge tqdm

1. image # docker images - docker 목록 보기 # docker search - docker 이미지 검색 # docker pull - 도커 허브에 있는 이미지를 받아 옴 이미지 이름 뒤에 : 태그를 붙여 원하는 버전을 받아올 수 있다. 태그를 붙이지 않으면 가장 최근 버전을 받아온다 (:latest) # docker rmi - 도커 이미지 삭제 # docker rmi -f - 도커 이미지 강제 삭제 #sudo system prune[option] - [-a | -f] - 불필요한 image/container 일괄 삭제 2. Container # docker ps - 실행 중인 container 리스트 출력 # docker start # docker restart #docker st..

dag를 설계할 때, dag 끼리 종속성을 갖지 않는 것이 가장 좋지만 어쩔 수 없이 종속성을 만들어야 하는 경우가 있다. 아래와 같은 상황일 때, dag의 종속성을 갖는 것이 유용하게 사용 된다. 두 dag는 종속되지만 일정이다름 두 dag는 종속 되지만 서로 다른 팀에서 소유 task는 다른 task에 종속되지만 execution_date가 다름 여기서는 dag에서 다른 dag를 호출하는 방법을 설명한다. -> subDAG를 사용하여 dag 종속성을 처리할 수도 있지만, subDAG가 성능 문제를 일으킬 수도 있으므로 dag 종속성으로 처리하는 것을 권장 -> airflow2.0에서는 subdag 사용을 권장 하지 않음. TriggerDagRunOperator -> 해당 operator를 사용하면 동..

airflow2.0 관련하여 자료가 부족하여, 기록 겸 정리 중입니당 > mysql_conn_id : 이부분이 airflow Connections Id 와 일치 해야함 with DAG(dag_id="daily_dagtest", default_args=default_args, schedule_interval="0 10 * * *" ) as dag_instance: t1_mysql_get = ReturningMySqlOperator( task_id='t1_mysql_get', sql=r''' SELECT * FROM Table_name ''', dag=dag_instance ) dag 안에서 ReturningMySqlOperator 호출 후 사용 sql=r''' 이곳에 쿼리 작성 '''

d

SlackAPIPostOperator 를 사용하여 slack을 연결하여 실패 메세지 보내기 많은 DAG에 적용하는 방법 -> 모듈 설치하기 pip install apache-airflow-providers-slack pip install apache-airflow-providers-slack -> 모듈 import 하기 from airflow.operators.slack_operator import SlackAPIPostOperator 1. slack에서 작업 slack 가입 후 Token 추가 (OAuth & Permissions 에 있는 토큰을 추가) -> https://jisun-rea.tistory.com/entry/Slack-API-Slack-Bot-%EB%A7%8C%EB%93%A4%EA%B3%..