Work180 [KANS] 1주차 - 컨테이너 격리 & 네트워크 및 보안 프로세스 개념컨테이너는 독립된 리눅스 환경을 보장 받는 프로세스Docker를 설치하면 호스트에 Docker daemon이 설치되고, 클라이언트가 docker 명령을 실행하면 Docker daemon이 컨테이너를 실행함. 만약 호스트에 컨테이너 이미지가 존재하지 않으면 Registry에서 pull 받아서 생성이 때, 클라이언트와 Docker daemon 간에는 Unix socket을 사용프로세스는 실행 중인 프로그램의 인스턴스를 의미. OS에서 프로세스를 관리하며, 각 프로세스는 고유한 ID(PID)를 가짐.프로세스가 실행 되려면 CPU와 메모리 자원이 필요한데 OS 커널(Cgroup)에서 이를 관리함유용한 프로세스 관련 명령어# 프로세스 정보 확인ps# /sbin/init 1번 프로세스 확인# 프로세스별.. 2024. 8. 31. [Kubernetes] Overlay 파일시스템으로 이미지 중복 제거 이 글은 if(kakao)2022에서 발표된 "이게 돼요? 도커 없이 컨테이너 만들기" 발표 내용 중 이미지 중복 내용을 참고해서 정리했습니다. 컨테이너 환경의 파일시스템은 격리를 위해 prviot_root해서 완전히 독립된 root 파일 시스템을 갖게 되기 때문에 필요한 코드나 라이브러리를 패키징해서 관리할 수 있다는 장점이 있습니다. 하지만 OS는 동일한 ubuntu를 사용하고 그 위에 nginx를 설치한 환경과, web app까지 설치된 환경을 각각 운영한다고 했을 때 패키징 된 파일시스템이 여러개 존재해야 합니다. 이 경우에는 스토리지 용량도 많이 사용하게 되고, 패키징된 파일들을 네트워크를 통해 각각 내려 받는다고 생각하면 네트워크 비용도 만만치 않습니다. 컨테이너 이미지 내 패키징된 파일들의 .. 2024. 8. 30. [Kubernetes] Airflow on EKS의 DAG 파일 관리 Airflow 사용 준비 Airflow on EKS를 사용하기 위해 Helm을 사용하여 Kubernetes 클러스터에 Arflow를 배포합니다. install 명령을 실행하기 전에 먼저 Kubernetes 네임스페이스를 생성한 후 필요한 파일들을 만들어보겠습니다. kubectl create ns airflow Airflow에 사용되는 DAG 파일들은 Git, S3, EFS 등 다양한 저장소와 연동해서 사용할 수 있습니다. 각 저장소 정보는 helm의 values.yaml에 설정합니다. 먼저 템플릿으로 사용할 values.yaml 파일을 생성합니다. helm repo add apache-airflow https://airflow.apache.org helm show values apache-airflow/.. 2023. 11. 26. [Kubernetes] Amazon EMR on EKS 운영을 위한 기본 지식 이 게시글은 학습을 위해 정리한 내용이므로 잘못된 내용이 있을 수 있습니다. 잘못된 정보가 있다면 댓글로 남겨주세요. 수정하겠습니다. 용어 정리 스파크 애플리케이션 : 컴파일된 JAR나 라이브러리 파일을 의미. submit하는 시점에 로컬 머신에서 코드가 실행되어 클러스터 드라이버 노드에 요청함 드라이버 프로세스 : SparkContext를 생성하고, 자신이 담당한 Task가 클러스터 내에서 실행될 수 있도록 하며 진행 상태 모니터링 익스큐터 프로세스 : 드라이버 프로세스가 할당한 작업 수행 (각 스파크 애플리케이션 마다 개별 프로세스 사용) 클러스터 매니저 : 물리적 머신을 관리하며, Spark 애플리케이션 실행에 필요한 자원을 할당 Spark Session : SparkSession은 SparkCon.. 2023. 11. 12. 이전 1 ··· 3 4 5 6 7 8 9 ··· 45 다음
