본문 바로가기

전체 글740

쿠버네티스로 여는 AI 추론 인프라 이번 글에서는 AI 컴퓨팅 트렌드가 어디로 향하는지, 그 흐름에서 추론(inference) 인프라를 운영하는 데 쿠버네티스가 어떤 도움을 주는지, 그리고 AWS 위에서 대규모 추론을 안정적으로 돌리는 방법까지 다뤄보려고 합니다. 긴 글을 읽기 부담스러우신 분들은 제가 Youtube 영상으로 제작해 놓았으니 영상으로 보셔도 좋습니다.https://youtu.be/i2LsxlQMpwc최근 트렌드를 살펴봤을 때 클라우드 네이티브와 오픈소스로 AI를 활용하는 영역은 크게 모델 학습, 모델 추론, AI 에이전트 세 가지로 나눌 수 있습니다. 에이전트만으로도 할 얘기들이 많지만, 이 글은 모델, 그중에서도 추론에 집중해보려고 합니다. 1. 무게중심이 학습에서 추론으로 넘어갔다그동안 모델 프로바이더들은 더 정확한 모.. 2026. 9. 15.
보안 검수, 이제 AWS Security Agent로 자동화 하자! 서비스 런칭을 경험한 개발자라면 보안팀과의 협업에서 어려움을 겪어본 적이 있을 것입니다. 개발팀과 보안팀은 각자 다른 우선순위와 관점을 가지고 있고, 이로 인해 마찰이 생기는 것은 자연스러운 일입니다.개발자들이 서비스를 만드는 프로세스는 대체로 비슷합니다. 프로젝트 기획 단계에서 요구 사항 명세서를 작성하고, 데이터 모델링을 하고, 코딩 컨벤션을 정하고, API 명세서를 작성합니다. 이후 실제 개발에 들어가 애플리케이션 코드를 작성하고, 인프라를 코드로 관리하며, 테스트와 배포 자동화를 적용합니다. 그리고 개발이 어느 정도 완료된 시점에 보안팀과 협의하여 보안 검수를 진행합니다. 보안 요구사항 반영 여부를 확인하고, 네트워크와 인프라 규칙을 검토하고, 보안 테스트 시나리오를 실행하고, 보안 정책을 점검합.. 2026. 4. 24.
[Cilium study] 7주차 - Cilium Performance 1. 쿠버네티스 성능 측정 및 최적화 환경 구축쿠버네티스의 성능과 Cilium CNI의 성능 테스트를 위해 kind 클러스터를 사용하여 환경을 구성했습니다.실습 환경 구성먼저 kind 클러스터를 생성하고, 성능 모니터링을 위한 도구들을 설치했습니다:kind create cluster --name myk8s --image kindest/node:v1.33.2 --config - 이 구성에서는 Prometheus가 클러스터 구성요소(kube-controller-manager, kube-scheduler, etcd, kube-proxy)의 메트릭을 수집할 수 있도록 bind-address 설정을 추가했습니다.추가로 모니터링 도구를 설치했습니다:kube-ops-view: 클러스터 노드와 파드 상태를 시각화met.. 2025. 8. 31.
[Cilium study] 6주차 - Cilium ServiceMesh 실습 환경 소개curl -O https://raw.githubusercontent.com/gasida/vagrant-lab/refs/heads/main/cilium-study/6w/Vagrantfilevagrant up현재 실습 환경은 다음과 같이 구성되어 있습니다:Kubernetes 1.33.4Cilium 1.18.1가상 머신: k8s-ctr(컨트롤 플레인), k8s-w1(워커 노드)각 노드: vCPU 4코어, 메모리 2560MB (기본 설정보다 상향)pwru 도구 설치됨 (ARM64 CPU 지원 추가)서비스 메시 개념 소개서비스 메시는 마이크로서비스 아키텍처에서 애플리케이션 네트워킹과 관련된 공통 관심사를 애플리케이션 코드와 분리하여 인프라 수준에서 투명하게 제공하는 기술입니다. 다양한 개발팀이 각자.. 2025. 8. 24.