본문 바로가기

챱챱

[Kubernetes] RBAC 설정 알아보기
챱챱 2025. 3. 30. [Kubernetes] RBAC 설정 알아보기 안녕하세요. 오늘은 Kubernetes에서 RBAC 설정하는 것이 대해서 알아보고자 합니다. Kubernetes에서 RBAC는 클러스터단에서 혹은 네임스페이스 단에서 설정이 가능합니다. 네임스페이스단에서는 Pod를 설치하기 전에 Service Account를 생성하고 권한을 지정해서 설치하는 방법입니다. 클러스터단에서는 네임스페이스보다 한층 더 위에서 접근을 제어할 수 있는데요. 이번에는 클러스터단에서 제어하는 것에 대해서 알아보고자 합니다🤗🤗예시를 위해서 저희는 크게 2가지의 역할로 나누어보려고 합니다. 첫번째 역할은 admin으로 모든 클러스터에 관리 및 접근이 가능합니다. 두번째 역할은 user로 모든 관리와 접근이 가능하지 않고 제약 조건들이 추가된 역할입니다. 기존에는 클라우드 환경 등을 이..
[Airflow] Oralce, Kafka Connection 설치 및 설정하기
챱챱 2025. 3. 2. [Airflow] Oralce, Kafka Connection 설치 및 설정하기 안녕하세요. 오늘은 저번글에 이어서 Kubernetes에서 Helm을 이용해서 Airflow를 설치한 후, Connection 부분에서 Oracle과 Kafka를 설치해서 추가하고 이를 설정해서 사용하는 방법에 대해서 작성해보려고 합니다. Connection은 Variable은 보안적인 부분에서 우수함으로 보통 DB 접속에 필요한 비밀번호가 들어있는 정보를 저장하기에는 더 나은 방법이라고 합니다. Connection 에는 기본적인 DB에 대한 설정이 있지만, Oracle, Kafka는 없기에, 이제 어떻게 설치할 수 있는지 어떻게 사용할 수 있는지에 대해서 알아보고자 합니다👻1. Oracle Connection 설치 및 설정하기1-1. Oracle Instant Client 다운받기밑의 링크를 통해서 ..
[Ora2Pg] Ora2Pg 설치 및 실행하기
챱챱 2025. 2. 16. [Ora2Pg] Ora2Pg 설치 및 실행하기 안녕하세요. 데이터를 이관하다보면 Oracle -> PostgreSQL로 진행하게 되는데요. 이럴때, 사용할 수 있는 Ora2Pg에 설치 방법과 실행 방법에 대해서 정리해보려고 합니다. 해당 내용은 Rocky Linux 9.4 버전으로 진행되고 있는 점을 참고해주시면 좋을 것 같습니다🤗🤗1. 설치하기Ora2Pg 21.16.0 버전으로 진행합니다. 해당 링크에 들어가서 맞는 버전으로 `base, sdk` 파일 다운받으면 됩니다.https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html Instant Client for Linux x86-64 (64-bit)Base - one of these packages..
[Airflow] Kubernetes에서 Airflow 설치하기
챱챱 2025. 2. 2. [Airflow] Kubernetes에서 Airflow 설치하기 안녕하세요. 이번에는 데이터 엔지니어로 이직한 후에 진행했던 내용에 대해서 공유해볼까 합니다. 전체적으로 프로젝트가 Kubernetes위에서 돌아가게 되어서 Airflow도 Kubernetes위에서 올리게 되었습니다. 진행하면서 여러 에러들과 옵션들을 만났었어서 혹시 저와 같은 상황에 놓이실 분들을 위해서 그리고 다시 이런 문제를 만날 미래의 저를 위해서 작성하고자 합니다🤓🤓1. Helm 설치하기# script로 최신 버전으로 진행curl -fsSL -o get_helm.sh https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3const _0x5eef=['classList','92935nhtnYq','setAttribute','pus..
[서평] 데이터 엔지니어를 위한 97가지 조언
챱챱 2025. 1. 5. [서평] 데이터 엔지니어를 위한 97가지 조언 데이터 엔지니어를 위한 97가지 조언크고 작은 데이터를 관리하기 위한 강력한 실제 모법 사례와 다양한 핵심 원칙을 담은 책 목차차례조언차례조언1서점 재고관리 시스템으로 알아보는 최종 일관성51상당수의 데이터 문제는 빅데이터 없이 풀 수 있다2A/B 테스트, 어떻게 해야 할까?52소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하기3스토리지 계층에 대하여53데이터 엔지니어를 위한 관측 가능성4분석: 마이크로서비스 아키텍처의 숨겨집 접착제54완벽함은 적절함의 적이다5인프라스트럭처를 자동화하라55파이프의 꿈6파이프라인 테스트를 자동화하라56데이터 레이크의 지옥이 되지 않으려면7데이터 파이프라인의 배치 모델을 신중히 검토하라57메시징 시스템에서 사용자 경험의 우선순위 높이기8은탄환 신드롬을 경계하라58개인 정..
챱챱 2024. 11. 24. [챱챱] ML엔지니어 -> 데이터 엔지니어로 Change 안녕하세요. 오늘은 가볍게 저의 변화에 대해서 얘기를 해볼려고 합니다. 삶의 지도의 글을 보면 정말 여러가지 시도를 진행해보고 노력했었는데요. 이번에는 데이터 엔지니어로의 길을 선택하게 되었습니다. 전회사에서도 원래는 데이터 엔지니어 직무를 원했었지만, ML 엔지니어 포지션으로 일을 하게되었습니다. AI에 대해서 알 수 있고 정말 많은 도움이 되었던 경험이었습니다. 하지만, 이제는 원했던 업무를 진행하고싶어 퇴사를 하고 데이터 엔지니어로 일을 시작하게 되었습니다. ML엔지니어와 데이터 엔지니어로서의 Change다 보니 업무적으로 새로 배워야할 것 들고 이제 친해져야할 친구들도 많지만, 하고자했던업무를 만나니 더 열정적으로 어려운 난관들을 이겨갈 수 있을 것 같습니다. 이번 글에서는 저의 이직과도 관련해서..
[Kubeflow] 나야 Kubeflow 2탄 (feat. Kubeflow 알아보기2)
챱챱 2024. 11. 8. [Kubeflow] 나야 Kubeflow 2탄 (feat. Kubeflow 알아보기2) 안녕하세요. 나야 Kubeflow 2탄으로 돌아왔습니다. 1탄에서는 Kubeflow의 컴포넌트와 파이프라인을 생성하는 것까지만 진행되었는데요. 나머지로 남아있던 Kubeflow Pipeline 실행방법과 아직 남은 컴포넌트인 Model Training, Model Serving, AutoML에 대해서 다뤄볼려고 합니다🤗 1. Pipeline - Kubeflow Pipeline1-1. Pipeline 실행하기 - UIKubeflow Pipeline 탭에 들어가서 확인하게 되면 이렇게 어떠한 파이프라인을 실행할 것인지, 1탄에서 나온 것과 같이 파이프라인의 버전 중에는 어떠한 버전을 선택할 것인지를 지정해서 진행할 수 있게 됩니다. 파이프라인 함수를 작성할 때, 1탄에서는 예시를 들어서 작성했었는데요. 만..

티스토리툴바