본문 바로가기

챱챱

[서평] 데이터 엔지니어를 위한 97가지 조언
챱챱 2025. 1. 5. [서평] 데이터 엔지니어를 위한 97가지 조언 데이터 엔지니어를 위한 97가지 조언크고 작은 데이터를 관리하기 위한 강력한 실제 모법 사례와 다양한 핵심 원칙을 담은 책 목차차례조언차례조언1서점 재고관리 시스템으로 알아보는 최종 일관성51상당수의 데이터 문제는 빅데이터 없이 풀 수 있다2A/B 테스트, 어떻게 해야 할까?52소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하기3스토리지 계층에 대하여53데이터 엔지니어를 위한 관측 가능성4분석: 마이크로서비스 아키텍처의 숨겨집 접착제54완벽함은 적절함의 적이다5인프라스트럭처를 자동화하라55파이프의 꿈6파이프라인 테스트를 자동화하라56데이터 레이크의 지옥이 되지 않으려면7데이터 파이프라인의 배치 모델을 신중히 검토하라57메시징 시스템에서 사용자 경험의 우선순위 높이기8은탄환 신드롬을 경계하라58개인 정..
챱챱 2024. 11. 24. [챱챱] ML엔지니어 -> 데이터 엔지니어로 Change 안녕하세요. 오늘은 가볍게 저의 변화에 대해서 얘기를 해볼려고 합니다. 삶의 지도의 글을 보면 정말 여러가지 시도를 진행해보고 노력했었는데요. 이번에는 데이터 엔지니어로의 길을 선택하게 되었습니다. 전회사에서도 원래는 데이터 엔지니어 직무를 원했었지만, ML 엔지니어 포지션으로 일을 하게되었습니다. AI에 대해서 알 수 있고 정말 많은 도움이 되었던 경험이었습니다. 하지만, 이제는 원했던 업무를 진행하고싶어 퇴사를 하고 데이터 엔지니어로 일을 시작하게 되었습니다. ML엔지니어와 데이터 엔지니어로서의 Change다 보니 업무적으로 새로 배워야할 것 들고 이제 친해져야할 친구들도 많지만, 하고자했던업무를 만나니 더 열정적으로 어려운 난관들을 이겨갈 수 있을 것 같습니다. 이번 글에서는 저의 이직과도 관련해서..
[Kubeflow] 나야 Kubeflow 2탄 (feat. Kubeflow 알아보기2)
챱챱 2024. 11. 8. [Kubeflow] 나야 Kubeflow 2탄 (feat. Kubeflow 알아보기2) 안녕하세요. 나야 Kubeflow 2탄으로 돌아왔습니다. 1탄에서는 Kubeflow의 컴포넌트와 파이프라인을 생성하는 것까지만 진행되었는데요. 나머지로 남아있던 Kubeflow Pipeline 실행방법과 아직 남은 컴포넌트인 Model Training, Model Serving, AutoML에 대해서 다뤄볼려고 합니다🤗 1. Pipeline - Kubeflow Pipeline1-1. Pipeline 실행하기 - UIKubeflow Pipeline 탭에 들어가서 확인하게 되면 이렇게 어떠한 파이프라인을 실행할 것인지, 1탄에서 나온 것과 같이 파이프라인의 버전 중에는 어떠한 버전을 선택할 것인지를 지정해서 진행할 수 있게 됩니다. 파이프라인 함수를 작성할 때, 1탄에서는 예시를 들어서 작성했었는데요. 만..
[글또] 글또 10기를 바라보며 다짐하는 것들
챱챱 2024. 10. 10. [글또] 글또 10기를 바라보며 다짐하는 것들 글또 10기를 바라보며 다짐하는 것들🏹개발자들이 소통하는 방법은 글이라고 생각한다. 코드를 작성하는 것도 하나의 매끄러운 글을 작성하는 것과 동일하고 또한 개발자들이 서로의 정보들을 공유하는 모든 것들이 글로 소통한다. 그렇기에 글을 쓰는 것과 이 글을 읽는 사람을 배려하고 사람들의 이목을 끌어당겨서 글에 집중하게 하는 능력이 중요하게 여겨진다.기존의 블로그에 작성된 글들은 개발 공부를 시작하면서, 블로그에 나중에 내가 배웠던 것들을 회고하거나 추후에 사용하기 위해서 작성한 목적으로 작성되어 누군가를 집중하게하거나 정보를 공유하고 소통한다는 느낌이 없다. 또한 직장을 다니면서 같이 병행하려고하니 시간을 내서 블로그를 작성하는 일이 줄어들게 되었다. 블로그에 나중에 쓰기 위하여 에러들을 해결하거나 공부에..
[Kubeflow] 나야 Kubeflow(feat. Kubeflow 알아보기)
챱챱 2024. 10. 3. [Kubeflow] 나야 Kubeflow(feat. Kubeflow 알아보기) 오늘은 Kubeflow에 대해서 설명하기 위해, 요새 유명한 나야 들기름 짤을 이용하여 나야 Kubeflow 짤로 변형해서 사용해보았습니다👨‍🍳 Kubeflow는 DEVOCEAN에서 진행한 Deep Dive Kubernetes 스터디를 통해서 알게 되었고, 최종적으로 DEVOCEAN 발표에서 주제로 삼았기 때문에 블로그에도 Kubeflow에 대해서 공유해드리고자 합니다!! 1. Kubeflow란 무엇인가?Kubeflow라는 뜻은 Kubernetes의 Kube + ML Workflow의 flow 를 합쳐 Kubeflow라고 불리게 되었습니다. 합쳐진 말 그대로 Kubernetes를 이용해서 ML Workflow를 구성하는 것입니다. 정확한 뜻을 살펴보면 Kubernetes 환경에서 ML 라이프사이클의 ..
[글또] 삶의 지도
챱챱 2024. 9. 21. [글또] 삶의 지도 본 내용은 글또 10기 지원을 위하여 작성된 글입니다. 여태까지의 저의 삶의 지도를 그려보고 삶을 다시 돌아볼 수 있는 기회가 되었던 소중한 글입니다🤗 일단 해보자👊 나의 인생이라는 책을 되돌아본다면, 첫 문장은 "일단 해보자"라는 문장으로 시작할 것 같다. 또한, 책의 목차에는 의료, 유학, 인테리어 디자인, 마케팅, 영상 편집, 운동, 타워크레인, 개발 등으로 다양하게 채워져있을 것이다. 어떻게 이렇게 여러 분야들을 도전하고 시도해봤는지에 대해서 되돌아본다면, 처음 시작은 고등학교였던 것 같다. 특성화고인 의료 + 테크 고등학교를 다니면서 의학 용어, 뼈 이름, 근육 이름, 의료 시스템, 납땜도 해보고 Auto CAD, C++등의 정말 다양한 경험을 해봤다. 이러한 경험들을 통해서 얻었던 것은 내..
🧿 [MariaDB] CSV import 하기
챱챱 2024. 1. 21. 🧿 [MariaDB] CSV import 하기 🧿 [MariaDB] CSV import 하기 1. local file 허용 show global variables like 'local_infile'; # local file 허용 확인 코드 명령어를 실행 시, ON으로 나온다면 local file이 허용된 것이고 OFF인 경우에는 허용되지 않은 것이다. 🗨 OFF -> ON 으로 변경 방법 set global local_infile=true; # OFF를 ON으로 변경하는 코드 show global variables like 'local_infile'; # 변경되었는지 확인하는 코드 위의 코드를 실행 후, 변경이 됐는지 다시 확인한다. 2. CSV Import LOAD DATA LOCAL INFILE '파일주소' INTO TABLE 테이블이름 CHAR..

티스토리툴바