[챱챱] ML엔지니어 -> 데이터 엔지니어로 Change

안녕하세요. 오늘은 가볍게 저의 변화에 대해서 얘기를 해볼려고 합니다. 삶의 지도의 글을 보면 정말 여러가지 시도를 진행해보고 노력했었는데요. 이번에는 데이터 엔지니어로의 길을 선택하게 되었습니다. 전회사에서도 원래는 데이터 엔지니어 직무를 원했었지만, ML 엔지니어 포지션으로 일을 하게되었습니다. AI에 대해서 알 수 있고 정말 많은 도움이 되었던 경험이었습니다. 하지만, 이제는 원했던 업무를 진행하고싶어 퇴사를 하고 데이터 엔지니어로 일을 시작하게 되었습니다.
ML엔지니어와 데이터 엔지니어로서의 Change다 보니 업무적으로 새로 배워야할 것 들고 이제 친해져야할 친구들도 많지만, 하고자했던업무를 만나니 더 열정적으로 어려운 난관들을 이겨갈 수 있을 것 같습니다. 이번 글에서는 저의 이직과도 관련해서 어떠한 부분들이 달라졌는지에 대해서 같이 공유해보고자 합니다. 아직은 회사의 출근한지 2주일정도 지난 시점이라서 모든 것을 이해하지는 못했지만, 나중에 몇개월이 지나고 다시 이 글을 읽었을 때, 처음에 마음가짐과 생각을 다시 회고해볼 수 있을 것 같다는 생각이 듭니다.

---

🧩 이것이 분업화?

전회사에서는 Back, Front 이런식으로 나눠지는 환경이 아닌 프로젝트를 기능 단위로 나누어서 기능별로 나누어 해당 기능의 Back, Front 모든 부분들을 맡게 되는 식으로 일을 진행했습니다. 개발뿐만 아닌 기획, DB 설계 등 모든 방면으로 공부를 진행하고 전체적인 프로세스를 경험할 수 있었습니다. 전체적인 프로세스를 진행하다보니 다른 부서와의 협업을 진행하게 되면 서로 이해하고 재대로된 의사소통을 할 수 있다는 것이 장점이 되었습니다. 
현재 회사에서는 Web, ML, Data 이런식으로 나누어져 있어서 각 자의 맡은 부분만을 일한다는 것이 조금 새롭게 다가왔습니다. 하나의 서비스를 만들기위해 전체적인 부분을 생각했었는데 맡은 부분들을 정말 디테일하게 최선을 다해서 해내야 하는 것이 분업화를 한다는 것이 와닿았습니다. 다른 부서들과의 전체적인 부분들을 생각해야하기에 더 많은 의사소통을 진행해야하는 부분들이 필요해보였고 현재 회사에서 그런 의사소통에 부분에 대해서는 서로 잘 진행되고 서로가 서로를 잘 이해하고 각 자의 파트에서 더 깊은 부분들의 대화가 오고 가는 것이 이전 회사에서 느낄 수 없었던 분위기라서 하나씩 배워가고 있습니다. 사실 분업화로 각 자의 파트에서 맡은 바 최선을 다하고 그 부분에 대해서 전문가로 일해보는 것을 느끼고 싶었는데 정말 좋은 기회를 통해서 이렇게 하나씩 배워나가는 것 같아서 앞으로의 시간들이 기대가 되고 있습니다.

 

💻 Terminal 창과 친해지다.

터미널과는 그렇게 많이 친해져본 적은 없는 것 같습니다. 설치하고 만들어진 파이썬 코드를 실행하는 수준으로만 진행했었지, 그렇게 많이 자주 보고 서로 왕래하는 사이는 아니였습니다. 데이터 엔지니어로서 일을 하면서 현재는 가볍게 쿠버네티스로 kafka, airflow 등의 친구들을 이용해서 파이프라인을 만들고 테스트하는 과정을 진행하는데 이전의 프로젝트가 생각났습니다. 사실 데이터 엔지니어를 하고 싶다고 결심을 한 계기를 돌아보면 '감정분석을 통한 뉴스 데이터 분석' 이라는 산학프로젝트를 진행하면서 빅데이터 구축 파트를 맡아보고 터미널과 직접 소통하면서 파이프라인을 구축하는 부분들이 진짜로 컴퓨터와 소통하는 개발자같이 보여 너무 멋있고 더 공부해보고 싶다는 생각을 했었습니다. 검은색 화면에 흰색 글씨가 매력적이고 컴퓨터와 소통하는게 가슴에 와닿았었고 지금 다시 터미널창과 친해지기위해 매일 매일을 보니 그 때의 감정들이 새록 새록 기억이 나게 되니 더 열심히 해야겠다는 생각이 들었습니다. 터미널과 소통하다보면 답답하고 수많은 에러들과 인사하지만 모든 것을 구축하고 잘 돌아갔다는 Success 라는 흰 글씨가 너무 매력적인 것 같습니다. 

 

🛳️ 시니어의 차이

전회사를 하나로 정의할 수 있는 부분은 동아리 같은 느낌이라고 할 수 있습니다. 주니어들끼리 같이 처음부터 끝까지 기획부터 개발, 테스트 모든 일들을 진행하면서 새롭게 배울 수 있고 공부할 수 있는 분위기라서 정말 많은 언어와 내용들을 알아갈 수 있어서 지금이 제가 있게 되었습니다. 사실 주니어들이라서 서로의 주장을 맞는지 틀린지를 구분해줄 수 있는 길라잡이가 없어서 헤메고 돌고 돌아서 코드가 리팩토링이 아닌 새롭게 다시 짜는게 더 나을 때도 있었는데요. 현재는 시니어분들이 어떠한 반향으로 가는게 맞는건지를 알려주시는 부분에 대해서 큰 차이가 와닿았던 것 같습니다. 데이터 엔지니어라는 새로운 부분에 대해서는 모르는게 많아서 어떻게 나아가야할 지 몰랐는데 오셔서 어떻게 접근해야하는지 어떻게 공부해야하는지 방향을 잡아주시고 프로젝트에서도 ML엔지니어에서는 고려하지 않았던 데이터 레이어를 나누고 어떻게 접근하고 어떤식으로 배치하는 등의 여러 방식들을 의논할 수 있어서 새로운 시각과 경험을 하게 되는 것 같습니다. 큰 풍랑을 만났을 때, 서로 으쌰으쌰하며 의지하는 것도 좋지만 정말 경험많은 선장님이 있다면 조금 더 의지할 수 있는 부분이 생겨서 믿음으로 두려움이 조금은 덜어지는 것과 비슷한 것 같습니다. 앞으로 새롭게 여러 풍랑을 만나겠지만, 의지할 수 있고 배울 수 있는 곳에서 두려움을 덜어가고 더 많이 성장하는 개발자가 되고 싶습니다.

---

ML엔지니어로 일하던 때에는 만들어진 데이터를 가지고 많은 일들을 진행했다면, 이번에는 가공되지 않은 데이터들을 ML엔지니어들에게 넘겨주기 위한 부분의 일을 하니 감회가 남다른 것 같기도 합니다. 그전에 받았던 깔끔한 데이터들의 소중함이 보이기도하고 데이터들의 소중함과 중요성에 대해서 더 생각할 수 있게 되는 것 같습니다. 앞으로 배워나갈 친구들이 많고 만나야 할 오류들이 많지만, 처음에 이 업무를 왜 하고 싶었는지에 대한 감정들과 생각들을 다시 돌아보면서 앞으로 한 발자국씩 나아갈 수 있을 것 같습니다.
여러분도 하고 싶었던 분야가 있다면, 도전하시길 바랍니다. 늦었다는 것은 사람마다 기준이 다르고 내가 할 수 있다면 늦은 것은 없다고 생각합니다. 각 자 원하시는 분야에서 원하는 업무로 다시 열정을 불태우실 수 있는 좋은 경험이 되시기를 바랍니다.