Grace's Tech Blog

link: https://ml-ops.org/content/motivation Why you Might Want to use Machine Learning. 왜 ML을 적용하고 싶은가? Statista Digital Economy Compass 2019,에 따르면 최근 트렌드는 Data driven 세상. 엄청난 기하급수적으로 증가하는 데이터가 모이는 세상인 것과 이렇게 모여진 데이터에서 insight를 찾아내는 rtificial Intelligence / Machine Learning / Data Science 가 증가한다는 것. 모든 ML pipeline은 model을 만드는데 필요한 모든 연산들의 set이다. 요약: 그래서 대체 MLOps가 뭔데? MLOps, as a DevOps extension..

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. Scrum Scrum이란? Iteraton기반의 Project 관리 Framework Scrum의 가치 courage: cross team이 되어 그 팀 안에서 어떤 것을 완수하는 것을 지향하기 때문에 assign된 채로가 아니라 open에서 자율적으로 자신을 assign 해서 진행하는 것을 지향함. 이렇게 하는 용기. 등.. 많은 용기가 필요함 방식임. focus: sprint 기간에 어떤 것에 집중함으로서 생산성 향상에 직결되고 commitment: 팀이 ‘이것 만큼은 완수하겠다’ 라는 약속 respect: 과정과 결과에 대해서 회고하고 이를 통해서 앞으로 우리가 나아가야할 방향을 조정하는 것을 추구함 openness: 우리가..

회사에서 모노레포를 도입한 과정에 대해서 사내 블로그에 글을 썼다. 여기 그 링크를 첨부한다. #9. 저는 모노레포구요. 개발 효율이 추구미에요. 안녕하세요 DeepBio에서 Backend 개발을 담당하고 있는 정현정입니다. 🐰 medium.com

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. 업무 가시화가 필요한 이유 일을 하다보면 이런 질문을 진짜 많이 하고, 받게 된다. 나 역시 그렇다. 업무 진행 상황이 어떤가요? 로드맵은 어떻게 되나요? 여러 요구사항 중 가장 급한 것은 무엇인가요? 해당 기능은 언제 릴리즈 된다구요? 이런 질문에 대한 답, 정보들을 1) 시각화 해서 필요한 사람들이 이 자료를 활용할 수 있게 하는 것 2) 그래서 모두가 Same page에 있게되어, 누가 이걸 하고 있는지, 내가 이걸 하는데 누구에게 도움을 요청하면 되는지 알 수 있다. (협업 효율화) 3) 현재 어떤 문제가 있는지를 가시화해서 현재 상태에 대한 빠른 파악 그리고 해결 방법, 해결 후 예측 이 가능하기 위해서 업무 가시화가 필..

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. 애자일 팀 건강진단(Agile Team Health Check) 이란? 함께 일하는 방식을 개선하고자 하는 애자일 팀을 위한 자체 평가 도구 팀의 온도를 측정하고 지속적인 개선을 시작할 수 있는 좋은 방법 일반적인 건강검진처럼 지속적으로 측정하여 팀의 성장을 추적할 수 있다. 왜 필요한가? 는 이게 뭔지에 대한 설명에 잘 나와있다. 애자일 팀 건강진단(Agile Team Health Check)의 진단 요소 측정 결과가 지속적으로 함께 일하는(== 즉, Team work) 방식을 개선하고 --> 이게 잘 개선되었는지 (==함께 일하는 팀의 성장) 으로 이어졌는지를 평가할 수 있는 지표이기 때문이다. 이 지표를 측정해야만 관리하고 ..

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. Agile Inception 하나의 팀. 모두가 한 버스에 같이 타기. 프로젝트가 실패하는 이유 팀의 목표에 대해서 sync를 못하고 일을 하는 것. 사람들이 프로젝트 성공의 의미를 다 다르게 해석 & 생각하고 있어서 SW를 Release할 때서야 서로의 생각이 달랐다는 것을 깨닫는 경우도 있음. 처음부터 모두 같은 생각을 가지지 않았다는 것이 문제라는게 아니라, 모두의 의견이 일치되지 않은 상태에서 프로젝트가 시작된 것이 문제. 이루어진 적이 없는 합의가 이루어졌다고 믿는 성급한 가정이 실패의 이유이다. 프로젝트 성공을 위해 필요한 것 결국, 너무 당연한 말이지만 팀의 목표에 대해서 sync를 맞추는 것. 여러 방식과 시도의 커..

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. 라인싸몰을 운영하는 가상의 팀을 통해 OKR을 설정하고 Portfolio Backlog를 설정하는 방법에 대해 알아보자. 가상의 애자일 조직을 만들어 보자. 우선 가상의 E-commerce 서비스를 만드는 가상의 팀이다. 서비스 이름은 서비스의 컨셉은 "별로 필요는 없지만 인싸가 되는데 도움이 되는 지름신을 신속하고 편리하게 가라 앉혀주는 역대급 쇼핑몰" 이다. 조직 구성은 Lean Canvas, Business Canvas, 경영 전략 위 표에 있는 것들을 모두 종합해 봤을 때, 한마디로 라인싸몰을 정의하자면 (Unique value proposition high-level concept) '가상과 실제가 통합된 진정한 메타버스..

[LINE X 원티드] 애자일 방법론 무료 강의를 듣고 정리한 내용입니다. 1. 애자일이란? 애자일은 프로젝트를 더 작은 반복 주기로 나누는 프로세스다. 각 반복 주기의 결과물을 측정하여 지속적으로 일정을 평가하는 데 사용한다. 기능은 비즈니스 가치 순서대로 구현하므로 가장 중요한 것이 먼저 구현된다. 품질은 가능한 한 높게 유지한다. 일정은 주로 범위를 조절하여 관리한다. 이것이 애자일이다. - Clean Agile, Robert C. Martin 2. 애자일의 장점 애자일을 하면 뭐가 좋아지지? 1) 민첩함과 유연함 숨겨진 고객의 니즈를 발굴하여 빠르게 시장에 내놓을 수 있음 달라지는 고객뿐만 아니라 조직원들의 요구에도 기민하게 반응 변화에 대해 민첩하게 반응함 2) 주도적인 팀 우리가 무엇을 하는지..

10월 12일자로 프로그래머스에서 약 5개월간 진행하는 에 참여하게 되었다. 목적 본 과정의 목적은 새로운 하드웨어에 리눅스 운영체제 기반 시스템을 설치하고, 서버를 작동시키고, 리눅스 운영체제 커널을 수정하여 새로운 기능을 추가하고, 성능을 최적화하고, 리눅스 기반 시스템의 오류를 찾고 디버깅할 수 있는 기술을 실습과 함께 5개월동안 학습하는 것이다. 목적이 거의 커리큘럼의 굵직한 주제들이 거의 나열해둔 것과 같아서, 내가 이해한 목적을 한 줄로 정리하자면, 리눅스 운영체제를 이해하고, 운영체제 커널의 기능 개발 및 성능 최적화, 트러블 슈팅을 실습을 통해 앞서 개념 이해 한 것을 적용할 수 있는 과정 이라고 생각한다. 커리큘럼 1. C/C++ 알고리즘 해결 2. 리눅스 시스템 설정 및 리눅스 명령어 ..

찾아본 대부분의 자료와 공식 문서가 영어로 되어있었기도 했고, 스위스 엔지니어에게 해당 방법을 알려줘야 했기 때문에 정리해 본 것이라 중간 중간 영어로 적힌 부분이 있다. Environment Ubuntu 22-04 혹은 Window WSL(Windows Subsystems for Linux) wsl 설치 방법 $ wsl --list --online $ wsl --install -d Ubuntu-22.04 Prerequisite Check Hardware 아래의 모든 작업을 진행하기 전에 정말 기본적이지만 GPU 하드웨어가 있는지, 또한 사용가능한 형태로 설치되어있는지 확인해야 한다. 시스템에 어떤 그래픽 카드가 설치되어있는지 확인하려면 다음과 같은 명령어를 사용한다. $ sudo lshw -C disp..

Background MSA에 대한 로깅과 모니터링은 큰 고민거리이다. 서로 다른 개별 마이크로서비스에서 발생하는 로그를 연결 지어 트랜잭션의 처음부터 끝까지 순서대로 추적해 내는 것은 매우 어렵다. MSA 환경에서 '의미 있는 로깅' 시스템을 구축하려면 어떻게 해야할까? 여기서 '의미 있는 로깅'이란 개발자뿐만 아니라 우리 서비스를 사용하는 관리자나, 사내 비개발직군의 다른 팀원들(가령 우리 서비스의 사용율과 에러율, 비용이 비싼 AI 분석 요청의 횟수.. 등의 데이터 분석이 필요한 사업개발팀) 모두가 쉽게 찾아볼 수 있고, 수집되고 가공시킨 로그 데이터를 이해하기 쉬운 로그를 말한다. What do you need to build a meaningful logging system in MSA? Note..

Intro 5월 21일 부터 31일 까지 약 10일간 인프런의 강의를 들으며 도메인 주도 설계(Domain-Driven Design; DDD) 에 대해서 배웠다. 이를 하게 된 계기는 내가 근무하고 있는 의료 인공지능 회사인 Deep Bio는 ‘의료’, ‘AI’ 라는 복잡하고 전문적이 도메인의 비즈니스 문제를 의료 인공지능 소프트웨어로 해결하고자 한다. 따라서 도메인을 이해하는 것이 개발의 첫 걸음인 경우가 많다. 실제로 종종 사내 Medical Officer님께서 병리에 대한 생물학적 도메인 지식의 강의를 해주시기도 한다. 또한 AI ML 알고리즘을 구현하시는 연구팀, 실제 제품 개발을 담당하는 디자이너, 개발팀, 의료 도메인 전문가이신 Medical Officer, 의사분들, BD팀 등 많은 사람들의..

최근 사내 블로그에 글을 썼다. 여기 그 링크를 첨부한다. #7. AI 분석 장애 부검 안녕하세요. Deep Bio Backend Engineer 정현정입니다.👩‍💻 medium.com 위 글과 연관된 블로그 글: 1 [AWS, Post-mortem] EC2 리소스 과다 사용으로 인한 인스턴스 상태 확인 실패 문제와 SQS dead-letter queues 2 [Dev Culture] 내가 경험하고 배운 Project Post-mortem 문화 3 [AWS] SQS event - Lambda - Slack 알람 - PostgresQL 쿼리 실행 1) Serverless framework를 사용해서 local에서 개발하고 cli로 쉽게 배포하기(aws-nodejs-typescript사용) 4 [AWS] S..

최근 회사에서 MLOps 의 필요성이 많이 대두되고 있어서 (ex. 연구시 AI model에 dependency가 있는 package들의 관리가 필요한데, 이를 개발팀에서 좀 도와줬으면 한다.. 등) 패스트캠퍼스의 강의 내용과 제가 이해한 바를 정리한 글입니다. 관련 내용과 실습한 code는 https://github.com/Gracechung-sw/mlops-practice 에서 확인하실 수 있습니다. Data Management에 있어서 강의 외에도 실제 실습에 도움이 많이 되었던 글은 MLOps Basics [Week 3]: Data Version Control - DVC 입니다. 아래 글에서 인용 박스 안에 적힌 내용은 강의가 아닌 실제 현업 경험 중 연관되어 생각난 것들을 적어둔 것입니다. In..

작년 전사적으로 일정 이슈가 많았을 때여서, 코로나에 걸렸는데도 tile processor 구현 일정에 스트레스를 받고 있을 때 소프트웨어 원칙 만들기 에서 "프로그래머에게 요구되는 것은 100점이 아닌 80~90점짜리 프로그램을 기한 내에 완성하는 일이다.” 글을 읽고 많은 부분을 공감하였다. 이 말이 나온 책이 윈도우 95의 프로그래머이신 "나카지마 사토시" 님이 저자인 이고, 이 책을 읽고 중요하다고 생각한 부분을 남기고 중간중간 떠오른 생각을 정리했다. 책의 내용은 인용 박스 로 구분하였다. 0. Intro. 시간 관리의 필요성. 독일의 문호 괴테는 말했다. “아는 것만으로는 충분하지 않다. 활용해야 한다. 의욕만으로는 충분하지 않다. 실행해야 한다.” 그는 갑자기 치고 들어오는 일이 생길 가능성..

관련 코드는 https://github.com/Gracechung-sw/kubernetes-practice/tree/main/k8s-monitoring 에서 확인하실 수 있습니다. 1. Kubernetes monitoring 1) node - application 의 관계: 1:1 -> 1:N node와 application의 관계가 더이상 1:1 이 아니라 node에는 많은 application이 scheduling될 수 있다. 그래서 무엇을 모니터링 해야하는지 설정할 수 있어야 하고, 모니터링 시스템이 자동으로 감지하고 metric을 수집할 수 있도록 pull-based 모니터링이 사용되고 있다. 2) push-based monitoring vs pull-based monitoring Push-bas..

올해는 회사, 스터디, 사이드 프로젝트, 개발 외 적인 것으로 2022년을 정리해보고자 한다. 회고란 사전적 의미로 '뒤를 돌아봄', '지나간 일을 돌이켜 생각함'. 정해진 기간 동안 해왔던 일들에 대해 돌아보면서 문제점이나 잘한 점을 찾아내어 다음 작업에도 좋은 점은 계승하고, 아쉬웠던 점들은 다른 방식을 시도해 끊임없이 개선을 추구하는 것이다. from https://bit.ly/3FLRHjY 1. 회사 1) 의지하던 유능한 동료들의 퇴사 올해 초부터 2분기까지 개발팀에서 내가 많이 의지하던 유능한 동료분들의 퇴사가 있었다. 그때의 나는 아직 1년을 조금 넘긴 병아리 삑삑이 주니어 개발자였기 때문에 당시만 생각하면 아직도 막막함, 두려움, 아쉬움,.. 여러 가지 감정으로 힘이 쭉 빠진다. 그 시기 쯤..

TL;DR Private PyPI Server 세팅 후 package 업로드 및 설치 사용방법에 대해서 정리해보는 글입니다. 아래의 모든 실습에 해당하는 코드는 https://github.com/Gracechung-sw/python-namespace-package-sample 에 있으며 README를 참고하실 수 있습니다. 가장 많은 도움이 된 자료는 https://testdriven.io/blog/private-pypi/ 입니다. Background 크고 복잡하며 확장성을 고려한 소프트웨어는 여러 모듈로 분리 될 수 있고, 각각 ownership을 가지고 주도적으로 개발하는 개발자가 다를 수 있다. Use Case를 생각해보면(use case라고 적고, 내가 현업에서 하고 있는 일이라고 읽는다 ㅎㅎ) ..