전체 글398 [Workflow] Airflow Workflow Management 실습 WorkflowAirflow Workflow Management 실습참고강의: 10개의 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. workflow management의 종류 중 하나인 Airflow의 사용법을 알아보려고 한다. [목차]실습 소개실습 환경 구축Airflow에서 Dag란?실습 1. 실습 소개Apache Airflow는 이전 포스팅에서 다루었던 것처럼 python으로 작성된 오픈 소스 워크플로우 관리 도구이다.데이터 엔지니어링 및 머신러닝 파이프라인의 스케줄링과 관리에 유용하기에 Airflow를 사용해서 실습을 진행해보자. Airflow에는 중요한 컴포넌트인 Dag가 있다.Airflow를 사용해서 Dag를 생성하는 두 가지의 실습을 진행해보려고.. 2024. 11. 16. [Workflow] Workflow Management 이론 WorkflowWorkflow Management 이론참고강의: 10개의 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. 이번시간에는 Workflow를 사용하는 이유와 개념에 대해서 알아보자. [목차]Workflow Management 란?MLOps 에서의 Workflow ManagementWorkflow Management 관리도구 1. Workflow Management 란?1-1) Workflow Management 란?정의비즈니스나 기술 프로세스의 설계, 실행, 모니터링 및 최적화를 포함하는 전체적인 접근 방식MLOps에서 workflow management는 머신러닝 프로젝트의 다양한 단계와 작업을 체계적으로 조율하고 관리하는 프로세스에 중점을 맞춤 구.. 2024. 11. 15. [쿠버네티스] Orchestrator 실습 쿠버네티스Orchestrator 실습참고강의: 10개의 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. 이번에는 직접 간단한 쿠버네티스 실습을 진행해보겠다. [목차]환경 구축쿠버네티스와 아키텍처쿠버네티스 주요 구성 요소실습 진행 1. 환경 구축쿠버네티스는 직접 install하지 않고, 온라인 테스트 환경에서 진행해보겠다.링크: https://labs.play-with-k8s.com 링크타고 들어가면 위와 같은 페이지가 나온다. 로그인 방법으로 github 계정이나 docker hub의 계정을 연동 할 수 있다.나의 경우는 docker를 사용해서 로그인을 하였다. 로그인 성공 시 start 버튼이 생성된다. [labs 초기화면]start를 누르고 들어가면 나타나는 .. 2024. 11. 14. [쿠버네티스] Orchestarator 이론 쿠버네티스Orchestarator 이론참고강의: 10개의 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. Docker를 사용해 여러 Container를 만들어 봤으므로 이제 해당 Container들을 효율적으로 관리할 수 있는 Orchestrator에 대해서 알아보자. [목차]Orchestrator란?Orchestrator 주요 기능Orchestrator 예시 및 MLOps에서의 활용Appendix : YAML 이란? 1. Orchestrator란?정의다수의 Container를 조정하고 관리하는 시스템.컨테이너의 배포, 스케일링 및 네트워킹을 자동화 목적높은 가용성, 확장성 및 신뢰성을 가진 시스템을 구축하기 위해Container화된 애플리케이션의 복잡한 작업을.. 2024. 11. 11. [Docker] Docker 실습 - Container DockerDocker 실습 - Container참고강의: 10개 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. 이전시간에 docker의 기본적인 사용법에 대해 알아봤고, 이번엔 두 번의 실습을 진행하도록 하겠다. [실습 목차]Nginx기반 서버 컨테이너 생성 및 실습Scikit-learn으로 모델 학습 컨테이너 생성 및 실습 0. Docker Hub란?Docker Container를 실행시키는 방법은직접 Dockerfile을 만들어서 Docker Image를 생성하는 법Docker Hub를 통해서 Container를 생성하는 법이 있다. 이번에는 직접 Docker Image를 생성하지 않고 Docker Hub를 통해서 Container를 실행시키는 법.. 2024. 11. 9. [Docker] Docker 설치 및 기본 명령어 DockerDocker 설치 및 기본 명령어참고강의: 10개 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online. 모든 Infra에 거의 기본이 되는 Docker를 드디어 공부하게 됬다.실무에서 많이 쓰이고 개발직군에게 매우 중요한 기술이기 때문에 천천히 개념잡고 나가려고 한다.이전에 프로젝트에서는 간편하게 anaconda나 pipenv를 사용했었기에 조금 더 docker가 궁금하다. Docker 이론Docker란?컨테이너화 기술을 사용하여 애플리케이션을 패키징하고 배포하는 데 사용되는 오픈 소스 플랫폼이를 통해 애플리케이션을 쉽게 배포하고 실행할 수 있음Docker는 경량화된 컨테이너를 제공하며, 이는 독립적이고, 이식성이 뛰어나며 환경에 구애받지 않는 방식으로 .. 2024. 11. 8. [LeetCode] 1. Two Sum LeetCode1. Two SumArray Hash Map 기술 인터뷰에서도 자주 다루는 유형이다.처음에는 가볍게 풀었지만 Beats38.07%가 나와서 다른 방식으로 풀어 Beats100.00%를 만들 수 있었다. Problem 문제는 정수가 담긴 1차원 리스트가 주어졌을 때,리스트안의 두 수의 합이 target의 값과 동일할 때 해당 값들의 인덱스를 리스트형식으로 반환하라는 내용이다. 부가적으로 O(n2)의 시간복잡도보다 더 효율적으로 짜보라는 코멘트가 있다. Approach일반적으로 두 가지 방식이 있다. 1. 2중 반복문을 사용하여 브루트포스 형식으로 모든 경우의 수를 구하는 경우2. hashmap을 사용하여 보수를 이용하여 구하는 경우 1번의 경우 O(n2)의 시간복잡도를 가지게 되어서.. 2024. 11. 7. [MLOps 파이프라인 구현] MLOps란? [MLOps 파이프라인 구현] MLOps란?참고강의 : 10개 프로젝트로 한 번에 끝내는 MLOps 파이프라인 구현 초격차 패키지 Online(패스트캠퍼스) [MLOps란 무엇인가?]Machine Learning Operations기계 학습 모델을 구축하고, 배포하고, 관리하기 위한 프로세스를 통칭하는 용어(자동화에 기반)전통적인 소프트웨어 개발과는 다른 방식으로 진행되며, Machine Learning 시스템의 독특한 특징을 고려하여 구성 [ML LifeCycle 구성 요소]Data Collection and PreparationFeature EngineeringModel Selection and Model LearningModel Evaluation and Model TuningDeployment a.. 2024. 10. 30. 이전 1 2 3 4 ··· 50 다음 반응형
