컴공생의 발자취

목차1. 환경 준비2. 가상환경 설정 및 패키지 설치3. MySQL 설정 및 데이터베이스 구성4. 환경 변수 관리5. PowerShell 스크립트 작성6. bat 파일 생성7. 작업 스케줄러 시작 들어가며크롤링 작업을 주기적으로 실행하려면 자동화가 필요하다.특히 일정한 시간에 크롤링 작업을 반복적으로 수행해야 할 경우, 이를 수동으로 처리하는 것은 비효율적이고 번거로울 수 있다. 이 글에서는 윈도우 환경에서 Python을 활용한 크롤링 작업을 자동화하는 방법을 다룬다.PowerShell 스크립트와 작업 스케줄러(Task Scheduler)를 활용해, Python 크롤링 스크립트를 정기적으로 실행할 수 있도록 설정하는 방법을 단계별로 설명한다. 이를 통해 서버나 개인 컴퓨터에서 매일, 매주 반복되는 작업을..

해당 단원의 사진은 그냥 참고용!-> 글로 적혀있는 내용을 참고하시기 바랍니다. ☺KeywordECSNLBAuto ScalingFargate vs EC2 FlowLoadBalnace 대상 그룹 생성LoadBalanc(NLB) 생성태스크 정의클러스터 생성클러스터 -> 서비스 생성  Auto Scaling 종류? AWSECS AutoScalingEC2 group AutoScaling컨테이너 오토스케일링쿠버네티스  LoadBalance 대상 그룹 생성 Fargate는 IP 주소 선택 -> IP 주소를 선택하라는 말...사진은 참고용이며, 다를 수 있음. 대상 그룹에 아무것도 추가하지 않고 생성하기사진은 참고용이며, 다를 수 있음.  LoadBalance(NLB) 생성 인터넷 경계로 선택 VPC와 서브넷은 기존..

Keyword서브 도메인docker-compose restartdocker networkdocker exec -itpsqlmongoshredis  EC2 생성하기(공통) EC2 인스턴스 생성보안그룹:기존의 보안 그룹에서 추가프론트: 3000(그냥 나는 3000으로 하고 싶었음)백엔드: 8080(기존 보안 그룹에 존재)DB - PostgreSQL : 5432MongoDB : 27017Redis : 6379 EC2 인스턴스 초기 세팅시스템 업데이트 및 업그레이드:sudo apt update -ysudo apt upgrade -y Docker 및 Docker Compose 설치:Docker 설치sudo apt install -y docker.iosudo systemctl start dockersudo syst..

Keyword 안정적인 아키텍처보안이 좋은 아키텍처비용이 적은 아키텍처속도가 빠른 아키텍처  어떤 관점에서 설계? 안정적인 아키텍처 (❤️) : 서버 많이 띄워서 이중화keyword : 안정적인 클라우드 아키텍처보안이 좋은 아키텍처 : 내가 원하는 것만 띄워져 있기비용이 적은 아키텍처 (현재) : 효율적으로 합치고 분리하기속도가 빠른 아키텍처 X : 어디서 속도를 빠르게 할 것인가? 네트워크 거리(CDN)  어떤 우선 순위로 작업을 해야할까? 수평 확장 관리네트워크 트래픽 관리데이터 백업컴퓨터 내부 리소스 관리수평 확장 관리 (Horizontal Scaling Management)이유: 여러분의 서비스는 다양한 기능이 결합된 복합적인 시스템이기 때문에 사용자 수가 급증할 수 있습니다. 특히, 채팅 및 소..

Keyworddockerdockerfilecompose(app, db, nginx)nginx(react deploy)nginx(reverse proxy)  Dockerfile 만들기 프로젝트 디렉토리 구조: 프로젝트의 루트 디렉토리에 위치 today-space-front/├── package-lock.json├── package.json├── public├── src/│ └── main/│ ├── component│ ├── pages│ └── redux└── Dockerfile Dockerfile 만들기: 검색 keyword → react Dockerfile # 1. Node.js 환경에서 빌드 수행FROM node:14 AS buildWORKDIR /app# pack..

KeywordAWS IAMAWS S3AWS Bucket정책 생성 KeywordIAM 설정 -> 이메일 보내기Bucket에 따른 보안 세팅우리 DNS에서만 우리 Bucket 사용하도록 -> S3 configS3 Bucket마다 세팅 특정 IAM에서만 upload / read 가능  권한 그룹 생성 권한 그룹* application.yml에 S3의 config가 들어가는데 이건 배포랑 개발할 때랑 다른 권한으로 사용하는 것을 권장개발자 : ex) develper배포 : ex) admin 그룹 권한(개발자 그룹)* ✅ 표시는 실제 내가 포함한 그룹들AmazonEC2FullAccess ✅설명: EC2 인스턴스 및 관련 리소스에 대한 전체 접근 권한을 부여합니다.사용 시점: 개발자가 EC2 인스턴스를 관리하고 사..

KeywordGithub release & tagdocker tag  버전 관리를 하는 이유 코드의 백업 및 복구: 버전 관리를 통해 코드의 모든 변경 이력을 저장하고, 필요시 특정 시점으로 쉽게 되돌아갈 수 있습니다. 이는 문제가 발생했을 때 빠른 복구를 가능하게 합니다.변경 이력 추적: 각 커밋마다 어떤 변경이 있었는지 기록되므로, 코드의 진화를 추적할 수 있습니다. 이를 통해 문제의 원인을 파악하고 수정하는 데 도움이 됩니다.협업 및 병합 관리: 팀 내 여러 개발자가 동시에 작업할 때, 각자의 작업 내용을 체계적으로 관리하고 병합할 수 있습니다. 깃에서 태그된 커밋이 특정 브랜치에 푸시 또는 머지될 때, 해당 버전을 명확하게 관리하여 프로젝트의 안정성과 품질을 유지할 수 있습니다. 추가로 고민해보면..

최근 개발자 컨퍼런스에 관심을 가지고 있던 나...컨퍼런스 검색하다가 당근에서 "당근 테크 밋업"이 열린다는 걸 발견했다!신청해보고 기다렸는데 당첨이라니! 내 인생 첫 개발자 컨퍼런스였다. 행사 소개일정: 2024.10.07(월) 11:00 ~ 17:00장소: 삼성동 코엑스 컨퍼런스룸(남) 참가자로 선정되면 당근마켓 애플리케이션 모임에 참여할 수 있다!당근마켓 애플리케이션의 채팅에서 네트워킹이 올라오는데 선착순 참여가 가능하다. 세션내가 참여했던 세션은 총 4개다.영상 플랫폼 운행 시작합니다Kafka 뉴비의 마이그레이션 산 넘고 물 건너잃어버린 시간, 인프라 자동화로 되찾다비용이 왜 튀었는지 저도 몰라요 나는 대부분 Infra에 관심을 두고 있어서 [D] Platform 트랙으로 신청했다. A/B와 C/..

인스타를 뒤져보던 중..2024 토스 Next 개발자 챌린지가 모집 중이라는 피드가 눈에 들어왔다. 아직 많이 부족한 것을 알고 있지만, 일단 지원해보았다. 그러고 까먹고 있었던 나에게 갑자기 코딩 테스트 한다는 이메일을 받았지. 내가 지원해놓고 까먹고 있던 나. 아무튼 그렇게 경험이라도 쌓자는 마인드로 코딩테스트에 임하는데... 내 실력앞서 말했듯이 준비를 하나도 못했다.그래서 내 실력이 현재 어느정도인지 말하자면! 프로그래머스 기준 Lv 0 풀고 있던 인간인지라..당연히 떨어질 것을 예상하고 있었다.  문제총 10문제 2시간이었고 프로그래밍 5문제 서술형 5문제였다.인터넷 검색이 가능했다. 다만, 생성형 AI 사용은 당연히 불가능이었다.나는 프로그래밍에 약해서 한 문제도 풀지 못했다. 알고리즘을 개념..

Keyword1. DooD2. docker network Flow1. 새로운 EC2 인스턴스 생성 -> 젠킨스만2. docker 설치3. docker 컨테이너 젠킨스 실행4. 서브 도메인 세팅5. 젠킨스 Webhook 연결6. 파이프라인 작성 후 배포 확인  EC2 인스턴스 설정  EC2 인스턴스 설정용량: 최소 100GBEC2 인스턴스 생성:AWS 콘솔에 로그인하고 EC2 서비스를 선택합니다."인스턴스 시작" 버튼을 클릭하여 새로운 인스턴스를 생성합니다.Ubuntu AMI를 선택합니다.인스턴스 유형을 선택합니다 (t2.micro는 무료 티어로 사용할 수 있습니다). → t2.medium.키 페어를 설정하고 다운로드합니다.인스턴스를 시작합니다.보안 그룹 설정:SSH (포트 22), HTTP (포트 80)..