본문 바로가기

전체 글291

[crawling] selenium 환경 세팅 크롤링계의 2개의 양대 산맥이 있는데selenium과 beautifulsoup(bs4)이다. 둘의 가장 큰 차이는 selenium은 사람이 동작하는 방식과 유사하게 동작하고, bs4는 소스 자체로 접근하게 된다. 오늘은 selenium으로 다양한 옵션을 이야기해보고자 한다. 라이브러리 다운pip3 install selenium  크롬 웹드라이버(Chrome webdriver) 다운 현재 사용중인 크롬 버전과 chrome driver의 버전이 일치해야한다.https://developer.chrome.com/docs/chromedriver/downloads?hl=ko 다운로드  |  ChromeDriver  |  Chrome for Developers이 페이지는 Cloud Translation API를 통해.. 2024. 11. 28.
[python] pipenv로 가상환경 만들기 여러가지 IDE를 쓰거나 코드를 돌리면 파이썬 버전환경이 많이 꼬이기 마련인데요,이걸 해결하기 위해서 저는 주로 pipenv를 사용하고 있습니다. 간단하게 사용법을 알려드리겠습니다. 설치python3 기반의 pip에서 pipenv를 설치합니다.pip3 install pipenv  가상환경 생성가상환경 생성은 pipenv 명령어와 사용할 python의 특정 버전을 지정해서 설정합니다.참고로 이는 디렉터리 기반에서 동작하므로 내가 가상환경이 필요한 디렉터리로 이동해서 진행해야 합니다. 코드:pipenv --python [파이썬버전] 예시:pipenv --python 3.9 이렇게 설정하게 되면 해당 디렉터리 내부에 .pipenv 파일이 생성됩니다.  가상환경 터미널 실행이는 해당 터미널 세션에서 가상환경을 .. 2024. 11. 27.
[Linux] crontab 관리 우리가 주기적으로 무언가를 실행할 때 crontab을 통해서 설정한다. crontab 설정에는 다음과 같이 두 가지 방법이 있다. vi /etc/crontabcrontab -e 이 둘의 차이가 무엇인지 하나씩 알아보자. vi /etc/crontab이 곳에서는 시스템 배치 관리를 담당합니다.배치를 실행할 사용자 계정을 반드시 명시해야합니다.다음과 같이 /etc/crontab 안에는 hourly 등 다양한 파일이 존재해서 여기서 cron을 관리하게 됩니다.  systemctl restart crond실행내역은 /var/log/cron에서 확인합니다.  crontab -ecrontab -e는 이것을 실행하는 사용자를 기본으로 깔고 설정하는 crontab입니다.명령어에서 볼 수 있듯 crontab 명령어를 사용.. 2024. 11. 26.
[Observability] Grafana 설치 & Prometheus 연동하기 Grafana데이터 시각화를 위한 오픈소스 툴킷으로 커스터마이징이 매우 편리하고, 지원하는 데이터 소스도 굉장히 다양하고 대시보드 또한 다양합니다. 알림설정까지 가능하여 정말 많이 사랑받고 있는 도구입니다.  Grafana Blog에서는 정말 다양한 팁들을 제공하고 있습니다. 엄청 자주 올라오더라구요.https://grafana.com/blog/ Grafana Labs blog | Grafana LabsAsk Grot, your blog librarian Need help finding content to answer your questions? Try our AI chat bot, Grot (beta).grafana.com  일단 그라파나를 설치하겠습니다.그라파나 사이트에서 설치방법을 친절히 제공하고 .. 2024. 11. 25.
[git] gitlab 설치 확인된 운영체제amazon linux 2023 공식문서뭐든 공식문서를 보는 습관을 기르자https://docs.gitlab.com/ee/install/docker/index.html  gitlab이란github와 비슷한 역할을 하는 오픈소스 git 리포지토리 저장소이다. github action의 역할을 하는게 gitlab runner라서 같이 설치해주면 CI/CD도 할 수 있다.  gitlab-ce는 커뮤니티버전, gitlab-ee는 엔터프라이즈 버전이다. 애초에 엔터프라이즈 버전이라도 유료 티어로 업그레이드 안하면 그냥 커뮤니티 버전처럼 사용할 수 있다. 그래서 만약 업그레이드를 고려하는 곳이라면 ee로 설치해도 무방하다. 추후에 ce로 설치해놓고 업그레이드 하려고 하면 다시 설치해야한다. gitla.. 2024. 11. 22.
NAT와 Bridge NAT(Network Address Translation) 모드네트워크 주소 변환으로 외부 공인 IP를 사설 IP로 변경 혹은 반대의 상황을 이야기 합니다.이를 통해 사설 IP도 공인 IP를 사용할 수 있게 되었으며, 여러 대의 서버가 동시에 한 IP를 가질 수 있게 되었습니다.   NAT의 종류- 정적 NAT(Static NAT) : 하나의 내부 IP 주소를 하나의 공인 IP 주소에 1:1로 매핑- 동적 NAT(Dynamic NAT) : 내부 IP 주소를 사전에 정의된 공인 IP 주소 풀 중 하나로 매핑한다.- PAT(Port Address Translation)/NAT overload : 여러 내부 IP 주소를 단일 공인 IP 주소로 매핑하지만, 각 연결을 구분하기 위해 포트 번호를 사용한다. Bri.. 2024. 11. 22.

티스토리툴바