훈훈훈

# 업비트 Open API 이용 - Example URL : https://crix-api-endpoint.upbit.com/v1/crix/candles/기간단위/기간?code=CRIX.UPBIT.마켓-암호화폐기호&count=데이터수&to=최종시세데이터일시 # 스크랩핑 코인 종류 - BTC, ETH, BSV 등등 # 과거 데이터 크롤링 - 1분, 3분 5분, 1일, 1주 단위 등등 # Pandas 활용하여 csv 파일로 output import requests import pandas as pd from bs4 import BeautifulSoup coin_list = ['BTC', 'ETH', 'BSV', 'XRP', 'BCH', 'EOS'] time_units = ['days', 'weeks'] mi..

파이썬(python) 및 셀레니움을 사용하여 여행 상품 정보를 가져오는 크롤러를 만들어보았다. 크롤러 대상 사이트는 여행 상품을 판매하는 사이트인 마이리얼트립 사이트를 이용하였다. 시작하기에 앞서 크롤링에 대한 어느 정도 지식이 있다는 가정하에 설명을 하려고한다. 자세한 설명을 원한다면 아래 링크를 참고 해주길 바란다, - API를 활용한 음원 순위 차트 크롤링 https://wave1994.tistory.com/59?category=872867 - 암호 화폐 정보 크롤러 만들기 https://wave1994.tistory.com/58?category=872867 # 사이트 - https://www.myrealtrip.com/ # 대상 항목 아래 상품에 있는 상품 이미지, 상품 소개 그리고 위도 경도에 ..

파이썬(python) 언어로 최신 음악 리스트를 가져오는 크롤러를 만들어보았다. 크롤러 대상 사이트는 음원 사이트인 FLO를 이용하였고 웹 사이트에서 제공하는 API를 이용하였다. # 사이트 https://www.music-flo.com/new/track?sortType=KPOP 위 사이트에 접속하면 아래와 같이 최신 음악을 볼 수 있는 페이지가 출력이 된다. 해당 페이지에서 개발자 모드(F12) 접속 후 Network 탭에 있는 API를 사용하려고 한다. - API URL : https://www.music-flo.com/api/meta/v1/track/KPOP/new?page=1&size=100×tamp=1581420059879 위 주소로 접속 하면 아래와 같이 Json 형태의 데이터를 볼 수 있다...

파이썬(python) 언어로 암호화폐(가상화폐) 정보를 가져오는 크롤러를 만들어보았다. 크롤러 대상 사이트는 암호화폐 시가총액을 확인할 수 있는 CoinMarketCap 으로 하였다. # 사이트 https://coinmarketcap.com/ko/ 위 사이트 접속 시 이름(Name), 시가총액(Volume), 가격(Price), 등의 정보를 확인할 수 있다. 이제 이 각각의 정보들을 크롤러를 이용해 수집하려고 한다. # 전체 코드 전체 코드는 아래와 같으며 이제 부분 부분 살펴보려고 한다. import requests from bs4 import BeautifulSoup req = requests.get('https://coinmarketcap.com/ko/') html = req.text soup = ..

# Import 찾는 순서 1. sys.modules 파이썬이 모듈이나 package를 찾기 위해 가장 먼저 확인하는 곳이며, 파이썬 인터프리터가 제공하는 변숭롸 함수를 직접 제어할 수 있다, 해당 모듈은 단순한 디렉터리 이며, 이미 import된 모듈과 패키지들을 저장하고 있음, 즉, 새로 import하는 모듈은 sys.modules에서 찾을 수 없다. 2. buit-in modules 파이썬에서 제공하는 공식 라이브러리, Buit-in 모듈든은 이미 파이썬 설치 시 같이 포함된다. 3. sys.path sys.path는 기본적으로 string 요소들을 가지고 있는 list다. 그러므로 파이썬은 list의 각 경로를 하나 하나 확인하여 import 대상인 package가 어느 경로에 위치하고 있는지 확..

# 문자열 포매팅 종류 - %Operator C에서 사용하던 스타일이며 가장 오래된 방식이다. 가독성이 str.format, f-string 방식에 비해 많이 떨어지며, 현재는 권장하지 않는 방식이다. - str.format 파이썬 3.0 이상부터 지원한 포매팅 방식이며, 다음과 같이 %Operator에 비해 월등한 가독성을 보여준다. 하지만 여러 매개변수를 처리할 때 format 함수도 같이 길어지기 때문에 이 방식 또한 가독성은 좋지 않다. - f-string 파이썬 3.6 이상 부터는 지원하는 포맷이며 가장 빠른 속도를 지원한다. f-string은 다음 예제와 같이 f 접두사를 붙여 사용할 수 있다. # 속도 비교 각 포매팅 방식별 속도를 비교하기 위해 속도 비교 함수를 작성 후 테스트를 진행하였다..

# default value parameter default value parameter 는 함수가 호출될때 파라미터에 인자를 받아 넘겨준다. # non-default value parameter non-default value parameter 는 함수가 호출될때 파라미터에 인자를 받아 넘겨줄 수 도 있으며, 인자를 넘겨주지 않아도 keywordname=value 형식으로 선언되어 있기 때문에 지정한 value 를 넘겨줄 수 있다. 파이썬에서는 정의할때 파라미터를 받는 순서를 지켜야한다. 다음 코드를 살펴보면 non-default value parameter 를 먼저 받고 default value parameter를 받을 시 다음과 같은 오류 메시지를 확인할 수 있다. ** default value p..

/*해당 내용은 길벗 출판사의 파이썬 코딩의 기술이라는 책을 참조하였습니다.*/ # 스코프(Scope : 유효 범위) 변수가 유효만 범위를 뜻하며 대표적인 예로 지역변수와 전역변수가 있다. # 클로저(Closure) 란 클로저는 자신의 정의된 스코프 안에 있는 변수를 참조하는 함수이다. # 코드 예시 위 예시는 리스트 정렬 시 우선순위가 높은 객체가 먼저 정렬 시키는 코드이다. 좀 더 자세히 살펴보면 line 8 에서 "numbers.sort(key=helper)" 코드는 key 값에 helper 함수를 담아 sort 함수를 호출하는 것을 알 수 있다. 해당 코드가 실행이 가능한 이유는 파이썬에서는 클로저를 지원하기 때문에 정의된 스코프에 있는 변수를 참조할 수 있기 때문이다. 결과 출력 시 group ..