Python35 Python - 크롤링 실전 연습(2) 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. 크롤링 실전 연습(Python) G마켓 웹 사이트를 크롤링하는 연습을 하고자 한다. G마켓 베스트 100 상품 타이틀/가격 크롤링하기 import requests from bs4 import BeautifulSoup res = requests.get('http://corners.gmarket.co.kr/Bestsellers?viewType=G&groupCode=G01') soup = BeautifulSoup(res.content, 'html.parser') bestlist = soup.select('div.best-list') bestitems = bestlist.. 2021. 11. 4. Python - 크롤링을 위한 지식(정규 표현식) 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. 크롤링을 위한 지식(Python) 예제를 통해, 크롤링을 위한 파이썬의 정규 표현식을 다루고자 한다. 정규 표현식 정규 표현식이란? 정규 표현식은 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식이다. 일반적으로 정규 표현식은 일정한 규칙을 가지고 작성되며, 필요한 패턴은 직접 만들 수 있다. (아래 표 참고) 1. Dot(.) Dot(.) 메타 문자는 줄바꿈 문자인 \n을 제외한 모든 문자(한 개)를 의미한다. 예를 들어, D.A는 D + 모든 문자(한 개) + A를 의미한다. (ex. DAA, DvA, D1A) import re pattern = .. 2021. 11. 4. Python - 크롤링을 위한 지식(문자열 함수) 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. 크롤링을 위한 지식(Python) 예제를 통해, 크롤링을 위한 파이썬의 문자열 함수를 다루고자 한다. 파이썬의 문자열 함수 data = 'Dave David' print(data.count('D')) count() ``` 결과 : 2 ``` count() 함수는 특정 문자열에서 인자로 넣은 문자가 몇 번 나오는지 알려주는 함수이다. (단, 대소문자는 구분됨) string = "Dave ID is dave" print(string.index('D')) string2 = '안녕' print(string2.index('녕')) string3 = 'Dave' print(.. 2021. 11. 4. Python - 정부 공공 데이터 Open API로 크롤링 하기 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. 정부 공공 데이터 Open API를 활용한 크롤링(Python) 정부 공공 데이터 Open API를 활용하여 크롤링을 연습하고자 한다. 정부 공공 데이터 Open API를 통한 크롤링 연습(대기오염 정보) import requests service_key = '(본인)일반인증키' params = '&numOfRows=10&pageNo=1&sidoName=서울&ver=1.3' open_api = 'http://apis.data.go.kr/B552584/ArpltnInforInqireSvc/getCtprvnRltmMesureDnsty?serviceKey=' + ser.. 2021. 11. 3. Python - 네이버 검색 Open API를 활용한 크롤링 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. Open API를 활용한 크롤링(Python) Open API를 사용해서 크롤링을 연습하고자 한다. 네이버 검색 Open API를 통한 크롤링 연습 import requests client_id = 'p_9ZJktltCKZd9gF3OH4' client_secret = 'lsOUE9wiJD' naver_open_api = 'https://openapi.naver.com/v1/search/shop.json?query=갤럭시노트10' header_params = {"X-Naver-Client-Id":client_id, "X-Naver-Client-Secret":clie.. 2021. 11. 1. Python - 크롤링을 위한 지식(Open API, JSON) 인프런 파이썬 입문 수업을 듣고 중요한 내용을 정리했습니다. 개인 공부 후 자료를 남기기 위한 목적이므로 내용 상에 오류가 있을 수 있습니다. 크롤링을 위한 지식(Python) Open API(Rest API)와 JSON 포멧의 기본개념을 다루고자 한다. Open API(Rest API) 란? - API : Application Programming Interface의 약자로, 특정 프로그램을 만들기 위해 제공되는 모듈(함수 등)을 의미한다. - Open API : 공개 API라고도 불리우며, 누구나 사용할 수 있도록 공개된 API로 주로 Rest API 기술을 많이 사용된다. - Rest API : Representational State Transfer API의 약자로, HTTP 프로토콜을 통해 서버.. 2021. 11. 1. 이전 1 2 3 4 ··· 6 다음
