[크롤링기초] 사이트 정보 확인

크롤링 기초가 되는 파이썬 정보 확인 코드 예제이다.

#GET 방식 데이터 통신
import urllib.request
from urllib.parse import urlparse
 
# 기본 요청
url = "http://www.encar.com"
 
mem = urllib.request.urlopen(url)
 
# 여러정보 출력
print('type : {}'.format(type(mem)))
print('geturl : {}'.format(mem.geturl()))
print('status : {}'.format(mem.status))
print('header : {}'.format(mem.getheaders()))
print('getcode : {}'.format(mem.getcode()))
print('read : {}'.format(mem.read(100).decode('utf-8')))
print('parase : {}'.format(urlparse('http://www.encar.com/index.do?id=test&pw=1111').query))
 
# 기본요청(ipify)
API = "https://api.ipify.org"
 
# GET 방식 파라미터
values = {
    'format' : 'json'
}
 
print('before param : {}'.format(values))
params = urllib.parse.urlencode(values)
print('after param : {}'.format(params))
 
# 요청 URL 생성
URL = API + "?" + params
print("요청 URL = {}".format(URL))
 
# 수신 데이터 읽기
data = urllib.request.urlopen(URL).read()
 
# 수신 데이터 디코딩
text = data.decode('UTF-8')
print('response : {}'.format(text))
 

 

테스트 코드 파일

crawling_06.py

0.00MB