[크롤링기초] 개발자도구 송수신 분석

파이썬 강좌를 듣고 타이핑한 코드를 적어둔다.

# pip install requests
 
# Requests 사용 스크랩핑
# REST API : GET, POST, DELETE, PUT:UPDATE, RELPACE(FETCH: UPDATE, MODIFY)
# 중요 : URL을 활용해서 자원의 상태 정보를 주고 받는 모든 것을 의미
 
import requests
 
# 세션 활성화
s = requests.Session()
 
# 예제 1
r = s.get('https://api.github.com/events')
 
# 수신 상태 체크
r.raise_for_status()
 
# 출력
print('예제1 : ', r.text)
 
# 예제 2
# 쿠키 설정
jar = requests.cookies.RequestsCookieJar()
 
# 쿠키 삽입
jar.set('name', 'niceman', domain="httpbin.org", path='/cookies')
 
# 요청
r = s.get('http://httpbin.org/cookies', cookies=jar)
 
# 출력
print('예제2 : ',r.text)
 
# 예제 3
r = s.get('https://github.com', timeout=5)
print('예제3 : ',r.text)
 
# 예제 4
r = s.post('http://httpbin.org/post', data={'id':'test55', 'pw' : '1234'}, cookies=jar)
print('예제4 : ',r.text)
print(r.headers)
 
# 예제 5
# 요청 (POST)
payload1 = {'id':'test33', 'pw' : '1234'}
payload2 = (('id','test33'), ('pw', '1234'))
 
r = s.post('http://httpbin.org/post', data=payload1)
print('예제5 : ',r.text)
 
# 예제 6
r = s.put('http://httpbin.org/put', data=payload2)
print('예제 6 : ', r.text)
 
# 예제 7(DELETE)
r = s.delete('http://httpbin.org/delete', data={'id' : 1})
print('예제 7 : ', r.text)
 
# 예제 7(DELETE) 
r = s.delete('https://jsonplaceholder.typicode.com/posts/1')
print(r.ok)
print('EX 7 :', r.text)
print(r.headers)
 
s.close()

 

crawling_11.py

0.00MB