'파이썬'에 해당되는 글 78건

다나와(https://www.danawa.co.kr) 사이트 제품 검색에서 원하는 것만 필터링해서 해당 제품 리스트를 크롤링하는 예제이다.

제조사별 검색

APPLE 을 보기 위해서는 우측에 + 버튼을 눌러야 보인다.

5번 Copy XPath 로 얻는 결과는 //*[@id="dlMaker_simple"]/dd/div[2]/button[1]

WebDriverWait(driver,3).until(EC.presence_of_element_located((By.XPATH,'//*[@id="dlMaker_simple"]/dd/div[2]/button[1]'))).click()

특정 제품 선택하여 제품 리스트 선택

동일한 방법으로 XPath 를 얻어서 붙이면 된다.

WebDriverWait(driver,2).until(EC.presence_of_element_located((By.XPATH,'//*[@id="selectMaker_simple_priceCompare_A"]/li[16]/label'))).click()

여기서 APPLE 은 16번째에 있는 걸 확인할 수 있다.

APPLE 제품 정보 중에서 상품명, 가격, 이미지 링크만 크롤링하는 방법

번호 순서대로 살펴보면 금방 원하는 정보가 어떤 것인지 확인할 수 있다.

li 태그 중에서 class 가 prod_item.prod_layer 인 것 전부를 크롤링하면 된다는 걸 알아내는 것이 매우 중요하다.

goods_list = soup.select('li.prod_item.prod_layer')

제품정보 크롤링

ㅇ 상품 모델명

제품 가격

제품 이미지 경로

파이썬 코드

Beautiful Soap는 웹사이트에서 버튼을 클릭해야 얻을 수 있는 데이터라던가, Javascript 에 조건이 충족되어야만 얻을 수 있는 데이터에 접근하는 것에 한계가 있다.
그래서, 직접적으로 웹 사이트에 접근할 수 있게 해주는 Selenium을 사용해야 한다. 웹 브라우저를 대신해 줄 Driver가 필요하다.

selenium 설치

pip install selenium

pip install chromedriver-autoinstaller 

검색창 input 태그를 찾는 방법이다.

다나와 사이트 로그인 후 로그인된 상태에서만 가져올 수 있는 정보를 보여주는 예제이다.

먼저, 로그인을 위해 알아야 할 사항이다.

크롬브라우저에서 F12 를 눌러 Network 에서 2번 항목을 체크하자.

브라우저에서 접속한 것처럼 하려면 4번과 5번 정보가 매우 중요하다.

로그인 URL 정보

이제 로그인이 잘 된 것인지 확인하는 과정이다.

로그인 후에만 볼 수 있는 주문/배송 내역 조회 내역을 가져오는 스크래핑 방법이다.

로그인 성공 후 세션정보를 가지고 이동할 폐이지를 "주문/배송 조회"로 스크래핑 범위 한정해서 해보자.

li 태그에서 마우스 우클릭을 하고 Copy Selector 을 선택하면 해당 정보를 반환한다.

#wrap_shop_danawa > div.my_wish_bg > div > div.wish_content_wrap > div.my_info.no_sub_info > div > ul > li:nth-child(1)

를 반환하는데 여기에서 div.my_info.no_sub_info > div > ul > li 가 필요로 하는 것이라는 걸 알 수 있다.

로그인 성공 여부를 간단하게 확인하는 방법은 로그인 후 ID 정보가 있는지 확인하는 것이 가장 쉬운 방법이다.

파이썬 소스 코드 작성

화면에서도 결과를 출력하여 확인하고, 파일로도 저장해서 결과를 확인해 본다.

테스트에 사용한 파이썬 소스 코드

네이버 쇼핑 사이트 정보를 스크래핑하는 방법에 대한 예제이다.

먼저 스크래핑할 URL 정보를 입력한 후 크롬 브라우저에서 F12키를 눌러서 html 소스보기를 해서 분석할 대상을 찾는다.

1번을 누르고 마우스로 대상을 찾아 원하는 구조를 파악한다.

마우스 우클릭으로 Copy Selector를 하면....

#productListArea > ul > li:nth-child(1) > div.price > strong > span.num 를 반환해 준다.

여기서 우리는 #productListArea > ul > li > div.info > span > a.txt 가 필요한 것이라는 알아낼 수 있다.

이와 같은 방법으로 도출할 항목을 찾아낸다.

파이썬 코드

자료출처 : https://smorning.tistory.com/331 에 나온 코드를 가지고 실제 동작 여부를 확인해보면서 제대로 동작됨을 확인했다.

동영상 강좌를 들어가면서 실습해보는데 동영상 강좌에 나온 사이트 태그 구조 등을 변경해서 동작이 안되기도 해서 제대로 동작되는 코드를 찾아서 테스트 하면서 기능을 익히는 중이다.

엑셀로 저장하는 코드

테스트 샘플 코드

네이버 주식 정보 페이지에서 내가 원하는 정보만 가져오기 위해서 먼저 크롬브라우저에서 F12키를 눌러서 html 소스코드 보기를 한다.

아래 번호 순서대로 해보자. 먼저 1번을 눌러주면 마우스를 가져가는 곳에 해당되는 html 코드를 반환해준다.

2번 위치에 마우스를 가져가면 해당되는 태그 정보를 알려준다.

이제 파이썬 소스 코드를 작성하면서 중간 중간에 찍어보면서 원하는 결과를 추출하면 된다.

결과 출력 화면

샘플 소스코드

파이썬 강좌를 듣고 타이핑한 코드를 적어둔다.

Visual Studio Code 에서 파이썬 명령어를 입력하면 자동완성 명령어를 미리 보여주는 기능을 활성화하기 위한 방법이다.

{

    "python.pythonPath": "C:/Python39/python.exe",

    "python.autoComplete.addBrackets": true

}

다음 주식 정보 가져오기 예제이다.

Ajax 로 되어 비동기 통신으로 처리된 경우, 간단하게 정보를 가져올 수가 없다.

샘플 코드 작성 파이썬 소스

행정안전부 RSS 데이터를 가져오기 위한 기초 이미지이다.

테스트 파이썬 코드

크롤링 기초가 되는 파이썬 정보 확인 코드 예제이다.

테스트 코드 파일

XML이란 내부적으로 트리 구조를 가지고 있는 파일을 표현하기 위해 사용하는 마크업 언어다.
웹페이지를 보여주기 위해 사용되는 html 파일이 XML의 가장 대표적인 예시다.

네이버 뉴스 가져오기는 실패하여 일단 기능 테스트를 위해 네이버지식인 정보가져오기를 시도했더니 잘된다.

크롤링을 위한 Chrome 브라우저 개발자 모드 html 코드보기 예시이다.

테스트에 사용한 파이썬 소스 코드

위 코드와 아래 BeautifulSoup4 를 이용한 코드 비교를 해보면 훨씬 더 간단하다는 걸 알 수 있다.

파이썬을 배우는 중인데 헤드라인 뉴스 가져오기를 시도했는데 실패했다.

실패한 기록도 저장하고, 나중에 더 배우면 그때 해결해보련다. ==> 크롤링 다른 라이브러리를 이용하여 해결

위 방법으로 해결이 안되어서 selenium 으로 실시간 뉴스 가져오는 걸 해결했다.

Update : 2021.6.28(월)

파이썬에서 python extension loading 에러가 발생하면서 제대로 동작하지 않는다.

파이썬을 삭제하고 다시 깔아도 동일하다.

해결책은 파이썬 환경설정이 저장된 폴더에 있는 정보를 모두 삭제해주면 초기화가 된다.

다시 VSCode 파일을 실행하고 나서 Font Size 등을 다시 정하고, Python 을 다시 설정해준다.

beautifulSoup 의 기본적인 사항을 알아보자.

필요 자료는 구글 크롬브라우저 개발자 도구를 이용하면 html 구조를 파악할 수 있다.

예제로 https://kin.naver.com/search/list.nhn?query=%ED%8C%8C%EC%9D%B4%EC%8D%AC 사이트를 선택했다.

ul 태그 하위 요소로 li 태그가 10개 인것을 확인할 수 있다.

DOM 트리 구조를 보면 ul > li > dl > dt > a 태그 순으로 되어 있다.

원하는 정보를 추출하기 위한 정보 파악은 된 거 같다.

파이썬 코드 및 pip 인스톨 사항

파이썬에서 기본적으로 내장된 함수가 아니기 때문에 pip 인스톨을 해준 후에 해당 라이브러리를  import 해준다.

find(복수는 find_all)와 select(한 개 찾을때에는 select_one) 를 이용한 방법으로 나눌 수 있다.

링크는 <a href = '주소'> 누르면 다운</a> 이런 형태로 되어있다.

soup.select('a')[0]['href'] 이런 식으로 한정한 이후 [속성명] 을 넣어주면 속성 값을 가져올 수 있다.

# 링크 주소를 가져올때(첫 번째 꺼 하나만)

select('a')[0]['href']

SELECT 설명

select(), select_one() 설명

실행 결과

페이지를 파싱처리 하다보면 iframe을 사용한 코드를 만날 수 있다.

<iframe src="삽입할페이지주소" width="너비" height="높이"></iframe>

아래 코드는 네이버 증권 정보를 파싱처리하는 코드 예시다.

파이썬 강의를 듣고 그대로 따라 적어본 코드이다.

경로명은 C:/ 로 하니까 퍼미션 에러가 발생해서 User 폴더로 지정했다.

파이썬에서 MariaDB를 연결하고 데이터를 읽어오는 방법이다.

1. MariaDB 연동을 위한 설치

   pip install mariadb

2. Connecting to MariaDB Server

   DB 연결을 위해서 CentOS 7 을 설치하고 MariaDB를 설치했다.

   android_sample DB를 생성하고 테스트를 위한 테이블을 생성했다.

와 같이 연결하면 된다.

3. 실제 연결 샘플

   - mariaDB : 192.168.1.20 에서 3306 포트 사용

   - 접속환경 : IPTIME 공유기를 사용하고 있고 192.168.1.X 의 C class IP 주소를 사용

192.168.1.25 주소에서 접속하는 걸 허용하지 않는다는 메시지가 나온다.

mariadb에 접속하여 아래와 같이 사용자를 추가해주면 정상 접속된다.

전체 연결 코드

참고 사이트

https://mariadb.com/resources/blog/how-to-connect-python-programs-to-mariadb/

https://mariadb.com/docs/clients/connector-python/

파일

- 텍스트 파일 : 텍스트 에디터로 열 수 있음

- 바이너리 파일 : 이미지, 동영상, 워드, 엑셀, PDF

file = open(filename,mode)

- mode : r, w, a

- r(read), w(write), a(append)

file = open("test.txt","w", encoding='utf-8')
file.write("안녕하세요")
file.close()

csv 파일 읽어오기를 다음 코드와 같이 실행했더니 에러가 발생한다.

import csv

# 예제1
with open('./resource/sample1.csv', 'r') as f:
    reader = csv.reader(f)
    # 확인
    print(reader)
    print(type(reader))
    print(dir(reader))  # __iter__ 확인

    for c in reader:
        print(c)

Exception has occurred: UnicodeDecodeError

'utf-8' codec can't decode byte 0xb9 in position 0: invalid start byte

읽어온 파일 인코딩 모드가 UTF-8 이 아니라서 생긴 현상이다.

그래서 코드를 다음과 같이 수정했더니 정상적으로 읽어온다.

import csv

# 예제1
with open('./resource/sample1.csv', 'r', encoding='euc-kr') as f:
    reader = csv.reader(f)
    # next(reader) Header 스킵
    # 확인
    print(reader)
    print(type(reader))
    print(dir(reader))  # __iter__ 확인
    
    for c in reader:
        print(c)

파일을 읽어올 때 csv 에서 c의 의미는 comma 이다.

만약 읽어온 파일에서 구분자가 | 로 되어 있다면 어떻게 해야 할까?

delimiter 로 구분자를 명시해주면 된다.

import csv

# 예제1
with open('./resource/sample2.csv', 'r') as f:
    reader = csv.reader(f, delimiter='|')
    for c in reader:
        print(c)

mac 환경에서 pip install pandas 한 사항을 적어둔다.

윈도우 환경에서 설정한 그림이다.

def plus_ten(x):

return x + 10

print(plus_ten(2))

람다 표현식은 이름이 없는 함수이기 때문에 람다 표현식을 익명 함수(anonymous function)로 부르기도 한다.

plus_lambda = lambda x : x + 10

print(plus_lambda(2))

람다 표현식은 변수에 할당하지 않고 람다 표현식 자체를 바로 호출할 수 있다. 다음과 같이 람다 표현식을 ( )(괄호)로 묶은 뒤에 다시 ( )를 붙이고 인수를 넣어서 호출하면 된다.

print((lambda x: x + 10)(2))

가상환경을 사용하는 이유

당연히 파이썬 패키지(라이브러리) 간 의존성 때문에 쓰는 거다. 특정 패키지 버전을 업데이트 할 때 다른 것들이 호환되지 않아 문제가 생기는 경우가 발생한다.

cd /Users/jsk005/Documents

python3 -m venv 가상환경이름

python3 -m venv python_basic

cd bin

source ./activate

해제시키려면 deactivate

이제 이 가상환경에서 code 를 입력하면 vscode  가 자동 실행된다.

자동실행되지 않으면 PATH 설정이 안된 것이므로 PATH를 추가해준다.

vscode 에서 view --> command palette --> shell 입력하면...

윈도우 환경에서 가상환경 만들기