파이썬_데이터_크롤링_위키피디아(wikipedia)

python3에서는 'wikipedia' 라이브러리를 제공하고 있습니다.

(문서1. https://pypi.org/project/wikipedia/

 문서2. https://pypi.org/project/Wikipedia-API/)

사용방법은 다음과 같습니다.

1. wikipedia 라이브러리를 설치합니다.

(cmd -> pip install wikipedia-api)

2. 코드 작성

2.1 라이브러리 호출 

2.2 접속할 wikipedia 설정

2.3 페이지 존재여부 확인

2.4 데이터 결과 확인 

2.5 데이터 내리기(다운로드)

위의 순서대로 진행해보도록 하겠습니다.

2.1 라이브러리 호출

import wikipediaapi #사용할 api 호출

2.2 접속할 wikipedia 설정

wiki=wikipediaapi.Wikipedia('ko') #한국 wikipedia 사이트로 접속하도록 셋팅하기

2.3 페이지 존재여부 확인

page_py = wiki.page('파이썬')
print("Page - Exists: %s" % page_py.exists())

검색결과가 있는 경우에는 다음과 같은 결과를 출력합니다.

검색결과가 없는 경우에는 다음과 같은 결과를 출력합니다.

2.4 데이터 결과 확인

print("Page - Title: %s" % page_py.title)

print("Page - Summary: %s" % page_py.summary[0:100])

이번에는 전체 내용을 출력해보겠습니다.

wiki = wikipediaapi.Wikipedia(
        language='ko',
        extract_format=wikipediaapi.ExtractFormat.WIKI)

p_wiki = wiki.page("파이썬")
print(p_wiki.text)

중간에 파날랑ㅈ영리 오타가 눈에 띄는군요.

2.5 데이터 내리기(다운로드)

with open("파이썬.txt", "w") as f:
    f.write(p_wiki.text)

파이썬이라는 파일이 생성되었고 검색결과가 저장되었음을 확인할 수 있습니다.