[Python] 파이썬 requests 모듈을 이용한 웹 페이지 소스 받아오기

| Computer Programming/Python

2016. 6. 22. 15:38

안녕하세요.

파이썬 코어 프로그래밍 교육 중 유용하게 쓰일 수 있는 내용이 있어 공유합니다.

오늘 수업에서 사용한 모듈은 requests 모듈 입니다.

웹 페이지 (html)의 내용을 손쉽게 받아올 수 있는 모듈입니다.

1. 모듈 설치

requests 모듈은 파이썬 기본 라이브러리가 아닙니다.

따로 설치를 해주셔야 합니다.

requests 모듈의 git 허브 (https://github.com/kennethreitz/requests/) 에 가셔서 requests 모듈을 설치해주시면 됩니다.

아래 동영상을 참고해 주셔도 됩니다.

PyCharm을 사용하신다면 'File -> Settings -> Project: Python -> Project Interpreter' 에서 'requests' 패키지 추가 (+ 버튼)를 누르시고, 패키지를 찾아서 설치할 수도 있습니다.

2. requests 모듈의 get(url) 메소드

requests 모듈의 get 메소드를 사용하면 웹 페이지 (html)의 내용을 쉽게 가져올 수 있습니다.

해당 페이지가 유효하고, 접속이 가능하다면 해당 페이지의 html 소스를 받아옵니다.

사용 방식은 get(url)로 이용하시면 됩니다. (url은 string)

get 메소드의 return 값은 성공, 실패 여부와, 해당 페이지으 소스 입니다.

해당 페이지의 소스는 return 값에 '.text'를 이용하시면 됩니다.

예시 코드)

import request

url = 'http://www.google.com'

recvd = requests.get(url)

print(recvd)

print(recvd.text)

결과 )

<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="ko"><head><meta content="text/html; charset=UTF-8" http-equiv="Content-Type"><meta content="/images/branding/googleg/1x/googleg_standard_color_128dp.png" itemprop="image"><title>Google</title><script>(function(){window.google={kEI:'4DFqV4HuBIyg0gTu_J6gDA',kEXPI:'1350756,1351021,3700340,3700389,4029815,4031109,4032677,4036509,4036527,4038012,4039268,4043492,4045342,4045841,4048347,4052304,4054513,4055233,4056034,4057739,4061155,4062333,4062972,4063158,4063879,4064096,4064133,4064904,4064931,4065406,4065675,4065767,4065779,4065786,4065794,4066102,4066654,4066655,4066965,4066973,4067274,4067383,4067518,4067846,4067867,4067924,4067968,4068002,4068020,4068196,4068550,4068850,4068864,4069404,4069776,4069834,4069839,4069841,4069882,4069961,4070140,8300095,8300273,8502095,8502183,8502349,8503585,8504350,8504907,8504931,8505158,8505164,8505166,8505439,8505516,8505651,10200083,10201288,16200038',authuser:0,kscs:'c9c918f0_24'};google.kHL='ko';})();(function(){google.lc=[];google.li=0;google.getEI=function(a){for(var b;a&&(!a.getAttribute||!(b=a.getAttribute("eid")));)a=a.parentNode;return b||google.kEI};google.getLEI=function(a){for(var b=null;a&&(!a.getAttribute||!(b=a.getAttribute("leid")));)a=a.parentNode;return b};google.https=function(){return"https:"==window.location.protocol};google.ml=function(){return null};google.wl=function(a,b){try{google.ml(Error(a),!1,b)}catch(c){}};google.time=function(){return(new Date).getTime()};google.log=function(a,b,c,e,g){a=google.logUrl(a,b,c,e,g);if(""!=a){b=new Image;var d=google.lc,f=google.li;d[f]=b;b.onerror=b.onload=b.onabort=function(){delete d[f]};window.google&&window.google.vel&&window.google.vel.lu&&window.google.vel.lu(a);b.src=a;google.li=f+1}};google.logUrl=function(a,b,c,e,g){var d="",f=google.ls||"";if(!c&&-1==b.search("&ei=")){var h=google.getEI(e),d="&ei="+h;-1==b.search("&lei=")&&((e=google.getLEI(e))?d+="&lei="+e:h!=google.kEI&&(d+="&lei="+google.kEI))}a=c||"/"+(g||"gen_204")+"?atyp=i&ct="+a+"&cad="+b+d+f+"&zx="+google.time();/^http:/i.test(a)&&google.https()&&(google.ml(Error("a"),!1,{src:a,glmm:1}),a="");return a};google.y={};google.x=function(a,b){google.y[a.id]=[a,b];return!1};google.load=function(a,b,c){google.x({id:a+k++},function(){google.load(a,b,c)})};var k=0;})();var _gjwl=location;function _gjuc(){var a=_gjwl.href.indexOf("#");if(0<=a&&(a=_gjwl.href.substring(a),0<a.indexOf("&q=")||0<=a.indexOf("#q="))&&(a=a.substring(1),-1==a.indexOf("#"))){for(var d=0;d<a.length;){var b=d;"&"==a.charAt(b)&&++b;var c=a.indexOf("&",b);-1==c&&(c=a.length);b=a.substring(b,c);if(0==b.indexOf("fp="))a=a.substring(0,d)+a.substring(c,a.length),c=d;else if("cad=h"==b)return 0;d=c}_gjwl.href="/search?"+a+"&cad=h";return 1}return 0}

</style><style>body,td,a,p,.h{font-family:굴림,돋움,arial,sans-serif}.ko{font-size:9pt}body{margin:0;overflow-y:scroll}#gog{padding:3px 8px 0}td{line-height:.8em}.gac_m td{line-height:17px}form{margin-bottom:20px}.h{color:#36c}.q{color:#00c}.ts td{padding:0}.ts{border-collapse:collapse}em{font-weight:bold;font-style:normal}.lst{height:25px;width:496px}.gsfi,.lst{font:18px arial,sans-serif}.gsfs{font:17px arial,sans-serif}.ds{display:inline-box;display:inline-block;margin:3px 0 4px;margin-left:4px}input{font-family:inherit}a.gb1,a.gb2,a.gb3,a.gb4{color:#11c !important}body{background:#fff;color:black}a{color:#11c;text-decoration:none}a:hover,a:active{text-decoration:underline}.fl a{color:#36c}a:visited{color:#551a8b}a.gb1,a.gb4{text-decoration:underline}a.gb3:hover{text-decoration:none}#ghead a.gb2:hover{color:#fff !important}.sblc{padding-top:5px}.sblc a{display:block;margin:2px 0;margin-left:13px;font-size:11px}.lsbb{background:#eee;border:solid 1px;border-color:#ccc #999 #999 #ccc;height:30px}.lsbb{display:block}.ftl,#fll a{display:inline-block;margin:0 12px}.lsb{background:url(/images/nav_logo229.png) 0 -261px repeat-x;border:none;color:#000;cursor:pointer;height:30px;margin:0;outline:0;font:15px arial,sans-serif;vertical-align:top}.lsb:active{background:#ccc}.lst:focus{outline:none}.tiah{width:458px}</style><script></script><link href="/images/branding/product/ico/googleg_lodp.ico" rel="shortcut icon"></head><body bgcolor="#fff"><script>(function(){var src='/images/nav_logo229.png';var iesg=false;document.body.onload = function(){window.n && window.n();if (document.images){new Image().src=src;}

... 중략

저작자표시 비영리 변경금지

'Computer Programming > Python' 카테고리의 다른 글

[Python] 우분투에서 파이썬 2.7 IDLE 설치 (0)	2016.08.11
[Python] 파이썬 for-else 문 (2)	2016.06.23
[Python] PyCharm (파이참) 한글 인코딩 관련 에러 해결법 (0)	2016.06.21
[Python] 파이썬 문자열 관련 메소드 (0)	2016.06.21
[Python] 파이썬 개발 툴 PyCharm (파이참) 다운로드, 설치 방법 - 윈도우, 우분투(리눅스) (학생 무료 사용) (0)	2016.06.20

Posted by 해리팍

트랙백 : 댓글

Park's Life

[Python] 파이썬 requests 모듈을 이용한 웹 페이지 소스 받아오기

'Computer Programming > Python' 카테고리의 다른 글

카테고리

링크

최근에 올라온 글

최근에 달린 댓글

달력

티스토리툴바