Python2.7Scrapy 프레임워크 설치 단계 튜토리얼

졸업 프로젝트 요구 사항에 따라 웹사이트에서 대량의 데이터를 수집해야 했기 때문에, Scrapy 프레임워크를 사용하면 이 과정을 매우 간편하게 만들 수 있습니다. 결국 Scrapy는 웹사이트 데이터를 캡처하고 구조화된 데이터를 추출하기 위해 작성된 애플리케이션 프레임워크입니다. 그래서 Scrapy 프레임워크 설치 여정이 시작되었습니다. 이 과정은 매우 즐거운 것이 아니었습니다. 여러 가지 오류들이 발생했지만, 결국 Scrapy 프레임워크를 설치에 성공했습니다. Scrapy 프레임워크 설치에 대한 요약을 아래에 적어놓겠습니다.

1.python 설치2.7

Scrapy가 Python3.0을 다시 설치했습니다. 그래서 Python을 제거했습니다.3.0을 다시 설치했습니다.2.7(python2.7설치 패키지), Python을 설치할 때2.7에서는 자동으로 환경 변수를 설정하는 옵션이 있습니다. 이 옵션을 선택하면 나중에 환경 변수를 추가할 필요가 없습니다. 나중에 우리는 실제로 설치한 경로에 따라 시스템 환경 변수 path에 이 두 문장을 추가하면 됩니다.

환경을 구성한 후, 우리가 설치 및 구성이 성공적이었는지 테스트해야 합니다. cmd에서 python –version을 입력하면 올바른 python 버전이 표시되면 됩니다. 표시되지 않으면 cmd를 다시 시작해 보세요.

2.pywin 설치32

python을 설치하고 구성한 후2.7이후에 Scrapy를 직접 설치할 수 없기 때문에, Scrapy가 필요한 몇 가지 도구를 먼저 설치해야 합니다. 다음으로 pywin32（pywin32설치 패키지를 설치할 때는 계속 next를 누르면 됩니다.

3.pip 설치

pip은 일반적으로 편리한 온라인 소프트웨어 설치 도구로, easy install과 유사합니다. 지금 pip을 설치하면 앞으로의 소프트웨어 설치에서 pip install 명령어를 사용할 수 있습니다. 먼저 get-pip.py(get-pip.py 파일) 다운로드가 완료되면 cmd에서 설치합니다. 먼저 파일이 있는 디렉토리로 이동한 후 python get-pip.py 명령어를 입력하면 설치할 수 있습니다. 그러나 가장 어려운 문제가 발생했습니다. 이 파일은 일부 설정 파일을 자동으로 우리의 C 드라이브 사용자 파일 디렉토리에 쓰기 때문에, 사용자 디렉토리가 중국어이므로 인코딩 이상이 발생합니다.

데이터를 찾아보다가 문제를 해결했습니다. 중국어 경로 문제를 해결하기 위해 D:\python27\Lib\site-packages 디렉토리 아래에 이름을 지정한 새로운 디렉토리를 만듭니다：
sitecustomize.py 파일이면 됩니다.

그런 다음 파일 내에 다음 코드를 입력하세요：

import sys
reload(sys)
sys.setdefaultencoding('gbk')

물론 반드시 gbk 인코딩으로 설정할 필요는 없습니다. 이는 개인 컴퓨터의 인코딩에 따라 설정합니다. 이렇게 하면 우리의 중국어 경로 문제가 해결되었으며, cmd를 재시작하고 pip 설치 명령어를 실행한 후 pip이 원활하게 완료되었습니다. 설치가 완료되면 검사를 할 수 있습니다. cmd에서 pip –version을 입력하면, 올바른 버전 번호가 표시되면 올바르다는 것을 의미합니다.

4. lxml 설치

pip 설치가 완료된 후, pip install lxml 명령어를 사용하여 쉽게 lxml를 설치할 수 있을 것이라고 생각했지만, 예상치 못한 일이 발생했습니다. pip을 사용하려면 vc가 필요하다는 것을 알게 되었으며, 관련 법적 책임을 부담하지 않습니다.2008환경이 필요하며, 그리고 단순히2008의2013이렇게 되면, 우리는 pip install lxml 명령어를 사용하여 쉽게 lxml를 설치할 수 있습니다. 그러나 예상치 못한 일이 발생했습니다. pip을 사용하려면 vc가 필요하다는 것을 알게 되었으며, 결국도우미를 찾아내어, 마침내 해결책을 찾았습니다. 마이크로소프트는 우리에게 VcForPython(VCForPython 설치 패키지)을 제공했기 때문에 VC를 설치할 필요가 없습니다.2008그런 다음, pip install lxml를 사용하여 설치할 수 있습니다.

5. pyOpenSSL 설치

이 도구를 설치하는 동안 pip install pyOpenSSL 문장을 사용하여 설치할 수 있습니다. 설치 속도는 인터넷 속도에 따릅니다.

6. Scrapy 설치

최종적으로 많은 어려움을 겪은 후에, 우리는 Scrapy 프레임워크를 설치할 수 있게 되었습니다. cmd에서 pip install Scrapy 명령어를 입력한 후, 성공의 기쁨을 즐길 수 있습니다. 설치가 완료된 후, cmd에서 Scrapy를 입력하여 설치가 정말로 성공적으로 완료되었는지 확인할 수 있습니다.

최종적으로 설치가 완료되었고, 조금의 성취감을 느낍니다.

이것이 본 문서의 전부입니다. 여러분의 학습에 도움이 되길 바랍니다. 또한, 외침 튜토리얼을 많이 지지해 주세요.

언급: 본 내용은 인터넷에서 가져왔으며, 저작권자가 소유하고 있으며, 인터넷 사용자가 자발적으로 기여하고 업로드한 내용입니다. 본 웹사이트는 소유권을 가지고 있지 않으며, 인공 편집을하지 않았으며, 관련 법적 책임을 부담하지 않습니다. 저작권 위반이 의심되는 내용이 있으면 notice#w로 이메일을 보내 주세요.3codebox.com에 이메일을 보내서 신고해 주세요. (#을 @으로 바꾸세요.) 관련 증거를 제공하면, 해당 내용이 실제로 저작권 위반인지 확인되면 즉시 해당 내용을 삭제합니다.