Python2.7Pasos para instalar el framework Scrapy (guía de instalación)

Debido a los requisitos del proyecto de graduación, es necesario capturar una gran cantidad de datos en el sitio web, por lo que el uso del framework Scrapy puede simplificar este proceso bastante, después de todo, Scrapy es un framework de aplicación escrito para extraer datos del sitio web y extraer datos estructurales. Por lo tanto, comenzó mi viaje de instalación del framework Scrapy. Se puede decir que este proceso no fue muy agradable, con varios errores y varios problemas, pero finalmente, se instaló el framework Scrapy. A continuación, resumo mi instalación del framework Scrapy.

1.Instalar python2.7

Debido a que Scrapy no admite Python3.0, luego desinstalé Python3.0, luego volví a instalar Python2.7(python2.7paquete), al instalar Python2.7En el momento, habrá una opción de configuración automática de variables de entorno, se recomienda marcar esta opción aquí para ahorrar tiempo en la adición de variables de entorno en el futuro. Más tarde, cuando adicione variables de entorno por su cuenta, solo necesita agregar estas dos sentencias en la variable de entorno path del sistema según la ruta de instalación real.

Después de configurar el entorno, comprobemos si hemos instalado y configurado correctamente el entorno. Simplemente ingrese python –version en cmd y luego se mostrará la versión correcta de python. Si no se muestra, intente reiniciar cmd.

2.Instalar pywin32

Después de instalar y configurar python2.7Después de eso, aún no podemos instalar Scrapy directamente, primero necesitamos instalar algunas herramientas dependientes de Scrapy. A continuación, instale pywin32(pywin32paquete), al instalar este software, siempre se puede hacer clic en siguiente.

3.Instalar pip

pip es en realidad una herramienta de instalación de software en línea bastante conveniente, similar a easy install, ahora estamos instalando pip, y en el futuro podremos usar el comando pip install en la instalación de software. Primero, debemos descargar get-pip.py(get-el archivo pip.py) Después de que se complete la descarga, instalemos en cmd, primero cambie al directorio del archivo y luego ingrese python get-la sentencia pip.py, se puede instalar, pero apareció el problema más molesto, ya que este archivo escribirá automáticamente algunos archivos de configuración en la carpeta de archivos del usuario de nuestro disco C, y mi carpeta de usuario es de nombre chino, lo que causará una excepción de encoding.

Después de buscar un poco de información, finalmente resolví el problema, para resolver el problema de la ruta de caracteres chinos, solo necesitamos en D:\python27\Lib\site-En el directorio packages, cree un archivo llamado
el archivo sitecustomize.py.

Luego, ingrese el siguiente código en el archivo:

import sys
reload(sys)
sys.setdefaultencoding('gbk')

Claro, no es necesario necesariamente establecer el código de encoding gbk, esto depende de la encoding de su computadora. De esta manera, hemos resuelto el problema de la ruta de caracteres chinos, y después de reiniciar cmd y ejecutar la sentencia de instalación de pip, pip se ha completado sin problemas. Después de la instalación, podemos hacer una comprobación, escribiendo pip –version en cmd, si muestra el número de versión correcto, significa que está correcto.

4.Instalación de lxml

Después de completar la instalación de pip, pensé que podría usar con facilidad el comando pip install lxml para instalar, pero algo inesperado sucedió, ya que el uso de pip requiere vc2008entorno, y solo puede ser2008de2013No funciona. No hay otra opción más que recurrir a la Dama de los Conocimientos, finalmente encontramos la solución, Microsoft nos ha proporcionado VcForPython (paquete de instalación de VcForPython), de esta manera no necesitamos instalar VC2008Luego, podemos usar pip install lxml para instalar.

5.Instalación de pyOpenSSL

Mientras instalamos esta herramienta, podemos usar la sentencia pip install pyOpenSSL para instalarla. La velocidad de instalación depende de la velocidad de la conexión a internet.

6.Instalación de Scrapy

Después de haber pasado por una serie de dificultades, finalmente podemos instalar el marco Scrapy. Después de ingresar el comando pip install Scrapy en cmd, podemos esperar disfrutar de la alegría del éxito. Después de que se complete la instalación, ingresemos Scrapy en cmd para verificar si se ha instalado correctamente.

Finalmente se ha instalado, siento un poco de sensación de logro.

Eso es todo el contenido de este artículo, espero que sea útil para su aprendizaje y que todos nos apoyen y aplaudamos el tutorial.

Declaración: El contenido de este artículo se ha obtenido de la red, pertenece al propietario original, el contenido se ha contribuido y subido por los usuarios de Internet, este sitio no posee los derechos de propiedad, no ha sido editado por humanos y no asume ninguna responsabilidad legal relacionada. Si encuentra contenido sospechoso de infracción de derechos de autor, le invitamos a enviar un correo electrónico a: notice#oldtoolbag.com (al enviar un correo electrónico, reemplace # con @ para denunciar y proporcione evidencia. Una vez confirmado, este sitio eliminará inmediatamente el contenido sospechoso de infracción de derechos de autor.)