博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
在ubuntu 16.04里使用python—scrapy将爬取到的数据存到mysql数据库中的一些随笔
阅读量:5318 次
发布时间:2019-06-14

本文共 996 字,大约阅读时间需要 3 分钟。

一、将爬取的数据保存到mysql数据库的代码(已经能将爬取的数据保存到json文件)

  (1)编辑Pipeline.py文件

    

  (2)编辑settings.py文件

    

    

二、将数据保存至mysql数据库出现的问题

  (1)在将数据存储至数据库的时候,一直报1366的错,经查资料,发现是数据编码的问题,在博客里找了好几个解决方法,比较好的记录下:

      1. 首先停掉mysql服务,编辑配置文件my.cnf

      sudo stop mysql

      sudo vim/etc/mysql.cnf

      添加:

      

     2. 重启服务

      sudo start mysql

      sudo mysql -u root -p

      use root

      show variables like '%char%';#更改前存在的用户字符集不会改变,以后新建的用户字符集都会变成utf8,重新在数据库里建字段

      本段借鉴https://my.oschina.net/sldk/blog/266268

  (2)在进行爬取保存的时候,存的数据不完全,经检查后发现在爬取的数据里有空数据,所以在爬取的时候应做非空处理

三、导出数据库(以FP为例)(我使用的是root用户)

  (1)导出数据和表结构

    使用mysqldump命令,导出sql脚本(如果不指定导出路径,默认导出至当前路径)

    格式:mysqldump -u 用户名 -p (密码) 数据库名 > 数据库名.sql

       mysqldump -u root -p FP > FP.sql

       回车后提示输入密码

   (2)只导出表结构

    格式:mysqldump -u 用户名 -p (密码) -d 数据库名 > 数据库名.sql

       mysqldump -u root -p -d FP > FP.sql

二、导入数据库

  导入和导出我学习了这位仁兄的博客

  https://my.oschina.net/linuxphp/blog/693650

  

转载于:https://www.cnblogs.com/songxiangyangKing/p/8682906.html

你可能感兴趣的文章
2018-2019-2 20165314『网络对抗技术』Exp5:MSF基础应用
查看>>
SecureCRT的使用方法和技巧(详细使用教程)
查看>>
自建数据源(RSO2)、及数据源增强
查看>>
2018icpc徐州OnlineA Hard to prepare
查看>>
使用命令创建数据库和表
查看>>
linux下Rtree的安装
查看>>
PHP魔术方法之__call与__callStatic方法
查看>>
【模板】对拍程序
查看>>
【转】redo与undo
查看>>
Django 模型层
查看>>
dedecms讲解-arc.listview.class.php分析,列表页展示
查看>>
安卓当中的线程和每秒刷一次
查看>>
wpf样式绑定 行为绑定 事件关联 路由事件实例
查看>>
TCL:表格(xls)中写入数据
查看>>
Oracle事务
查看>>
String类中的equals方法总结(转载)
查看>>
标识符
查看>>
给大家分享一张CSS选择器优选级图谱 !
查看>>
Node.js 入门:Express + Mongoose 基础使用
查看>>
一步步教你轻松学奇异值分解SVD降维算法
查看>>