這是一個爬蟲—爬取天眼查網站的企業(yè)信息

xeblog 發(fā)布于2019-07-31 10:05 / 2060人閱讀

摘要：爬蟲簡介這是一個在未登錄的情況下，根據(jù)企業(yè)名稱搜索，爬取企業(yè)頁面數(shù)據(jù)的采集程序注意這是一個比較簡單的爬蟲，基本上只用到了代理，沒有用到其他的反反爬技術，不過由于爬取的數(shù)據(jù)比較多，適合刷解析技能的熟練度，所以高手勿進代碼已經上傳到上，有用還請

爬蟲簡介

這是一個在未登錄的情況下，根據(jù)企業(yè)名稱搜索，爬取企業(yè)頁面數(shù)據(jù)的采集程序

注意: 這是一個比較簡單的爬蟲，基本上只用到了代理，沒有用到其他的反反爬技術，不過由于爬取的數(shù)據(jù)比較多，適合刷解析技能的熟練度，所以高手勿進

代碼已經上傳到GitHub上，有用還請給個星

python版本：python2.7

編碼工具：pycharm

數(shù)據(jù)存儲：mysql

爬蟲結構：廣度爬蟲

爬蟲思路：

先獲取需要采集信息的公司：

從數(shù)據(jù)庫中獲取

獲取字段：etid，etname

將獲取的數(shù)據(jù)存儲的狀態(tài)表中

從狀態(tài)表中獲取數(shù)據(jù)，并更新狀態(tài)表

拼接初始URL：

將etname和初始url進行拼接，獲得初始網址

將初始url放到一個列表中，獲取HTML的時候如何出錯，將出錯的url放到另一個列表中，進行循環(huán)獲取

請求解析初始一級頁面：

驗證查詢的公司是否正確（？？）

獲取二級頁面url

將二級url放到一個列表中，獲取HTML的時候如何出錯，將出錯的url放到另一個列表中，進行循環(huán)獲取

請求解析二級頁面：

獲取的信息待定

將公司的信息存儲到數(shù)據(jù)庫中：

建表

存儲信息

所建的表：

企業(yè)主要信息： et_host_info

工商信息： et_busi_info

分支機構信息： et_branch_office

軟件著作權信息： et_container_copyright_info

網站備案信息： et_conrainer_icp_info

對外投資信息： et_foreign_investment_info

融資信息： et_rongzi_info

股東信息： et_stareholder_info

商標信息： et_trademark_info

微信公眾號信息：et_wechat_list_info

狀態(tài)表： et_name_status

看一下部分的結果圖：

GPU云服務器云服務器天眼查這是一個這是一個登錄操作怎么查一個網站是否用cdn加速

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉載請注明本文地址：http://m.hztianpu.com/yun/43220.html

基于Python爬取天眼查網站的企業(yè)信息

摘要：爬蟲簡介這是一個在未登錄的情況下，根據(jù)企業(yè)名稱搜索，爬取企業(yè)頁面數(shù)據(jù)的采集程序注意這是一個比較簡單的爬蟲，基本上只用到了代理，沒有用到其他的反反爬技術，不過由于爬取的數(shù)據(jù)比較多，適合刷解析技能的熟練度，所以高手勿進代碼已經上傳到上，有用還請爬蟲簡介 showImg(https://segmentfault.com/img/remote/1460000018233494?w=1088&...

waltr 2019-07-31 10:13 評論0 收藏0
Python 爬蟲數(shù)據(jù)寫入csv文件中文亂碼解決以及天眼查爬蟲數(shù)據(jù)寫入csv

摘要：爬蟲數(shù)據(jù)寫入文件中文亂碼，用在中打開文件沒有問題，但是用打開卻出現(xiàn)了問題，以下為解決方法。 python爬蟲數(shù)據(jù)寫入csv文件中文亂碼，用’utf-8‘在pycharm中打開文件沒有問題，但是用excel打開卻出現(xiàn)了問題，以下為解決方法。（最近在練習爬蟲，這個博文是對自己學習的記錄和分享，...

zone 2021-09-22 10:02 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現(xiàn)在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
簡歷大數(shù)據(jù)公司全員被抓，HR要注意什么？

摘要：日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。買賣簡歷，直接違法。三人累計販賣個人簡歷萬余份，智聯(lián)招聘由此蒙受損失近日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。到底發(fā)生了什么？ ?一、為什么公司全員被抓？ 3月14日團隊被警方帶走，有HR等非核心成員回家，但核心高管依然失聯(lián)中。3月25日，一位巧達科技前員工告訴燃財經。在天眼查中北京...

Loong_T 2019-04-25 18:46 評論0 收藏0
簡歷大數(shù)據(jù)公司全員被抓，HR要注意什么？

摘要：日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。買賣簡歷，直接違法。三人累計販賣個人簡歷萬余份，智聯(lián)招聘由此蒙受損失近日前，簡歷大數(shù)據(jù)公司巧達科技被警方一鍋端，高管和員工全部被帶走。到底發(fā)生了什么？?一、為什么公司全員被抓？3月14日團隊被警方帶走，有HR等非核心成員回家，但核心高管依然失...

邱勇 2019-04-25 16:21 評論0 收藏0