成人无码视频,亚洲精品久久久久av无码,午夜精品久久久久久毛片,亚洲 中文字幕 日韩 无码

資訊專(zhuān)欄INFORMATION COLUMN

如何使用python抓取issues.apache.org上的bug列表

jerryloveemily / 928人閱讀

摘要：?jiǎn)栴}描述開(kāi)源在的項(xiàng)目中，通常我們會(huì)關(guān)心我們開(kāi)源的項(xiàng)目中每天的數(shù)量最新的條問(wèn)題，統(tǒng)計(jì)各模塊的數(shù)量，按照人名統(tǒng)計(jì)等工作。于是我想到用一個(gè)腳本每天定時(shí)運(yùn)行來(lái)解決數(shù)據(jù)的問(wèn)題。

問(wèn)題描述 
開(kāi)源在Apache的項(xiàng)目中，通常我們會(huì)關(guān)心我們開(kāi)源的項(xiàng)目中每天bug的數(shù)量、最新的10條問(wèn)題，統(tǒng)計(jì)各模塊的bug數(shù)量，按照人名統(tǒng)計(jì)等工作。但這些數(shù)據(jù)都在apache網(wǎng)站上，存在兩個(gè)問(wèn)題，一個(gè)是國(guó)內(nèi)平常訪問(wèn)Apache如果不走代理就會(huì)比較慢；二是數(shù)據(jù)沒(méi)辦法供內(nèi)部系統(tǒng)使用。
于是我想到用一個(gè)腳本每天定時(shí)運(yùn)行來(lái)解決數(shù)據(jù)的問(wèn)題。通過(guò)腳本從Apache上把數(shù)據(jù)拉下來(lái)存儲(chǔ)在自己內(nèi)部數(shù)據(jù)庫(kù)中，基于本地?cái)?shù)據(jù)庫(kù)運(yùn)行的內(nèi)部系統(tǒng)可以完成各種圖表展示和數(shù)據(jù)統(tǒng)計(jì)的工作，這樣即提高了數(shù)據(jù)訪問(wèn)的效率，也可以很好的和內(nèi)部系統(tǒng)結(jié)合完成自動(dòng)化的問(wèn)題跟蹤和解決。同時(shí)還可以將外部系統(tǒng)和內(nèi)部bug跟蹤系統(tǒng)進(jìn)行對(duì)比，將重復(fù)的問(wèn)題自動(dòng)化的補(bǔ)充答案。等等，優(yōu)點(diǎn)多多。


歡迎大家打開(kāi)腦洞提出更多的方案！
1.使用說(shuō)明
腳本依賴(lài):

此腳本依賴(lài)于requests,各位點(diǎn)擊連接自取，安裝requests可能會(huì)依賴(lài)于pip，大家可以把python升級(jí)到2.7以上安裝pip，2.7以下用網(wǎng)上教程會(huì)報(bào)錯(cuò)。

腳本使用說(shuō)明:

python SCRIPT_NAME FILE_NAME
SCRIPT_NAME:下面這段代碼所在的文件名
FILE_NAME: 將數(shù)據(jù)導(dǎo)入到的目標(biāo)文件名，后綴默認(rèn)為csv

示例:

python jira.py ~/dataFile

2.分享完整代碼

打開(kāi)python的文件jira.py，內(nèi)容如下：

import requests
import sys
reload(sys)
##設(shè)置系統(tǒng)編碼，如果不是utf-8會(huì)有錯(cuò)誤
sys.setdefaultencoding("utf-8")

dataFileName=sys.argv[1]
jiraFileName=dataFileName+".csv"
print "Load from JIRA -------------------"
##load from JIRA
url = "https://issues.apache.org/jira/sr/jira.issueviews:searchrequest-csv-all-fields/temp/SearchRequest.csv?jqlQuery=project+%3D+TRAFODION+AND+resolution+%3D+Unresolved+ORDER+BY+priority+DESC%2C+updated+DESC"
r = requests.get(url)
with open(jiraFileName, "w") as f:
    f.write(r.text)
3.遇到的問(wèn)題總結(jié) 
1)操作系統(tǒng)中最初用的是python2.6的環(huán)境，結(jié)果安裝pip一直報(bào)錯(cuò)，先是報(bào)沒(méi)有權(quán)限，這個(gè)只要用sudo可以解決；接下來(lái)是報(bào)一些語(yǔ)法錯(cuò)誤,如下圖：
2)系統(tǒng)編碼問(wèn)題，不設(shè)置sys.setdefaultencoding("utf-8")，python腳本就會(huì)暴出編碼問(wèn)題。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.hztianpu.com/yun/42319.html

相關(guān)文章

  • 如何用Python抓抖音上的小姐姐

    摘要：比如分鐘破譯朋友圈測(cè)試小游戲文章里用的方法但有些根本就沒(méi)有提供網(wǎng)頁(yè)端，比如今年火得不行的抖音。所以常用的方式就是通過(guò)在電腦上裝一些抓包軟件，將手機(jī)上的網(wǎng)絡(luò)請(qǐng)求全部顯示出來(lái)?？偨Y(jié)下，重點(diǎn)是的抓取，關(guān)鍵是配置代理證書(shū)，難點(diǎn)是對(duì)請(qǐng)求的分析。 爬蟲(chóng)的案例我們已講得太多。不過(guò)幾乎都是 網(wǎng)頁(yè)爬蟲(chóng) 。即使有些手機(jī)才能訪問(wèn)的網(wǎng)站，我們也可以通過(guò) Chrome 開(kāi)發(fā)者工具 的 手機(jī)模擬 功能來(lái)訪問(wèn)，以便...

    FingerLiu 評(píng)論0 收藏0

  • 編寫(xiě)爬蟲(chóng)的一些感想（就是高興）

    摘要：如果有人有興趣的話，可以編寫(xiě)則個(gè)下面，我會(huì)說(shuō)明在編寫(xiě)爬蟲(chóng)過(guò)程中的所思所想。文章讀取完畢最后，還要再編寫(xiě)一個(gè)語(yǔ)句，判斷是運(yùn)行還是導(dǎo)入。文章結(jié)束前的一些話嗯，本文到這里就結(jié)束了。 今天，根據(jù)網(wǎng)頁(yè)的結(jié)構(gòu)，嘗試了下如何抓取煎蛋首頁(yè)上的文章。目標(biāo)很簡(jiǎn)單： 根據(jù)首頁(yè)上面的文章鏈接，載入文章，而后將文章的標(biāo)題和正文（不帶圖片）抓取下來(lái)。 抓取首頁(yè)上面文章的鏈接，標(biāo)題，作者和所屬標(biāo)簽。 按標(biāo)題將文章...

    inapt 評(píng)論0 收藏0

  • 一鍵下載：將知乎專(zhuān)欄導(dǎo)出成電子書(shū)

    摘要：在知乎上，你一定關(guān)注了一些不錯(cuò)的專(zhuān)欄比如的編程教室。有需要的請(qǐng)?jiān)诠娞?hào)里回復(fù)爬蟲(chóng)實(shí)戰(zhàn)源碼下載獲取知乎專(zhuān)欄下載器源碼，請(qǐng)?jiān)诠娞?hào)的編程教室里回復(fù)關(guān)鍵字知乎除了代碼外，本專(zhuān)欄打包好的也一并奉上，歡迎閱讀與分享。 老是有同學(xué)問(wèn)，學(xué)了 Python 基礎(chǔ)后不知道可以做點(diǎn)什么來(lái)提高。今天就再用個(gè)小例子，給大家講講，通過(guò) Python 和 爬蟲(chóng) ，可以完成怎樣的小工具。 在知乎上，你一定關(guān)注了...

    ivyzhang 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

閱讀需要支付1元查看
<