文章庫(kù)ARTICLE COLUMN
摘要：是這樣的有一次想要斗圖配圖就在網(wǎng)上搜索表情包然后發(fā)現(xiàn)了一個(gè)表情巨多的網(wǎng)站不小心動(dòng)起了邪念產(chǎn)生了興趣那就把它們存下來(lái)吧用請(qǐng)求了一下發(fā)現(xiàn)這個(gè)網(wǎng)站沒(méi)有做反爬發(fā)現(xiàn)這里有的頁(yè)面簡(jiǎn)單的切換一下頁(yè)面可以發(fā)現(xiàn)第一頁(yè)的鏈接是這樣的所以以此類(lèi)推構(gòu)建一下所...
摘要：其次，解釋器的主循環(huán)，一個(gè)名為的函數(shù)，讀取字節(jié)碼并逐個(gè)執(zhí)行其中的指令。所有線(xiàn)程都運(yùn)行相同的代碼，并以相同的方式定期從它們獲取鎖定。無(wú)論如何，其他線(xiàn)程無(wú)法并行運(yùn)行。 概述 如今我也是使用Python寫(xiě)代碼好多年了，但是我卻很少關(guān)心GIL的內(nèi)部機(jī)制...
摘要：基于鏡像構(gòu)建自己的鏡像官方鏡像地址拉取官方的鏡像交互式方式生成一個(gè)容器進(jìn)入交互式容器，查看當(dāng)前版本設(shè)置的阿里云鏡像源確認(rèn)一下是否配置成功我們的使用的是系統(tǒng)使用的是包管理器命令如默認(rèn)的鏡像源也比較慢，我們也換成國(guó)內(nèi)的設(shè) 基于alpine鏡像構(gòu)...
摘要：可視化監(jiān)控爬蟲(chóng)最近接到新的需求做可視化監(jiān)控爬蟲(chóng)，搞了個(gè)小時(shí)終于成了。。。該端口不應(yīng)該需要額外的權(quán)限。即可啟動(dòng)，默認(rèn)登錄名和密碼代碼借用崔慶才老師的代碼鏈接最后結(jié)果意外發(fā)現(xiàn)的可視化界面也呈現(xiàn)出了監(jiān)控結(jié)果。 可視化監(jiān)控爬蟲(chóng) 最近接到新的需...
摘要：另外，由于在利用寫(xiě)文件時(shí)只使用了線(xiàn)程可重入鎖，所以只能保證線(xiàn)程安全，多進(jìn)程情況下會(huì)有并發(fā)寫(xiě)入的問(wèn)題。解決方案重載類(lèi)將也設(shè)為帶時(shí)間后綴的形式，取消文件重名操作，僅在需要的時(shí)候關(guān)閉當(dāng)前，打開(kāi)一個(gè)新文件名的用文件鎖替換線(xiàn)程鎖代碼如下 背景 ...
摘要：返回值函數(shù)可以且應(yīng)該被視為一個(gè)獨(dú)立的小程序。以下的函數(shù)是冪等的無(wú)論何時(shí)調(diào)用，其返回值都是。 與多數(shù)現(xiàn)代編程語(yǔ)言一樣，在 Python 中，函數(shù)是抽象和封裝的基本方法之一。你在開(kāi)發(fā)階段或許已經(jīng)寫(xiě)過(guò)數(shù)百個(gè)函數(shù)，但并非每個(gè)函數(shù)都生而平等。寫(xiě)出「糟糕...
摘要：面試的心得體會(huì)簡(jiǎn)歷制作我做了兩份簡(jiǎn)歷，用兩個(gè)手機(jī)賬號(hào)，兩個(gè)簡(jiǎn)歷名字，分別在各個(gè)招聘網(wǎng)站投了雙份簡(jiǎn)歷，一個(gè)是數(shù)據(jù)分析的簡(jiǎn)歷一個(gè)是全棧開(kāi)發(fā)的簡(jiǎn)歷，我真正接觸快年，不管是學(xué)習(xí)還是工作學(xué)到的東西，這兩年大概掌握了前端爬蟲(chóng)數(shù)據(jù)分析機(jī)器學(xué)習(xí)技術(shù)，...
摘要：二面休息過(guò)后，就來(lái)了第二位面試官，面我運(yùn)維的，運(yùn)開(kāi)嘛，如果沒(méi)有運(yùn)維知識(shí)肯定是不行的。后來(lái)的對(duì)話(huà)中，面試官也表示，可能之前做的更多的是的工作，對(duì)于容器這塊不熟悉關(guān)系也不是很大。整個(gè)三面大概也持續(xù)了要有不到一個(gè)小時(shí)。 今天給大家分享我曾經(jīng)...
摘要：為了以后的網(wǎng)絡(luò)請(qǐng)求操作方向，我們這次簡(jiǎn)單的進(jìn)行一些代碼的封裝操作。接下來(lái)，就是比較重要的爬蟲(chóng)代碼部分了。這一次，我們可以簡(jiǎn)單的使用一下類(lèi)和對(duì)象，并且加上簡(jiǎn)單的多線(xiàn)程操作。最后附上部分的代碼，讓我們的代碼跑起來(lái)一會(huì)過(guò)后，就慢慢收?qǐng)D吧 獲...
摘要：運(yùn)籌做為一個(gè)運(yùn)籌人多少知道些仿真優(yōu)化軟件當(dāng)然高階的運(yùn)籌實(shí)踐一定是以代碼為基礎(chǔ)的無(wú)論用什么代碼最終也是在代碼中首先建立所要優(yōu)化問(wèn)題的抽象模型一般都是一個(gè)優(yōu)化問(wèn)題如果你會(huì)的話(huà)就可以無(wú)障礙閱讀接下來(lái)的內(nèi)容如果你不會(huì)的話(huà)花半天時(shí)間學(xué)一下再來(lái)準(zhǔn)...
摘要：今天，我就用數(shù)據(jù)告訴你，書(shū)中到底有沒(méi)有黃金屋。數(shù)據(jù)來(lái)源利用的拉勾爬蟲(chóng)爬取了拉勾杭州站，要求年工作經(jīng)驗(yàn)的條招聘數(shù)據(jù)。原始數(shù)據(jù)的薪資是一個(gè)區(qū)間，將區(qū)間拆分為最低與最高兩個(gè)變量。大專(zhuān)本科碩士工資單位月最低工資分布最高薪資 北起漠河南至曾母暗...
from collections import Counter import numpy as np l = ["a", "b", "c", "d", "a", "v", "s", "d", "c", "a...
摘要：總之，要永遠(yuǎn)做個(gè)學(xué)習(xí)者，但不僅僅只做學(xué)習(xí)者了解并踐行學(xué)習(xí)實(shí)踐階段循環(huán)任何創(chuàng)造性學(xué)科的學(xué)習(xí)都可以分兩個(gè)階段，學(xué)習(xí)階段和構(gòu)建階段，彼此不斷重復(fù)。 初級(jí)開(kāi)發(fā)者學(xué)Python容易陷入茫然，面對(duì)市面上種類(lèi)眾多的編程語(yǔ)言和框架，重要的是堅(jiān)持自己的選擇，...
摘要：正則表達(dá)式語(yǔ)法字符與字符類(lèi)特殊字符以上特殊字符要想使用字面值，必須使用進(jìn)行轉(zhuǎn)義字符類(lèi)包含在中的一個(gè)或者多個(gè)字符被稱(chēng)為字符類(lèi)，字符類(lèi)在匹配時(shí)如果沒(méi)有指定量詞則只會(huì)匹配其中的一個(gè)。 1. 正則表達(dá)式語(yǔ)法 1.1 字符與字符類(lèi) 1 特殊字符：.^$?+*{}|...
摘要：平臺(tái)自帶導(dǎo)出結(jié)果的功能，但是運(yùn)營(yíng)在使用導(dǎo)出的時(shí)候，直接打開(kāi)文件總會(huì)發(fā)現(xiàn)中文亂碼的情況，小弟現(xiàn)將發(fā)現(xiàn)的解決方案提供在此，下面搞起來(lái)導(dǎo)出默認(rèn)編碼為，如果需要修改編碼類(lèi)型需要修改兩個(gè)地方。修改修改把原來(lái)的替換成重啟搞定 superset平臺(tái)自帶csv...
摘要：不同的人的路線(xiàn)圖版本會(huì)有所不同。尋找答案從一無(wú)所知到無(wú)所不知如果你在這個(gè)過(guò)程中多次遇到困難，在知難而退之前努力嘗試解決問(wèn)題。并不是成為一個(gè)全面的開(kāi)發(fā)人員所需要的唯一技能。首先進(jìn)行一兩個(gè)月的學(xué)習(xí)階段，然后進(jìn)入一個(gè)月的構(gòu)建階段。 初級(jí)開(kāi)發(fā)...
摘要：嵌套可以嵌套使用以表示對(duì)象間的關(guān)系如外鍵關(guān)系。在下面的例子中，和對(duì)象是一對(duì)多的關(guān)系必須使用或參數(shù)避免無(wú)限遞歸也可以使用導(dǎo)入模塊的方式傳遞嵌套，如自嵌套給傳遞字符串參數(shù)表示和對(duì)象本身的關(guān)系 schema嵌套 schema可以嵌套使用以表示對(duì)象間的關(guān)...
摘要：有三種方式創(chuàng)建自定義的。下面的例子判斷某個(gè)對(duì)象是否是某個(gè)對(duì)象的作者，以及的屬性是否出現(xiàn)單詞自定義錯(cuò)誤信息字段驗(yàn)證產(chǎn)生的錯(cuò)誤信息可以在類(lèi)級(jí)別或?qū)嵗?jí)別配置。在類(lèi)級(jí)別時(shí)，可以定義為錯(cuò)誤碼和錯(cuò)誤信息的字典映射在類(lèi)實(shí)例化時(shí)，給參數(shù)傳參對(duì)象 有...
摘要：創(chuàng)建實(shí)例時(shí)如果傳遞了，表示需要接收輸入數(shù)據(jù)集合，裝飾器注冊(cè)預(yù)處理和后處理方法時(shí)需要傳遞參數(shù)。 預(yù)處理和后處理方法 數(shù)據(jù)的預(yù)處理和后處理方法通過(guò)pre_load, post_load, pre_dump和post_dump裝飾器注冊(cè)： from marshmallow import Schema, fields, ...
摘要：為了寫(xiě)好爬蟲(chóng)，我們需要準(zhǔn)備一個(gè)火狐瀏覽器，還需要準(zhǔn)備抓包工具，抓包工具，我使用的是自帶的，加上，這兩款軟件的安裝和使用，建議你還是學(xué)習(xí)一下，后面我們應(yīng)該會(huì)用到。 妹子圖網(wǎng)站----前言 從今天開(kāi)始就要擼起袖子，直接寫(xiě)Python爬蟲(chóng)了，學(xué)習(xí)語(yǔ)言...
摘要：辛苦面試了好多家大小公司，在面試中也發(fā)現(xiàn)了自己的很多不足，也有很多的感悟，這里記錄一下，為的是之后的學(xué)習(xí)與提高更有針對(duì)性。面試中的的題目就是準(zhǔn)備不足的充分表現(xiàn)。其實(shí)大部分面試官都不會(huì)給什么反饋，只是機(jī)械地聽(tīng)答案，記錄評(píng)價(jià)。 辛苦面試了...
摘要：爬蟲(chóng)分析首先，我們已經(jīng)爬取到了多的用戶(hù)個(gè)人主頁(yè)，我通過(guò)鏈接拼接獲取到了在這個(gè)頁(yè)面中，咱們要找?guī)讉€(gè)核心的關(guān)鍵點(diǎn)，發(fā)現(xiàn)平面拍攝點(diǎn)擊進(jìn)入的是圖片列表頁(yè)面。 簡(jiǎn)介 上一篇寫(xiě)的時(shí)間有點(diǎn)長(zhǎng)了，接下來(lái)繼續(xù)把美空網(wǎng)的爬蟲(chóng)寫(xiě)完，這套教程中編寫(xiě)的爬蟲(chóng)在實(shí)...
摘要：類(lèi)的繼承類(lèi)繼承有三種調(diào)用方式，其實(shí)是有區(qū)別的，聽(tīng)我慢慢道來(lái)第一種父類(lèi)方法參數(shù)直接調(diào)用第二種方法參數(shù)直接調(diào)用在誰(shuí)的類(lèi)下調(diào)用，就找此類(lèi)對(duì)應(yīng)的下一個(gè)就是要繼承的第三種方法參數(shù)找類(lèi)名對(duì)應(yīng)的的下一個(gè)，就是繼承的，一般寫(xiě)本身的類(lèi)名上下文管理器上下...
摘要：美空網(wǎng)數(shù)據(jù)簡(jiǎn)介從今天開(kāi)始，我們嘗試用篇博客的內(nèi)容量，搞定一個(gè)網(wǎng)站叫做美空網(wǎng)網(wǎng)址為，這個(gè)網(wǎng)站我分析了一下，我們要爬取的圖片在下面這個(gè)網(wǎng)址然后在去分析一下，我需要找到一個(gè)圖片列表頁(yè)面是最好的，作為一個(gè)勤勞的爬蟲(chóng)，我找到了這個(gè)頁(yè)面列表頁(yè)面被...
摘要：以下這些項(xiàng)目，你拿來(lái)學(xué)習(xí)學(xué)習(xí)練練手。當(dāng)你每個(gè)步驟都能做到很優(yōu)秀的時(shí)候，你應(yīng)該考慮如何組合這四個(gè)步驟，使你的爬蟲(chóng)達(dá)到效率最高，也就是所謂的爬蟲(chóng)策略問(wèn)題，爬蟲(chóng)策略學(xué)習(xí)不是一朝一夕的事情，建議多看看一些比較優(yōu)秀的爬蟲(chóng)的設(shè)計(jì)方案，比如說(shuō)。 （...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
一、活動(dòng)亮點(diǎn)：全球31個(gè)節(jié)點(diǎn)覆蓋 + 線(xiàn)路升級(jí)，跨境業(yè)務(wù)福音！爆款云主機(jī)0.5折起：香港、海外多節(jié)點(diǎn)...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
89542767
社區(qū)管理員
白馬嘯西風(fēng)