火車采集器 點擊上方藍色字體，關注我們 親愛的用戶： 為了給用戶更好的采集體驗，2019年11月21日我們進行了火車采集器的版本更新，目前火車采集器V9.11版本已正式上線。 1、★ 列表頁新增“地址處理”功能★ 點擊下一頁，抓包可獲取真實地址：
分析json數據可以得知 url 后面的是內容頁網址，設置如下：
可以看到采集的網址里有很多 \ ，導致網址無法訪問，而且網址不規則，不易處理。
這種可以使用新增的“地址處理”功能 內容替換/排重 可以對網址中內容進行替換，且替換完成后，重復的網址會自動去重。
純正則替換 可以使用正則表達式進行匹配，和內容替換功能類似 字符編碼處理 網址中有需要轉碼的內容，比如采到的鏈接里有 & 可以進行解碼 2、★新增“請求失敗數”的預警條件設置★
3、★下載圖片命名，新增[記錄自增Id]格式★
記錄自增ID：同一個內容頁中，多個標簽設置記錄自增ID，那么多個標簽都是從1開始自增，再次測試運行又會重新開始從1自增，更換個內容頁測試運行，也是從1開始自增。 自增ID：設置自增ID是采集器啟動后運行，開始一個自增ID，從1開始自增，之后就是自增。重啟采集器后，又會重新開始自增ID，從1開始自增。 舉例說明：自增記錄ID：縮略圖和內容兩個標簽都有圖片下載，都設置了記錄自增ID。
更換一個內容頁網址，記錄自增ID還是從1開始自增。 https://zhishi.fang.com/jiaju/qg_691372.html
自增ID：內容標簽中設置了自增ID。
之后就會一直自增。
想要自增ID再次從1開始，需要重啟采集器，那么就會從1開始了，否則只要設置了自增ID的，都會一直自增下去。
4、★修復圖片下載誤判斷問題★
5、★修復計劃任務中“每天調度”，起始運行時間配置未生效的問題★
6、★ 修復PHP插件，對于循環記錄的處理報錯的問題★
7、★修復拼音首字母對于一些錯誤字符的判斷問題★
8、★任務批量編輯，修復“發布”中“多網站亂序發布”未能復制的問題★ 9、★修改“循環添加新記錄”配置后，修復數據格式選擇錯誤的問題★
10、★修復循環記錄中列表頁標簽被多次處理的問題★
11、★修復對于一些302跳轉地址，無法正確跳轉的問題★
12、★修復一些網址無法正確請求的問題★
感謝用戶的支持與使用，今后也請多多支持小采~
| 
發表于 2019-11-21 17:03:55
收藏