為了先填充好數(shù)據(jù)在上線，在本地搭建了一個網(wǎng)站，并用火車頭采集數(shù)據(jù)填充到里面。
開始很上手，因為找的網(wǎng)站的分類中是有分頁的。很快捷的找到頁面標(biāo)識。
但是問題來了，如今很多網(wǎng)站都是采用的Ajax加載數(shù)據(jù)，根本沒有分頁的URL。比如：CSDN，IT168等等，都是采用下拉到一定程度，自動加載數(shù)據(jù)出來。
在沒有頁碼的情況下，直接采集當(dāng)前首頁的20-30篇文章，后面的都無法采集到。
經(jīng)過在網(wǎng)上查找教程，總算有了方法，但是相對直接加入頁碼采集，多了一個步驟。
應(yīng)該如何做？
1. 獲取目標(biāo)站API地址
在目標(biāo)頁面按F12或Ctrl+Shift+C打開審查元素，然后點Network選項卡，通過下滑的操作實時監(jiān)控Network中出現(xiàn)的鏈接。
然后點擊這個鏈接，查看規(guī)律后將他復(fù)制下來。
2.利用火車頭采集這個API中的文章鏈接
這里做一個假設(shè)，實際填寫的是上面的API地址。
采集內(nèi)容規(guī)則的設(shè)置
從上圖可以指導(dǎo)鏈接地址在：linkurl:"" 里，然后進(jìn)入第二部采集內(nèi)容
這里選擇循環(huán)匹配，不然只會采集到一個鏈接。
數(shù)據(jù)處理一下編碼和斜杠（因為采集的url有很多 \ 的轉(zhuǎn)義，直接將這個剔除）
測試一下頁面就可以獲取到文章的URL鏈接。
獲取到文章的鏈接后，如何采集它們？
當(dāng)采集到這些文章的URL后，我們先要在 第三步：發(fā)布內(nèi)容設(shè)置 ，將連接保存在桌面處理。
我將他保存在Excel文件（主要是我導(dǎo)出的TXT不完整），然后在Excel中處理好在復(fù)制到TXT中。
這個時候我們就要采集這些文字的鏈接了。
新建一個采集任務(wù)，然后將保存的TXT導(dǎo)入，然后依次進(jìn)行采集，后面的工序就不說了，和分頁采集的步驟是一樣的。
本文由2號站長網(wǎng) 五車二原創(chuàng)，原文地址：https://www.zz2zz.com/19852.html 轉(zhuǎn)載請注明出處。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！
