優(yōu)化DEDECMS采集程序 支持部分采集只需要兩步,織
導讀:織夢技術(shù)織夢技術(shù)DEDECMS自帶的采集功能,雖然比不上其他專業(yè)的采集軟件,但對比其他采集程序,在性能上還是非常不錯。很多其他程序無法采集下來的網(wǎng)頁,使用DEDECMS可以采集織夢后臺模板dede模板堂。
DEDECMS自帶的采集功能,雖然比不上其他專業(yè)的采集軟件,但對比其他采集程序,在性能上還是非常不錯。很多其他程序無法采集下來的網(wǎng)頁,使用DEDECMS可以采集得到。比如58同城首頁,使用discuz的下載函數(shù)采集過來的都是一片空白或者警告內(nèi)容,但是使用dedecms的下載完全可以下載下來。
DEDE采集程序原理
DEDECMS的采集原理很簡單: 通過PHP程序socket模擬HTTP請求,下載整張網(wǎng)頁的HTML。不過這里面有一個不足之處——不支持部分采集。如果我們僅僅要獲得對方網(wǎng)頁的標題,卻下載了整張網(wǎng)頁。一兩張無所謂,但是大量的下載就會擠占服務器資源和帶寬。比如商務大陸網(wǎng)35dalucom的分類信息網(wǎng)站大全,該頻道含有600多分類信息網(wǎng)站,網(wǎng)站程序后臺自動定期獲取這些網(wǎng)站的標題,以判斷這些網(wǎng)站是否可以正常打開,內(nèi)容是否免費織夢模板發(fā)生改變。如果使用dede的程序,直接默認下載整張網(wǎng)頁而不是僅網(wǎng)頁HTML頭部部分,長期下去可想而知會擠占多少服務器資源。此時我們此處僅僅需要獲得對方網(wǎng)頁的標題而已。
修改文件dedehttpdown.class.php
要讓DEDECMS實現(xiàn)部分采集的功能非常簡單,只需要修改采集程序文件dedehttpdown.class.php 中的2個地方即可。使用notepad++或者dreamweaver 打開 /include/dedehttpd.class.php:
(1)第118行 $this->m_html = '';背后加入$this->dataLimit = 0;
(2)第 285行$this->m_html .= fgets($this->m_fp,256); 背后加入 if($this->dataLimit > 0 && strlen($this->m_html) > $this->dataLimit織夢模板修改) break; 保存即可。
使用方法:
$remoteURL = ‘http://www.***.com/info/fabu/’;
$dh = new DedeHttpDown();
$dh->OpenUrl($remoteURL);
$dh->dataLimit = 1024;
$remoteHTML = $dh->GetHtml();
我們只需要在 $dh->OpenUrl($remoteURL);背后加入 $dh->dataLimit = 1024;(你想采集的字節(jié)大小)即可。 織夢手機模板 通過這樣的方法,我們可以更節(jié)約服務器資源。本文出自www.35dalu.com商務大陸網(wǎng)分類信息平臺,轉(zhuǎn)載請保留作者鏈接,謝謝。
聲明: 本文由我的SEOUC技術(shù)文章主頁發(fā)布于:2023-07-20 ,文章優(yōu)化DEDECMS采集程序 支持部分采集只需要兩步,織主要講述只需要,兩步,CMS網(wǎng)站建設源碼以及服務器配置搭建相關技術(shù)文章。轉(zhuǎn)載請保留鏈接: http://www.bifwcx.com/article/web_31408.html
為你推薦與優(yōu)化DEDECMS采集程序 支持部分采集只需要兩步,織相關的文章
-
DedeCMS站點高級安全策略(Linux篇),織夢教程
(105)人喜歡 2023-07-20 -
織夢DEDECMS中讓近三天發(fā)布的文章顯示紅色
(194)人喜歡 2023-07-20 -
dedecms網(wǎng)站搬家需要的備份的文件,dedecms
(51)人喜歡 2023-07-20 -
織夢(dedecms)導航條dropdown.js的改進(附演示
(98)人喜歡 2023-07-20 -
解決Dedecms生成RSS地圖地址出錯全都多了一
(139)人喜歡 2023-07-20 -
dede調(diào)用指定欄目下相關文章的實現(xiàn)方法
(123)人喜歡 2023-07-20