線上訂房服務-台灣趴趴狗聯合訂房中心
發文 回覆 瀏覽次數:4920
推到 Plurk!
推到 Facebook!

網頁機器人 !!

答題得分者是:system72
UB
一般會員


發表:18
回覆:19
積分:7
註冊:2007-02-19

發送簡訊給我
#1 引用回覆 回覆 發表時間:2007-07-06 22:28:32 IP:211.76.xxx.xxx 訂閱
有個問題請教各位 ~
因為我要建立一個股票的資料庫,每天都需要自己去網路一大堆相同的資料,一直重複相同的動作,所以我想,如果能用程式來幫我抓資料的話就太好了 ~
我舉個實際的例子,讓大家來幫我想想看應該怎麼做才好 ~
例如: http://ettoday.sound.com.tw/stock/stock_b.php?st=2301 這個網頁,是把這一檔股票一天的成交明細顯示出來,我需要把他顯示出來的資料轉到資料庫裡,或者存成檔案.
問題是我需要的是全部的股票都要抓下來,也就是約1300多檔的股票,我不可能每天重複這些動作,所以我需要程式機器人來幫我 ~
小弟,delphi 雖然不是新手,但有很長一段時間沒有碰了,可以說是半個新手了 ~ 希望各位大大能夠盡量的詳細說明,最好有小段的程式碼做輔助說明 ~ 感激不盡 ~

暗黑破壞神
版主


發表:9
回覆:2301
積分:1627
註冊:2004-10-04

發送簡訊給我
#2 引用回覆 回覆 發表時間:2007-07-07 09:26:22 IP:61.225.xxx.xxx 未訂閱
我倒是想問你。你卡在那一段?
這邊的動作分成三個部份。
1.經過 http protocol 把 http://ettoday.sound.com.tw/stock/stock_b.php?st=2301 的網頁抓下來。
2.把抓下來的網頁 parser 出你要的資料。
3.把要的資料寫入檔案或是 database

你是卡在那一段?
1不會做?
2,3 沒問題?
還是只有 3 沒問題?
UB
一般會員


發表:18
回覆:19
積分:7
註冊:2007-02-19

發送簡訊給我
#3 引用回覆 回覆 發表時間:2007-07-07 10:47:55 IP:211.76.xxx.xxx 訂閱
黑暗破壞神大大 ~
基本上只有第一個比較需要幫忙,二和三我應該都還可以應付 ~
我昨天其實有找到另一個解決的方法,就是用現有的軟體來幫我自動抓.
http://delphi.ktop.com.tw/board.php?cid=30&fid=67&tid=89108
但是其實還是有一些小小的問題,另外我也想要自己學學看如果不用別人的程式該如何寫這一類的東西 ~

再補充一下,parse 資料的話,我有做過csv,或者純文字檔的,其他的檔案格式,可能還需要大大稍微提點一下 ~
至於塞入資料庫之前以經在這邊學了很多,比較可以自己解決 ~
我猜比較麻煩的部份應該是第二點 parse 資料,如果第一點抓出來的資料是html這類的格式,還請大大稍微提點一下該怎麼做比較好 ~
另外在跟各位大大問一下,有沒有免費的 Regular Expression 給 Delphi 用的 !?

編輯記錄
UB 重新編輯於 2007-07-07 10:59:06, 註解 無‧
暗黑破壞神
版主


發表:9
回覆:2301
積分:1627
註冊:2004-10-04

發送簡訊給我
#4 引用回覆 回覆 發表時間:2007-07-07 10:54:07 IP:61.225.xxx.xxx 未訂閱
那一部份可以用 wget 來協助你處理。
也就是說用個 AT 指令(WINDOWS下的)來做整體控管。
UNIX 下用 crontab 來控管。

如果要自己做的,那你要找 SocketClient 以及 http protocol
來看。或是用現成的 http 元件,那樣也可以把整個網頁都抓下來存檔。
system72
中階會員


發表:15
回覆:114
積分:55
註冊:2005-08-17

發送簡訊給我
#5 引用回覆 回覆 發表時間:2007-07-08 21:40:29 IP:219.81.xxx.xxx 訂閱
印象本站過幾已經有討論過,也有人發表這種抓網頁股價的程式/文章.

主題大概是, 抓kimo / yahoo 網頁股價 之類,有需要自己找找.
系統時間:2024-04-28 6:51:14
聯絡我們 | Delphi K.Top討論版
本站聲明
1. 本論壇為無營利行為之開放平台,所有文章都是由網友自行張貼,如牽涉到法律糾紛一切與本站無關。
2. 假如網友發表之內容涉及侵權,而損及您的利益,請立即通知版主刪除。
3. 請勿批評中華民國元首及政府或批評各政黨,是藍是綠本站無權干涉,但這裡不是政治性論壇!