我的EXCEL資料 有13000筆 每筆23個欄位

要將它們全數讀到記憶體內做運算

但是光讀入記憶體就要花十幾二十分鐘(視CPU而定)

我是存到AnsiString陣列，使用ole元件來讀EXCEL

不知道有沒有更有效率的方法呢？

如果是以CELL一格一格讀進來的方式, 那速度肯定不理想。
但透過OLE一次讀入一個Array, 速度好像也快不到那裡。
我的作法如下：
1. 先把Excel匯出至文字檔(CSV或TXT...)。
2. 以TStringList.LoadFromFile()載入這個文字檔, 然後再一行一行Decode文字內容。
我想這個速度可能會好一些。
你參考看看...

用 ado元件 會不會比較快!!

ps：沒試過

===================引 用 chrislove87 文 章===================
我的EXCEL資料 有13000筆 每筆23個欄位

要將它們全數讀到記憶體內做運算

但是光讀入記憶體就要花十幾二十分鐘(視CPU而定)

我是存到AnsiString陣列，使用ole元件來讀EXCEL

不知道有沒有更有效率的方法呢？

===================引 用 yorkland 文 章===================
如果是以CELL一格一格讀進來的方式, 那速度肯定不理想。
但透過OLE一次讀入一個Array, 速度好像也快不到那裡。
我的作法如下：
1. 先把Excel匯出至文字檔(CSV或TXT...)。
2. 以TStringList.LoadFromFile()載入這個文字檔, 然後再一行一行Decode文字內容。
我想這個速度可能會好一些。
你參考看看...


感謝您提供的方法！速度果然好很多！
不過經過測試發現，我的Excel資料是二維的，
而TStringList似乎是一維的？
還有沒有其他的辦法也能這麼快呢？

要再快就要把 StringList, String 這種東西去掉.
自己用 char array[] 這種模式去處理.會更快.

===================引 用 chrislove87 文 章===================

===================引 用 yorkland 文 章===================
如果是以CELL一格一格讀進來的方式, 那速度肯定不理想。
但透過OLE一次讀入一個Array, 速度好像也快不到那裡。
我的作法如下：
1. 先把Excel匯出至文字檔(CSV或TXT...)。
2. 以TStringList.LoadFromFile()載入這個文字檔, 然後再一行一行Decode文字內容。
我想這個速度可能會好一些。
你參考看看...


感謝您提供的方法！速度果然好很多！
不過經過測試發現，我的Excel資料是二維的，
而TStringList似乎是一維的？
還有沒有其他的辦法也能這麼快呢？

雖然TStringList是一維的, 但你存成CSV時, 每一個欄位會以逗號隔開。
前文提到Decode的意思, 就是去解每一行的內容填入你的"第二維"。
有人提到ADO, 這個我有用過, 速度也不錯, 不過好像要空下第一行, 為每一欄設定欄位名稱後才能正確連結。

感謝大大您的回復，您的意思是，我先用TStringList存入，再去解裡面的內容存到陣列中?(因為TStringList不能存二維)

這樣速度應該不會太慢，畢竟是記憶體在跑

---------------------------------
暗黑破壞神版大回的char array[ ] ，我不太清楚是什麼意思?

看起來就只是宣告一個char陣列...


===================引 用 yorkland 文 章===================
雖然TStringList是一維的, 但你存成CSV時, 每一個欄位會以逗號隔開。
前文提到Decode的意思, 就是去解每一行的內容填入你的"第二維"。
有人提到ADO, 這個我有用過, 速度也不錯, 不過好像要空下第一行, 為每一欄設定欄位名稱後才能正確連結。

我也來插個花，我覺得用

ado 的方式(我也用過) 暗黑說的使用 char *p[ ] 或 int p[ ]

即讀時用ado，寫時用傳統的array container。這樣會快很多。

若xls裡放的其實是簡單的csv格式，那則用 c 裡的ifstream >> 複載子來把它寫入 array，這樣更快!

------


蕭沖
--All ideas are worthless unless implemented--

C++ Builder Delphi Taiwan G+ 社群
http://bit.ly/cbtaiwan

用 ADO 的方式，透過 Jet Engine 開啟 Excel 當作資料庫時，第一列沒有欄位名稱也可以的
只要在連接字串中加上 Extended Properties="Excel 8.0; HDR=No" 就可以了

===================引 用 yorkland 文 章===================
有人提到ADO, 這個我有用過, 速度也不錯, 不過好像要空下第一行, 為每一欄設定欄位名稱後才能正確連結。

------
歡迎參訪 "腦殘賤貓的備忘錄" http://maolaoda.blogspot.com/

編輯記錄

因為 TString, TStringList 這一類的 class 在使用時,是很方便.
不過.在記憶體配置上.為了要"通用性".....等等.會讓你多花一點時間去處理.
所以.你把這些回歸到陣列.指標.....去動作.會比用 class 去處理還要快很多.
當然.你的資料量不大時.沒必要這樣做.
就像泡泡排序法.在資料量少時.會比那些快速排序有效率一樣.
你要去看你要用的情況.選合適的方法.

===================引 用 chrislove87 文 章===================
感謝大大您的回復，您的意思是，我先用TStringList存入，再去解裡面的內容存到陣列中?(因為TStringList不能存二維)

這樣速度應該不會太慢，畢竟是記憶體在跑

---------------------------------
暗黑破壞神版大回的char array[ ] ，我不太清楚是什麼意思?

看起來就只是宣告一個char陣列...


===================引 用 yorkland 文 章===================
雖然TStringList是一維的, 但你存成CSV時, 每一個欄位會以逗號隔開。
前文提到Decode的意思, 就是去解每一行的內容填入你的"第二維"。
有人提到ADO, 這個我有用過, 速度也不錯, 不過好像要空下第一行, 為每一欄設定欄位名稱後才能正確連結。

感謝各位大大的回覆

小弟已完成這部份的code

由於回文人太多 加上我是使用yorkland 的方法

故得分的人選擇他

再次感謝各位的幫忙~感恩