我先說一下我的構想

假設已經有了一篇文章和詞庫(像字典一樣的詞庫)
想要用程式去"比對詞庫"做斷詞,請求高手協助!!謝謝
【範例文章】
陶大偉和兒子陶喆搶當莫文蔚台北小巨蛋演唱會嘉賓。
【假設詞庫】
大
文
小
和
台
台北
兒
兒子
巨
巨蛋
喆
偉
陶
搶
當
莫
蔚
演
演唱
演唱會
嘉
嘉賓

【經過詞庫比對斷詞後得以下結果】
陶
大
偉
和
兒子
陶
喆
搶
當
莫
文
蔚
台北
小
巨蛋
演唱會
嘉賓.........以此類推（標點符號會去除）

1.詞庫裡的無記載明星名字,因此會判定為單字去斷詞)
2.詞庫裡有"兒"也有"兒子",但因為有"兒子"所以會考慮這個比較具有完整性的詞;像如果是"演"."演唱"."演唱會"
這種情況的話,程式在跑的時候會先去考慮一個字,再來去找兩個字的,再來去找三個字的可能性
(看詞庫有的詞而決定,如果詞庫裡面找不到"演唱會"三個字),斷詞就會變成「演唱」「會」
3.斷詞的判定方式是照順序的
ex:"舞台北方的那一棟大樓",會先對"舞台"斷詞,然後再來是"北方"....不會變成只有"舞"去斷詞,再來是"台北"斷詞!!!
EX:「舞台北方的那一棟大樓」斷詞後結果:
舞台
北方
的
那
一棟
大樓
---------------------------------------------
另外有些文章會發生斷詞後不合文章需要也沒關係!!只要照順序斷詞即可!!
EX:「久久一次上天堂玩玩也不錯」的結果變成：
久久
一次
上天
堂
玩玩
也
不錯

===========================================================

目前程式碼只想到這邊,可以斷詞,但是卻是每一個字都斷.......

想請求高手協助!!謝謝囉

============================================================

#include
#include
#include

int main()
{
const int MAX_INPUT_SIZE = 10240; // for now, maximum of 10K of text
const int MAX_TOKEN_SIZE = 20;
const int MAX_TOKEN_COUNT = 5000;

char buf [ 10240 ] = { 0 };

char tokens [ MAX_TOKEN_COUNT ][ MAX_TOKEN_SIZE ];
char line [ MAX_TOKEN_SIZE ];
int tokenCnt = 0;
char* finger;
int i;

// read in tokens 讀取詞庫
FILE* file = fopen("4.txt", "rb");
while( !feof( file ) )

{
fgets( line, MAX_TOKEN_SIZE, file );
line[ strlen(line)-2 ] = 0;
if( strlen(line) )
strcpy( tokens[ tokenCnt], line );
}
fclose( file );

// read data into buf 讀取資料到快取記憶體
file = fopen("3.txt", "rb");
fread( buf, 1, MAX_INPUT_SIZE, file );
fclose( file );

file = fopen("output.txt", "wb");

// tokenize it
finger = buf;

// forward to Big5 1st char
while( *finger )
{
// take care of ANSI characters 處理中文字碼
if( (unsigned char)*finger <= 0x7F )
{
while( *finger && (unsigned char)*finger <= 0x7F )
fputc( *(finger ), file );
fputs("\r\n", file);
if( !*finger ) break;
}



if( i == tokenCnt ) {
fputc( *(finger ), file );
fputc( *(finger ), file );
}
// break token
fputs("\r\n",file);
}
system("pause");
return 0;
}

補充一下，不太明白你那「處理中文」的地方是在做什麼處理…? 也沒用到leadbyte…

建議做一個struck的陣列
struct QsToken
{
char mToken[MAX_TOKEN_LEN] = {0}; // store token here
unsigned char mTokenLen = 0; //store token size
};

QsToken gMyTokens[count];

有了這一維的結構體陣列就可以先拿它的mTokenLen值來做降冪排序(若一定要用純c語法，就要自己搞演算，比如quick sort…)，排完後就從index=0開始比對，找到就記下來，並跳mTokenLen個長度，然後continue…

再提供一個純C 的 qsort的範例 ( 我太閒了)
//---------------------------------------------------------------------------
#include
#include
#pragma hdrstop

//---------------------------------------------------------------------------

#pragma argsused

typedef struct
{
char name[9];
int size;
} token;

token list[3]={{"大門鎖",3},{"大門",2},{"大門鎖上",4}};

typedef token *PTOKEN;

int sort_function( const void *a, const void *b);

int main(void)
{
int x;

qsort((void *)list, 3, sizeof(list[0]), sort_function);
for (x = 0; x < 3; x )
printf("%s\n", list[x].name);
system("pause");
return 0;
}

int sort_function( const void *a, const void *b)
{
int ans;
if(((PTOKEN)a)->size > ((PTOKEN)b)->size) ans=-1;
else if(((PTOKEN)a)->size < ((PTOKEN)b)->size) ans=1;
else
ans=0;
return ans;
}