詞法分析程序的設計與實現研究

楊 平 胡建陶 蘭美輝

（曲靖師范學院計算機科學與工程學院，云南 曲靖655011）

0 引言

詞法分析是編譯程序的第一階段的工作，對輸入的源程序進行詞法分析，產生與其等價的屬性自流作為輸出[1-2]。編譯程序在完成詞法分析后，就進入語法分析階段。詞法分析是實現編譯第一個核心階段。本實驗的程序設計語言用C語言，因為C語言是本科生最熟悉的語言，C語言編譯器一般都是以匯編語言作為目標語言，匯編語言學生也相對熟悉，用C編程出現的系統報告的出錯信息可作為教學中的實例，而且通過編寫程序，學生對C語言的掌握能達到一個新的高度。

1 詞法分析程序的設計

詞法分析的功能是對輸入的源程序，按照構詞規則分解成一系列單詞符號。單詞是語言中具有獨立意義的最小單位[3-5]。用C語言編寫的源代碼，包括如下單詞：關鍵字、標識符、常數、運算符、界限符。程序的輸入為用C編寫的源程序，輸出為屬性字流，為二元組形式（syn,token），syn為單詞種別碼，token為識別出的單詞。

1.1 設計詞法分析規則

單詞的構詞規則如下（用擴充的BNF表示）

<關鍵字>→int/float/if/for……

<標識符>→<字母>|<_>{<字母>|<數字>|<_>}

<常數>→<數字>|<數字><數字串>

<運算符>→+|-|*|/|=……

<界限符>→（|）|[|]|{|}|;……

<數字>→0|1|2|3|4|5|6|7|8|9

<字母>→a|b|……|z|A|B|……|Z

1.2 設計狀態轉換圖

根據構詞規則（詞法規則），設計的狀態轉換圖如圖1：

圖1 狀態轉換圖

1.3 設計各種單詞符號對應的種別碼

表1 單詞符號對應的種別碼

2 詞法分析程序的實現

2.1 詞法分析程序算法流程圖

2.2 詞法分析過程中的關鍵算法實現

2.2.1 空格處理算法

for(n=0;n<8;n++)token[n]=NULL;

ch=prog[p++];

while(ch=='')

{

ch=prog[p];p++;

}

圖2 詞法分析程序算法流程圖

2.2.2 關鍵字、標識符的判定算法

if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||(ch='_')

{

m=0;

while((ch>='0'&&ch<='9')||(ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z'))

{

token[m++]=ch;

ch=prog[p++];

}

token[m++]='91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合