SAS巖論|在SAS中如何解決中文亂碼問題(1)

煩人的問題

在日常工作中,使用SAS進行數據處理是很正常的事情,不可避免的經常會和中文字符串打交道。不知道各位在使用EG的過程中,打開數據集查看數據的時候,有沒有遇到過以下問題?

(雖然我也只是偶爾遇到,但已經被折磨好幾年!)

SAS巖論|在SAS中如何解決中文亂碼問題(1)

SAS Enterprise Guide 5.1

SAS巖論|在SAS中如何解決中文亂碼問題(1)

SAS Enterprise Guide 6.1

SAS巖論|在SAS中如何解決中文亂碼問題(1)

SAS Enterprise Guide 7.1


不同的版本提示的錯誤形式不完全一樣,但出現的原因卻是一模一樣的(下面有情景再現的過程)。仔細查看,不難發現真正的錯誤信息都是一樣的,主要是:

「Failed to transcode data from U_EUC_CN_CE to U_UTF8_CE encoding because it contained characters wihch are not supported by your SAS session encoding. Please review your encoding= and locale= SAS system options to ensure that they can accommodate tje data that you want to process.」

這段話是什麼意思呢?其實就是上面EG 7.1版本的錯誤提示的中文描述。簡而言之,就是告訴你數據中有無法處理的編碼數據。

問題的嚴重性

出現這個問題,僅僅是不能打開查看數據嗎?不是!如果出現這個問題,意味著你基本不能用這個數據進行後續的分析了。只要進行的處理或者分析涉及到該有問題的字段就會提示上面的這個錯誤信息,陰魂不散,揮之不去。

怎麼辦

最簡單粗暴的辦法就是不用圖形化的工具EG,用最經典的Base工具就沒有這個問題了,一勞永逸。而有時候沒法不用EG的時候怎麼辦?比如我是用EG連著SAS服務器進行處理的,該怎麼辦?

至於為什麼EG會出現這個問題,而Base界面沒有這個問題呢?主要是因為軟體的底層設計而導致的,這個編碼問題說大不大,說小不小;忽略了就可以正常使用,如果不忽略,那麼它就是一個問題。下面會對這個問題進行再現,剖析其原因,你就明白了。

問題重現

當我第一次遇到這個問題的時候,想不明白,就去google搜尋錯誤信息,找到的文檔資料基本都是說編碼或者地區的設置問題。意思就是說數據的編碼跟現有的SAS環境的編碼不一致,也就是上面錯誤信息當中提示的。要你通過option encoding= locale=; 修改到正確的編碼及地區,就可以解決問題了。可是我的環境是沒有任何問題的,數據也是同樣的環境生成的。經過了幾次的研究,最後搞清楚了,這個問題是由於中文被截斷而導致的。

(下文需要有一定的IT基礎知識,不懂的童鞋,可度娘有關數據存儲、數據編碼方面的知識;只要大概明白數據是怎麼在計算機中存儲及還原的就OK了)

具體來說:在GBK編碼中(SAS中文的默認編碼方式),一個漢字是占兩個字節。由於各種原因,在存儲數據的時候某個漢字只存儲了其中的一個字節,另一個字節丟失了。那麼就導致這個字節沒法還原,不知道是什麼東西(因為少一個字節的信息)。所以才會有上面的錯誤提示:數據中包含當前SAS會話編碼不支持的編碼數據。

我們可以用下面簡單的程序來再現這個問題(在EG中運行這段程序,在Base中是可以正常查看數據的,但只顯示「你好」。


data test;

length str $ 5;

str=”你好啊”;

run;


當運行完這段程序,打開test數據集查看的時候,就出現上面的錯誤信息:

SAS巖論|在SAS中如何解決中文亂碼問題(1)

「你好啊」三個漢字需要6個字節去存儲,而str事先定義了長度為5個字節,這就導致只存儲了2.5個漢字;而存儲的這0.5個漢字信息由於沒法顯示,所以才導致上面提示的編碼問題。

進一步來看看底層的信息(十六進制編碼):


data _null_;
length str1 $ 5 str2 $ 6;

str1=”你好啊”;

str2=”你好啊”;

put str1 $hex12.;

put str2 $hex12.;

run;


日志信息: 

SAS巖論|在SAS中如何解決中文亂碼問題(1)

從上面的日志信息可以看到,就是因為少存儲了「A1」這個字節信息,導致「B0」這個字節無法解碼,無法正常顯示。

額外補充(懂的人就此略過):

  • 漢字「你」的GBK編碼,十進制為50403,十六進制為C4E3

  • 漢字「好」的GBK編碼,十進制為47811,十六進制為BAC3

  • 漢字「啊」的GBK編碼,十進制為45217,十六進制為B0A1

有人可能會想:英文字符就是一個字節存儲的,一個字節也能顯示出來;為什麼這裡的一個字節就出問題了?
這就涉及到編碼範圍的問題了,英文字符是ASCII編碼。通過查看標準的ASCII碼表就可發現,最大的編碼十進制為127,十六進制為7F;而B0是遠大於7F的,超出了ASCII的編碼範圍,因此無法顯示。

如果你夠仔細,你就會發現,其實在EG的錯誤提示中,就包含了這段出問題的十六進制編碼信息:c4 e3 ba c3 b0。

解決方案

問題的原因既然搞清楚了,那麼如何解決的思路就很清晰了。說白了就是找出字符串中有中文截斷的地方,然後將這半個漢字的信息直接刪除就沒問題了。

以前面生成的test數據為例,str的最後一個字節包含了半個漢字信息,只要將最後一個字節刪掉就OK了。


data test2;

set test;

code_before=put(str,$hex10.);

str=substr(str,1,4);

code_after=put(str,$hex10.);

run;


SAS巖論|在SAS中如何解決中文亂碼問題(1)

如上所示,經過處理後,可以正常的顯示數據了。

(註:code_after中最後一個字節「20」是空格的十六進制編碼。字符變量中多餘的字節,SAS默認用空格來填充。因此「你好」兩個漢字占4個字節,剩餘一個字節就是空格。)

雖然解決方法很清晰,想起來也很簡單,但要做到起來還不是那麼容易。上面的情況是特例,我們明顯知道在哪個地方有問題,直接處理就OK。

但通常情況下,我們是不知道在字符串的具體哪個地方有截斷,也不知道是哪些觀測有截斷的問題;而且每條觀測中被截斷的位置也不一定都一樣,甚至也不知道截斷的數據後面有沒有其他字符數據。面對這麼多不確定,該如何解決?

下面,提供一種思路,有興趣的童鞋可以自由發揮,去解決這個問題。


解決思路
首先,GBK編碼方案中,總體的編碼是有架式圍的,從8140~FEFE。其中首字節在81~FE之間,尾字節在40~FE之間,剔除xx7F一條線;總計23940個碼位,共收入21886個漢字和圖形符號,其中漢字21003個,圖形符號883個。

其次,ASCII編碼的範圍是從00~7F,共計128個碼位,收入大小寫英文字母、數字、符號、及特殊控制字符。其中可顯示的編碼範圍為20~7E。

基於上面的這些信息,就可以從十六進制編碼入手,逐個去判斷識別,進而找到存在截斷的位置,然後將其處理掉。記得要考慮以下多種情況:

  • 截斷情況出現在字符串末尾

  • 截斷情況出現在字符串中間,且後面緊跟英文字母

  • 截斷情況出現在字符串中間,且後面緊跟完整的漢字


下期文章會有完整的SAS代碼詳解來解決這個問題,歡迎各位小夥伴拿自己的代碼來交流,敬請期待。

(有意向者可發郵件到下面的郵箱,下期分享給大家)



作者簡介:
本人於2010年在大學與SAS偶然結緣,至今已有6年的感情,現已步入七年之癢的階段(捂臉)。這麼多年來對SAS是又愛又恨,但又始終不離不棄。人家都說是真愛,就很難忘卻,我對SAS絕對是真愛。我是統計學出身,在遇見SAS之前,因C,C++課程的緣故,喜歡上了編程。從一個電腦白癡開始走上了IT之路,曾一度以為自己就是向著程序猿的方向發展。結果後來遇到了我人生中最終要的人物之一:雷教授,他來到我們學校,給我們帶來SAS,帶來了新知識,自此我們多了一門數據挖掘的課程。雷教授把我從程序猿中拯救出來,帶入這個行當。

從SAS 9.1開始入門,一度以為SAS就只是那麼一個程序、日志、結果窗口的東東。後來才知道SAS的龐大,產品線的豐富,看到你眼花繚亂。工作之後,才真正認識了SAS,從EG、EM開始了解單擊版產品;後來到服務器版的產品,安裝部署配置,接觸SMC,SDM;然後到解決方案,不同的解決方案是不同的產品組合,加上不同部署計劃;各種工具產品:Data Integration Studio, Forecast Studio, Data Management Studio等各種Studio,Visual Analytics, Social Network Analytics, Cutomer Intelligence Studio等各種Web產品。所以對SAS的了解也越來越多,但跟它所有的產品線比,這簡直就是皮毛中的皮毛!
除了做日常的分析挖掘工作,由於工作需要,基於SAS也做了很多二次開發的工作,主要是.Net開發。大部分是基於EG來做的功能插件開發,還有基於SAS IT的客戶端開發;還有一些服務器程序調度的工作。這些也都離不開大學學的C,C++。在學校時還再怪我們學院設立C,C++這些跟專業無關的課程,現在看來是錯了。所以有很深的感受:多學知識總是沒錯的,在日後的生活工作中,肯定會派上用場的。
好像說的有點多,最後希望我的經驗可以幫到大家。SAS是一條不歸路,踏上了,就回不了頭,因為等待你的有太多太多。大家如果有問題,多多交流,可以在SAS中文論壇微信群@我。也可以發郵件:[email protected]


12月原創好文回顧,請點擊閱讀:

7扇門|人臉識別技術有漏洞?快來看看如何升級

朝陽35處 | 2016年這9款大數據風控黑科技你必須了解

朝陽35處|民間借貸是不是臨終關懷?大數據有話說

朝陽35處|違約率居高不下,如何給中小企業放貸?

朝陽35處|你的影子跟不上你

如果你覺得對你有幫助,請打賞!

讚賞

人讚賞

推薦閱讀:

》生不出男孩被婆家逼走,獨自養兩個女兒流落街頭,如今她是身價60億的水餃皇后!

》她是中國史上最強女海盜,讓多少洋人感受過被她支配的恐懼!