Hi! I'm clsung » phd_student

簡單有三種

clsung — Wed, 12 Nov 2008 03:10:19 +0000

這是同事講的話：

「簡單」有3種，一種是「不困難」，另一種是「不辛苦」，最後一種是「如果不是我來做的話」。

源起是二月份的時候，JeffHung 發表了這篇簡單有兩種。我看到就順便轉給我們家 PM ，接著他的回應就是上面那句話。

為什麼又舊事重提呢？因為早上老闆打了通電話來給 PM，提到某功能為什麼沒有。大致上的對話如下：

老闆：有些詞我都打不出來。
ＰＭ：當初給老師的版本是為了 demo 用的。
老闆：為什麼沒有提供切換詞典的功能？做這個有什麼困難嗎？
ＰＭ：這個很簡單…
老闆：那為什麼沒有加進去？是不是當初沒有規劃清楚？
ＰＭ：….

第15屆東元獎，五人獲獎

clsung — Mon, 10 Nov 2008 02:03:10 +0000

這次剛好也有與會，以下是相關報導：

除了中央社新聞較為平衡外，其他的報導裡，許聞廉特聘研究員的段落都很多。至於內容嘛……..

副總統蕭萬長看的出來是個練家子，演講態度從容不迫，可能是大場面看多了，這只算是小 case 。反觀受獎者都有點緊張，不過這樣難免啦，得獎和頒獎本來就是兩回事。然後，果然是微笑老蕭，對他本人的觀感++。

由新聞內容還可以得知，總統夫人周美青是個低調的人，其實這次她也有出席（不過跟東元獎的確無關）在稍後的原住民表演。就我個人近距離的觀察（真的很近，就正後方），她表現出來的態度是平易近人。跟人講話的樣子好像一直在鞠躬一樣 :p 對她的好感度大增。

所以，不管媒體之前怎麼報，經過這次偶遇，我真的相信她本人不是沽名釣譽之士。

回到原住民表演，看到那些原住民小朋友的表演，有被感動到。行有餘力時也應該來奉獻一下。

WordPress 2.5-RC1

clsung — Tue, 25 Mar 2008 01:22:26 +0000

都忘了寫一下了，前幾天 WordPress 升級到 2.5-RC1 ，用起來爽度不錯，接下來就想再換個 theme 來用用了。

對了，它的 category 有顯示目前所有的 categories 讓使用者選，為什麼 tag 要自己加呢？不過 tag input 有 ajax 自動搜尋，所以就算了。不過中文還得打出至少一個完整的字，真是不方便。也許自然輸入法9的「略語」功能真的有其必要性吧。

[Lenovo] IBM Notebook T42 送修

clsung — Fri, 05 Oct 2007 07:45:22 +0000

推薦啊～～

實驗室配給的 T42 前陣子開機有時會出現＂Fan Error＂，然後就自動關機。而去年開始， USB 插槽有時候也會認不得 USB2 的裝置。由於不是一定會發生，所以一直就拖著沒送修。然後這週吃了秤鉈鐵了心，還是送去維修一下吧！順便物色一下替代品，拿了公用的 Macbook 來玩，手感真不錯，以後一定要來買一台 Mac 玩玩。

週二下午送修，結果剛剛就回來了，我本來在想，因為這些問題不是每次發生，會不會拿去檢查發現測試都沒問題，有問題的可能是使用者？還好我多慮了，維修單上寫的兩個原因，都有查出來。所以換了個主機板（因為 USB），然後也換了個風扇。

更重要的是，維修中心幫我把螢幕清理乾淨，哈哈哈。爽度 x 10 啊。紅色小奶頭點也更新了（雖然我覺得舊款的比較合我意）。

本來想說 IBM 筆電賣給聯想。以後可能連想都不要想。不過看來之後還有機會可以支持一下啦。

快快樂樂學 Ruby – 再談 Ferret

clsung — Fri, 18 May 2007 02:56:37 +0000

這只是為了要呼應之前的舊文章…

話說昨天早上到了實驗室，發現 b6s 前一晚留給我有關 Ferret 的訊息。兩點，第一是 lukhnos實作了 Ferret 處理中文的方法，在這裡。當然，處理中文很重要，但並不是我棄 Ferret 保 PyLucene 的原因。而 b6s 留的另一個訊息是 Ferret 處理原生 Lucene 的 cfs 索引檔有解（或是將要有解）。這就有點意思了，因為我們實驗室的 index 如果不能用 Ferret 讀，那其實有點英雄無用武之地的感覺。

但是最後讓我再來試 Ferret 的原因，卻還是第一個：中文。

原先 lukhnos 的文章中的 regex 可以適當地處理 ASCII、歐語以及 CJK（UTF-8 碼）字元，雖然我不確定有沒有包含越南（CJKV？）不過 UTF-8 碼的 regex 就在這裡了，要自己改也是沒什麼問題。那對於 Big5 碼呢？其實現在的時代，用 Big5 碼的人逐步減少了，不過還是在國內佔大宗吧？像聯合新聞網、中時電子報還有自由電子報都還在使用 Big5 。雖然我們 *現在* 使用的軟體大多在處理這些語料時會先轉為 UTF-8 再分析，但也不能就此就把 Big5 丟到一邊去⁽¹⁾。

所以我改了 lukhnos 的 GENERIC_ANALYSIS_REGEX ，加上 Big5 的部份，有關 code range 可以參考 O’Reilly 的這篇論文：

GENERIC_ANALYSIS_REGEX = /([a-zA-Z]|[xc0-xdf][x80-xbf])+|[0-9]+|[xe0-xef][x80-xbf][x80-xbf]|[xa1-xfe][x40-x7exa1-xfe]/

新加的部份是

[xa1-xfe][x40-x7exa1-xfe]

當然，要測試一下，在這之前我分開放了兩個文字檔，內容很簡單：

big5.txt

中文
大五碼中文
Chinese
utf8.txt

中文
八萬碼中文
Chinese

當然這樣看不出什麼端倪，用 vi 來看一下內文的編碼：

big5.txt

xa4xa4xa4xe5
xa4jxa4xadxbdXxa4xa4xa4xe5
Chinese
utf8.txt

xe4xb8xadxe6x96x87
xe5x85xabxe8x90xacxe7xa2xbcxe4xb8xadxe6x96x87
Chinese

這樣就很清楚啦。接下來是測試程式的片段：

GENERIC_ANALYSIS_REGEX = /([a-zA-Z]|[xc0-xdf][x80-xbf])+|[0-9]+|[xe0-xef][x80-xbf][x80-xbf]|[xa1-xfe][x40-x7exa1-xfe]/

GENERIC_ANALYZER = Analysis::RegExpAnalyzer.new(GENERIC_ANALYSIS_REGEX, true)

index = Index::Index.new()

index2 = Index::Index.new(:analyzer=> GENERIC_ANALYZER)
…
chinese_u = "中文"

conv = Iconv.new(‘big5′,‘utf-8′)

chinese_b = conv.iconv(chinese_u)
puts "Search ‘Chinese’…"

index.search_each("Chinese") do |doc, score|

  puts index[doc][‘file’]

end

puts "Search utf8 word of ‘Chinese’…"

index.search_each(chinese_u) do |doc, score|

  puts index[doc][‘file’]

end

puts "Search big5 word of ‘Chinese’…"

index.search_each(chinese_b) do |doc, score|

  puts index[doc][‘file’]

end

上面的 search code 並沒有 index2，這是因為兩段碼是相同的，就沒有加上去了。至於寫的美不美觀，我只是個初學者，第二支 ruby 程式也不要太要求，我連 loop statement 都不太會咧。

執行結果：

Search ‘Chinese’…
./text/big5.txt
./text/utf8.txt
Search utf8 word of ‘Chinese’…
Search big5 word of ‘Chinese’…
Indexer with GENERIC_ANALYZER
Search ‘Chinese’…
./text/big5.txt
./text/utf8.txt
Search utf8 word of ‘Chinese’…
./text/utf8.txt
Search big5 word of ‘Chinese’…
./text/big5.txt

可以看得出來，沒有用 GENERIC_ANALYZER 的 index ，無法搜尋中文字串，而有用 GENERIC_ANALYZER 的 index2 ，結果也符合預期。

結論是我可以再來玩玩 ruby 了。雖然暫時還不會去處理實驗室既有的語料庫，不過自己實驗用的倒可以考慮一下。沒有用 PyLucene 的原因是因為在 gcj 在 FreeBSD amd64 上會有問題啊

[tags] ruby, lucene, ferret [/tags]

我很想啦，老實說，動不動就給你一個亂碼實在是…

[Note] svn + trac 備忘錄

clsung — Thu, 12 Apr 2007 07:04:55 +0000

快速設定：

設定 subversion (svnadmin create…), say path is

/var/svn/yasa
設定 trac, say path is

% trac-admin /home/trac/yasa initenv
填有的沒有的 (under trac-admin)
在 Path to repository [/path/to/repos]> 中填入 /var/svn/yasa (第一步中 svn repo 的目錄)
這步也許你不用，但我要：

chmod -R www:www /home/trac/yasa

可能會遇到的錯誤是如 repository not found…之類的，解法是：

編輯你的 conf/trac.ini ，修正裡面的

repository_dir = /var/svn/yasa
要 re-sync 一下：

% trac-admin /home/trac/yasa resync

[tags] trac, svn, subversion, yasa, repo [/tags]

快快樂樂學 Python – 由 Ferret 與 PyLucene 談起

clsung — Tue, 14 Nov 2006 08:45:25 +0000

標題當然是假的，又不是天才，怎麼快快樂樂學 Python 。也不是要出書，只是不知道要下什麼標題。

事情由來是這樣的，我在 survey 在 FreeBSD 上可以 run 的 lucene 程式，原本中意的是 ferret⁽¹⁾ ，不過看了一下文件發現

API 不相容
不能讀 dotLucene⁽²⁾ 的 index ，其實意思就是跟原生的 Java lucene 不相容啦

基於上述兩個理由，我只好含淚斬 Ruby 了。不然上面那個標題就會是「快快樂樂學 Ruby」了。

Python 有個 PyLucene 可以用，而它其實有點接近原生版本的 Lucene ，因為

API 大致相容，說大致是因為我才剛學，不敢保證
可以 access dotLucene 的 index file ，這很重要，敝實驗室的流派就是點點點⁽³⁾
它是用 gcj 編譯的，感覺會比 Java 快一點，而我也可以確定大部份的功能是相同的。籠統地說，算是 Lucene 的 Python-binding 。

不過說要學個語言不是那麼容易，雖然說比起英語德語加法語來說，學個程式語言比較起來容易太多了，可是沒有個入門文件也是不行的。上網一查「Python」，結果台灣陣亡，第一頁最有用的就是第一筆： Python 教學文件。這可以位在香港的，看來我以前沒學 Python 也不能怪自己，資源少的可憐的感覺，隨隨便便要找個論壇都還來個 404 。

有了入門文件，沒有個中文文件是不行的。在我安裝了 PyLucene 之後，發現要查找中文還真是不可能的任務。程式一 run 下去就來個

SyntaxError: Non-ASCII character ‘xxx’ in file xxxx.py on line xx, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

的訊息，當然人家在 error message 都給了資料了，不去看一下也不對吧。所以，找出原因，只要在程式碼中加入

# -*- coding: utf-8 -*-

就沒事了。…當然不會就這樣沒事，結果你不找問題，問題還是會找上你：

UnicodeEncodeError: ‘ascii’ codec can’t encode character …..

這就糗大了，它又沒說要怎麼辦？只好再次求助 Google 了。結論是，在字串後面加上 .encode("utf-8″) 就可以了。（現在大家都老大不小了，應該改用 utf-8 了吧）

當然在做 Text Processing 的人，少不了要用到 Regular Expression，那入門文件當然是沒有啦。目前我是正在看這裡，如果有人可以指點一二的，也麻煩告訴我一下吧。

先就這樣吧，反正趁有點小空的時候來學學 Python 也不錯，希望以後可以快快樂樂啦。

Reference：

[tags] python, ferret, pylucene, lucene [/tags]

ruby 版的 lucene
dotNet 版的 lucene
甚麼？不不不，我們不是兄弟象

MLSS 2006

clsung — Fri, 04 Aug 2006 15:52:36 +0000

這次的 MLSS 2006 經過了十天的轟炸，終於結束了，對於已經把數學還給老師的我，實在是聽的很辛苦。很多節課，也只能自己先把概念記下來，對於裡頭蘊藏的艱深數學式，只能留待有空再來吸收了。

如果要說最大的收獲，大概就是體重吧，這幾天一天大概是吃五餐 -_- 。早餐在家吃，然後第一節課下課有點心，中午有午餐，下午還有下午茶，晚上回家再吃一次。呃，好像在養什麼一樣< ) 。
這次密集的上課，也讓我與新聞脫節了，除了每天早上聽 News98 之外，好像沒什麼時間在看新聞。這樣也好，發現這兩週過去了，國內的新聞還在「趙建銘」、「阿卿嫂」之類的，好像有多了一個「陳致中夫婦」。沒錯，這些就是我對國內新聞有印象的地方，每天出門前的半小時，新聞就光在報這些，真不知道那些在新聞台上班的人每天都在幹嘛？打混嗎？離題了 :p
上完 MLSS ，學到的東西真是不少，也想好好地磨拳擦掌一番，雖然我沒有能力去鑽研那些數學，不過好好的應用應該也是沒有問題，至少在 implementation 上不會輸人太多吧。能夠發明當然很好，不過能善用已開發的工具，也是能開創新天地的。(i)
以後如果還有什麼相關的 Summer School ，一定要參加啊！
上課的舞台 :p 其實是有投影幕，不過結束了就升上去了。
超舒服（好睡？）的座位。
主辦地點是在「天大地大台科大」，而且還有 101 的 banquet 哦。不過我沒去就是了。

3ware RAID on GOING04

clsung — Thu, 25 May 2006 08:06:36 +0000

Finally I got my going04 machine fire up with Hardware RAID controller
dmesg:

twed0: <unit 0, TwinStor, Normal> on twe0

twed0: 238474MB (488395120 sectors)unit>

for MEMO:

>sudo newfs -i 32768 /dev/twed0a
/dev/twed0a: 238474.2MB (488395104 sectors) block size 16384, fragment size 2048
using 1121 cylinder groups of 212.77MB, 13617 blks, 6848 inodes.
super-block backups (for fsck -b #) at:
160, 435904, 871648, 1307392, 1743136,……, 487597696, 488033440

previous using gvinum (w/o -i 32k):

/dev/mirror/gm0s1: 238472.7MB (488392000 sectors) block size 16384, fragment size 2048 using 1298 cylinder groups of 183.77MB, 11761 blks, 23552 inodes.

gvinum (w/ -i 32k)

dev/mirror/gm0s1: 238472.7MB (488392000 sectors) block size 16384, fragment size 2048 using 1121 cylinder groups of 212.77MB, 13617 blks, 6848 inodes.

悶

clsung — Thu, 05 Jan 2006 09:36:04 +0000

真是悶啊，今天做的實驗要嘛都是 memory exhausted，要嘛就是結果很爛。真是煩人。

看來還是把 suffix array 改的人性化一點好了，本來想做成 web 介面，不過怕要是被 inject 什麼奇怪的 code 就苦了 :p

總是繼續加油吧…希望下張照片是有明亮的感覺呀~_~