Hi! I'm clsung » ruby http://blog.dragon2.net clsung's blog site Mon, 06 Feb 2012 09:29:00 +0000 en hourly 1 http://wordpress.org/?v= 快快樂樂學 Ruby – 再談 Ferret http://blog.dragon2.net/2007/05/18/461.php http://blog.dragon2.net/2007/05/18/461.php#comments Fri, 18 May 2007 02:56:37 +0000 clsung http://blog.dragon2.net/2007/05/18/461.php 這只是為了要呼應之前的舊文章…

話說昨天早上到了實驗室，發現 b6s 前一晚留給我有關 Ferret 的訊息。兩點，第一是 lukhnos實作了 Ferret 處理中文的方法，在這裡。當然，處理中文很重要，但並不是我棄 Ferret 保 PyLucene 的原因。而 b6s 留的另一個訊息是 Ferret 處理原生 Lucene 的 cfs 索引檔有解（或是將要有解）。這就有點意思了，因為我們實驗室的 index 如果不能用 Ferret 讀，那其實有點英雄無用武之地的感覺。

但是最後讓我再來試 Ferret 的原因，卻還是第一個：中文。

原先 lukhnos 的文章中的 regex 可以適當地處理 ASCII、歐語以及 CJK（UTF-8 碼）字元，雖然我不確定有沒有包含越南（CJKV？）不過 UTF-8 碼的 regex 就在這裡了，要自己改也是沒什麼問題。那對於 Big5 碼呢？其實現在的時代，用 Big5 碼的人逐步減少了，不過還是在國內佔大宗吧？像聯合新聞網、中時電子報還有自由電子報都還在使用 Big5 。雖然我們 *現在* 使用的軟體大多在處理這些語料時會先轉為 UTF-8 再分析，但也不能就此就把 Big5 丟到一邊去(1)。

所以我改了 lukhnos 的 GENERIC_ANALYSIS_REGEX ，加上 Big5 的部份，有關 code range 可以參考 O’Reilly 的這篇論文：

GENERIC_ANALYSIS_REGEX = /([a-zA-Z]|[xc0-xdf][x80-xbf])+|[0-9]+|[xe0-xef][x80-xbf][x80-xbf]|[xa1-xfe][x40-x7exa1-xfe]/

新加的部份是

[xa1-xfe][x40-x7exa1-xfe]

當然，要測試一下，在這之前我分開放了兩個文字檔，內容很簡單：

  • big5.txt

    中文
    大五碼中文
    Chinese

  • utf8.txt

    中文
    八萬碼中文
    Chinese

當然這樣看不出什麼端倪，用 vi 來看一下內文的編碼：

  • big5.txt

    xa4xa4xa4xe5
    xa4jxa4xadxbdXxa4xa4xa4xe5
    Chinese

  • utf8.txt

    xe4xb8xadxe6x96x87
    xe5x85xabxe8x90xacxe7xa2xbcxe4xb8xadxe6x96x87
    Chinese

這樣就很清楚啦。接下來是測試程式的片段：

GENERIC_ANALYSIS_REGEX = /([a-zA-Z]|[xc0-xdf][x80-xbf])+|[0-9]+|[xe0-xef][x80-xbf][x80-xbf]|[xa1-xfe][x40-x7exa1-xfe]/
GENERIC_ANALYZER = Analysis::RegExpAnalyzer.new(GENERIC_ANALYSIS_REGEX, true)
index = Index::Index.new()
index2 = Index::Index.new(:analyzer => GENERIC_ANALYZER)

…

chinese_u = "中文"
conv = Iconv.new(‘big5′,‘utf-8′)
chinese_b = conv.iconv(chinese_u)

puts "Search ‘Chinese’…"
index.search_each("Chinese") do |doc, score|
  puts index[doc][‘file’]
end
puts "Search utf8 word of ‘Chinese’…"
index.search_each(chinese_u) do |doc, score|
  puts index[doc][‘file’]
end
puts "Search big5 word of ‘Chinese’…"
index.search_each(chinese_b) do |doc, score|
  puts index[doc][‘file’]
end

上面的 search code 並沒有 index2，這是因為兩段碼是相同的，就沒有加上去了。至於寫的美不美觀，我只是個初學者，第二支 ruby 程式也不要太要求，我連 loop statement 都不太會咧。

執行結果：

Search ‘Chinese’…
./text/big5.txt
./text/utf8.txt
Search utf8 word of ‘Chinese’…
Search big5 word of ‘Chinese’…
Indexer with GENERIC_ANALYZER
Search ‘Chinese’…
./text/big5.txt
./text/utf8.txt
Search utf8 word of ‘Chinese’…
./text/utf8.txt
Search big5 word of ‘Chinese’…
./text/big5.txt

可以看得出來，沒有用 GENERIC_ANALYZER 的 index ，無法搜尋中文字串，而有用 GENERIC_ANALYZER 的 index2 ，結果也符合預期。

結論是我可以再來玩玩 ruby 了。雖然暫時還不會去處理實驗室既有的語料庫，不過自己實驗用的倒可以考慮一下。沒有用 PyLucene 的原因是因為在 gcj 在 FreeBSD amd64 上會有問題啊 :(

[tags] ruby, lucene, ferret [/tags]

  1. 我很想啦，老實說，動不動就給你一個亂碼實在是…
]]> http://blog.dragon2.net/2007/05/18/461.php/feed 3 Perl 屬於專業編程語言 http://blog.dragon2.net/2007/01/17/425.php http://blog.dragon2.net/2007/01/17/425.php#comments Wed, 17 Jan 2007 13:59:52 +0000 clsung http://blog.dragon2.net/2007/01/17/425.php 是的，不要懷疑，就如同標題所說的，「Perl 屬於專業編程語言」。看標題就知道這些日子以來我並沒有因為學了 python 與 ruby 就把 Perl 丟到一旁(1) 。

為什麼「Perl 屬於專業編程語言」？原因很簡單，其一：阿西摩寫了這個。裡面提到了一句經典：＂Java 屬於工業編程語言＂；其二，thegiive 發表了這篇，公告了＂以後 Ruby 正式成為商業編程語言＂。當然， python 這裡也有大師級的開講與感想。

所以，身為 Perl 使用者(2) ，不得不站出來講一下話了（php 實在是太少用了 :~）。

我也決定，從今天開始，公告「Perl 屬於專業編程語言」。

謝謝大家。

  1. 看我多重視，Perl 的 "P" 還大寫哦
  2. 是嗎？可是分類裡沒有 Perl 耶
]]> http://blog.dragon2.net/2007/01/17/425.php/feed 2 [ruby] 第一支 ruby 程式 http://blog.dragon2.net/2007/01/12/421.php http://blog.dragon2.net/2007/01/12/421.php#comments Fri, 12 Jan 2007 08:35:08 +0000 clsung http://blog.dragon2.net/2007/01/12/421.php 寫 paper 寫到快瘋掉時，就會想做點奇怪的事。

早上翻到 Tsung 的文章，有 sed/perl 寫的 Y! dictionary script，然後手也癢了起來。用 python 寫嗎？可是感覺失去挑戰性了，畢竟已經是初學者的身份了，拿這個寫就沒有學習的快樂了。所以就挑上 ruby 啦，反正也是照著彥明的 script 直翻，大概就像這樣啦：

完整的程式在這裡。唔，因為 ports 裡沒有 term-ansicolor，所以我也順手送上去了。

def ydict (shift)
    raise ArgumentError, ‘Must specify word’ if shift == nil
    include Term::ANSIColor
    Net::HTTP.start(‘tw.dictionary.yahoo.com’, 80) {|http|
        response = http.get(‘/search?p=’ + shift)
        @html = response.body
    }
    if ENV[‘LC_CTYPE’] =~ /Big5/
        @html = Iconv.new(‘big5′, ‘utf-8′).iconv(@html)
    end
    i = 0
    html = @html.gsub /r/, ""
    html = html.gsub /n/, ""
    if html =~ /<em class="warning">/
        if html =~ /<em class="warning">.*?>(S+)<.*?</em>/
            q = $1;
            print bold , yellow , "nERROR: ", shift , " -> " , q , "n",  reset
            return ydict(q)
        else
            print bold , yellow , "ERROR: ", shift , "n",  reset
            return
        end
    end
    print bold , yellow , "n" + shift + "n" , reset
    while html =~ /<div class=p(w+)>(.*?)</div>/i
        type = $1
        line = $2
        html = $‘
        $reset = reset
        line = line.gsub /^s+/, ""
        line = line.gsub /s+$/, ""
        if type == ‘cixin‘
            i = 0
            $color = bold, red
        elsif type == ‘chi‘ or type == ‘eng‘
            $color = cyan;
            $reset = reset  + $color
            line = "t" + line
        elsif type == ‘explain‘
            i = i + 1
            line = i.to_s + " " + line
        else
            color = bold, blue
            next
        end
        line = line.gsub /<b>/, bold
        line = line.gsub /</b>/, $reset
        line = line.gsub /<[^>]+>/, $reset
        print $color , line + "n" , reset
    end
    puts ""
end

ydict(ARGV[0])

看起來好像可以再簡化（比如說 "+=" 或 ".=" 這東西不知道有沒有相對應的），不過第一個 ruby 程式就不用太講究啦。 :)

]]> http://blog.dragon2.net/2007/01/12/421.php/feed 0