Hi! I'm clsung » python

dotCloud first test

clsung — Mon, 23 May 2011 02:41:15 +0000

% pip install -U dotcloud 

% dotcloud create wall

Enter your api key (You can find it at http://www.dotcloud.com/account/settings): 

Created "wall"

% dotcloud deploy -t python wall.ffstream

Created "wall.ffstream".

% dotcloud push wall.ffstream .

# upload . ssh://dotcloud@uploader.dotcloud.com:1060/wall.ffstream

# git

Warning: Permanently added ‘[uploader.dotcloud.com]:1060,[174.129.15.77]:1060′ (RSA) to the list of known hosts.

Counting objects: 17, done.

Delta compression using up to 2 threads.

Compressing objects: 100% (14/14), done.

Writing objects: 100% (17/17), 4.75 KiB, done.

Total 17 (delta 1), reused 0 (delta 0)

To ssh://dotcloud@uploader.dotcloud.com:1060/wall.ffstream

 * [new branch]      master -> master

Scheduling build

Fetching logs…

Warning: Permanently added ‘[ffstream.wall.dotcloud.com]:yyyy,[xxx.xxx.xxx.xxx]:yyyy’ (RSA) to the list of known hosts.

– Build started…

.gitignore

__init__.py

forms.py

friendship.html

manage.py

plurk.py

settings.py

urls.py

views.py

wsgi.py

Fetched code revision c1802d6

Reloading nginx configuration: nginx.

uwsgi: stopped

uwsgi: started

Connection to ffstream.wall.dotcloud.com closed.

Oops, I forget to specify the project is a django project.

% echo django > requirements.txt

% dotcloud push wall.ffstream

….

Downloading Django-1.3.tar.gz (6.5Mb): 6.5Mb downloaded

  Storing download in cache at /home/dotcloud/.pip-cache/http%3A%2F%2Fpypi.python.org%2Fpackages%2Fsource%2FD%2FDjango%2FDjango-1.3.tar.gz

  Running setup.py egg_info for package django

Installing collected packages: django

  Running setup.py install for django

    changing mode of build/scripts-2.6/django-admin.py from 644 to 755

    changing mode of /home/dotcloud/env/bin/django-admin.py to 755

Successfully installed django

Cleaning up…

Reloading nginx configuration: nginx.

uwsgi: stopped

uwsgi: started

Connection to ffstream.wall.dotcloud.com closed.

Okay. Rocks

A Python Script to test Plurk OAuth API

clsung — Wed, 18 May 2011 23:19:30 +0000

Plurk has released API 2. Instead of using their test console, I decided to write a command line console script…

Here is the code:

import oauth2 as oauth
importurlparse
importhttplib
#Plurk OAuth service endpoints:

#obtain request token:

REQUEST_TOKEN_URL = ‘http://www.plurk.com/OAuth/request_token’

#authorization page:

AUTHORIZE_URL = ‘http://www.plurk.com/OAuth/authorize’

#obtain access token:

ACCESS_TOKEN_URL = ‘http://www.plurk.com/OAuth/access_token’

def get_consumer_token():

    # Setup

    print "Prepare the CONSUMER Info"
    verified = ‘n’

    while verified.lower() != ‘y’:

        key = raw_input(‘Input the CONSUMER_KEY: ‘)

        secret = raw_input(‘Input the CONSUMER_SECRET: ‘)

        print ‘Consumer Key: %s’ % str(key)

        print ‘Consumer Secret: %s’ % str(secret)

        verified = raw_input(‘Are you sure? (y/N) ‘)

    return dict({‘KEY’:key,‘SECRET’:secret})
def get_request_token(key, secret):
    # Setup

    consumer = oauth.Consumer(key, secret)

    client = oauth.Client(consumer)

    sign_method = oauth.SignatureMethod_HMAC_SHA1()

    request = oauth.Request.from_consumer_and_token(consumer=consumer,

        http_method=‘POST’, http_url=REQUEST_TOKEN_URL,

        is_form_encoded=True)

    request.sign_request(sign_method, consumer, None)
    # Get Request Token

    resp, content = client.request(REQUEST_TOKEN_URL, "POST",

            headers=request.to_header())

    if resp[‘status’] != ’200′:

        raise Exception("Invalid response %s." % resp[‘status’])
    # Get Token Key/Secret

    token = dict(urlparse.parse_qsl(content))

    print ‘Token Key: %s’ % str(token[‘oauth_token’])

    print ‘Token Secret: %s’ % str(token[‘oauth_token_secret’])

    return token
def get_verifier(token_key):
    # Setup

    print "Open the following URL and authorize it"

    print "%s?oauth_token=%s" % (AUTHORIZE_URL, token_key)
    verified = ‘n’

    while verified.lower() == ‘n’:

        verifier = raw_input(‘Input the verification number: ‘)

        verified = raw_input(‘Are you sure? (y/n) ‘)

    return verifier
def get_access_token(token_key, token_secret, verifier):
    # Setup

    consumer = oauth.Consumer(CONSUMER_KEY, CONSUMER_SECRET)

    token = oauth.Token(token_key, token_secret)

    token.set_verifier(verifier)

    client = oauth.Client(consumer,token)

    request = oauth.Request.from_consumer_and_token(consumer=consumer,

        token=token, http_method=‘POST’, http_url=ACCESS_TOKEN_URL,

        parameters = {‘oauth_token_secret’: token_secret,},

        is_form_encoded=True)

    sign_method = oauth.SignatureMethod_HMAC_SHA1()

    request.sign_request(sign_method, consumer, token)
    # Get Access Token

    resp, content = client.request(ACCESS_TOKEN_URL, "POST",

            headers=request.to_header())

    if resp[‘status’] != ’200′:

        print content

        raise Exception("Invalid response %s." % resp[‘status’])
    # Get Token Key/Secret

    token = dict(urlparse.parse_qsl(content))

    print ‘Access Key: %s’ % str(token[‘oauth_token’])

    print ‘Access Secret: %s’ % str(token[‘oauth_token_secret’])

    return token
if __name__ == ‘__main__’:

    consumer = get_consumer_token()

    token = get_request_token(consumer[‘KEY’], consumer[‘SECRET’])

    verifier = get_verifier(token[‘oauth_token’])

    access_token = get_access_token(token[‘oauth_token’], token[‘oauth_token_secret’],

            verifier)

[python] 新手玩 virtualenv + pip + yolk

clsung — Sun, 03 Apr 2011 16:13:31 +0000

Python 提供了 pip 可以安裝 python packages，也提供了 virtualenv 可以把 develop 環境獨立出來，所以就在我的 MBP 上試看看。

% pip install -U virtualenv

% virtualenv –no-site-packages –distribute sandbox

注意 ‘–no-site-packages’ 這個參數一定要下，這是為了不要去動到原本的 site-packages 目錄，也就是做 "純“ 的啦。至於 ‘–distribute’ 要不要就看個人，我自己是因為新手，所以就用新出來的選項。所以採用 distribute 而不是用原本的 setuptools 。
在還沒進 virtualenv 建出來的環境（簡稱：sandbox，雖然英文打起來比中文還長…..）前，想先安裝任何 python package，比如 "django"，就下

% pip install -E sandbox django

要進 sandbox 就在 sandbox 目錄裡下

% source bin/active

這時候就可以當做沒有 virtualenv 這東西啦，要亂搞任你玩，不過風險責任當然也是自負啦。玩完要閃了，就下

% deactivate

就可以離開 sandbox 啦。
然後 yolk 這玩意，是必備的工具，下

% yolk -l

可以把安裝的套件列出來：

(sandbox) MacBook-Pro:sandbox clsung$ yolk -l
Django – 1.3 – active
Python – 2.7.1 – active development (/usr/local/Cellar/python/2.7.1/lib/python2.7/lib-dynload)
distribute – 0.6.14 – active
pip – 0.8.3 – active
wsgiref – 0.1.2 – active development (/usr/local/Cellar/python/2.7.1/lib/python2.7)
yolk – 0.4.1 – active

這要幹嘛呢，這可以幫助我們下次做一個新的 sandbox 時（換機器，給 team member 用之類的），就照著安裝就好了。更好的方法是讓 sandbox 可以自動安裝。這時換回 pip ，下

% pip freeze > req.txt

就可以看到 req.txt 有

Django==1.3
distribute==0.6.14
wsgiref==0.1.2
yolk==0.4.1

那麼假如我們要弄個叫 starbucks 的環境，就只要在 pip install 時加個 -r req.txt 就可以啦：

% pip install -E starbucks -r req.txt

介紹完畢！

Update 2011/12/23: virtualenv 1.7 版將 ‘–no-site-packages’ 設為 default ，所以可以不加此參數。

[Python] Natural Language Toolkit (NLTK) – Part I

clsung — Mon, 07 Dec 2009 09:40:09 +0000

對於自然語言處理有興趣的人一定要碰的 Natural Language Toolkit (NLTK) 是用 Python 寫的….

本身它就有詳細的文件及書可以參考，所以當然不用從頭介紹。

現在老師出了一個題目，要你算出某些文章的詞頻分佈，還有更進一步的統計。

而學生要做的第一件事，就是把文章可以讀進來。能讀取 corpora 是 NLP 的一小步，可是沒有這一小步，就好像上籃不墊步，很容易被吹走步。…..

NLTK 提供了幾種 corpus 讀取的方式，可以由書中第二章找到。因為我們要處理的資料是由手邊可得的文件亂選出來的，所以符合的 corpus 種類為 isolated。這部份可以參考的程式碼，可以看看 NLTK 是怎麼處理 webtext 的。那我們要用，就要如法炮製一下囉：

我選的是 nytimes 的新聞，因此把文章收集起來，全部丟到 ~/nltk_data/corpus/nyt 下，並加上如下的程式碼就可以操作 nyt 的文章了。

from nltk.corpus.utilimport LazyCorpusLoader
from nltk.corpus.readerimport*
nyt = LazyCorpusLoader(

    ‘nyt’, PlaintextCorpusReader, r‘(?!README|.).*’)

LazyCorpusLoader 讓你可以讀取任意的資料，’nyt’ 指定的是在 ~/nltk_data/corpus 下的目錄， PlaintextCorpusReader 指定的就是 isolated corpus ，而最後面就是有符合該 regex pattern 的檔案了。

當然，有別的作法，書中都有，Chapter 3 就有足夠的範例了。可以自行讀入 raw data，再用 nltk.word_tokenize() 轉化也行，以開檔案來說：

import nltk, re, pprint
f = open(‘document.txt’)

raw = f.read()

tokens = nltk.word_tokenize(raw)

第一步，就這樣。

Python Modules Intro 20091123

clsung — Mon, 23 Nov 2009 15:13:00 +0000

神奇的 PyMOTW 模組…
PyMOTW 是 PYthon Module Of The Week 的簡寫。為什麼說它神奇呢，因為這算是個教學的模組，你不能拿它直接寫/用 Python 程式，可是你可以經由它學習如何寫 Python。它的簡介是這麼說的:

The Python Module of the Week series, or PyMOTW, is a tour of the Python standard library through short examples.

換中文說，就是讓你由範例中學習 Python 的標準函式庫。當然，它也有網頁版(我不確定這樣講對不對 :p)，最近幾期的內容集中在 sys 這個 module，目前(20091123)內容是 Modules and Imports。

不過就我個人而言，用 RSS 訂比 d/l 下來看(compile? :p)還來得方便。

PyLucene Win32 on googlecode

clsung — Thu, 10 Apr 2008 06:34:26 +0000

之前要相容地使用 Lucene 的 Index ，所以花了不上功夫在 FreeBSD 上玩 PyLucene。

為了在 Win32 上也可以用 PyLucene，先是去 download 了 python ，再試圖由這裡下載 binary 檔，沒想到竟然一個說我區域不對（這裡不是北京啊～～～），一個是根本連不到。不死心再 google 了一下，發現了這個專案，不錯。

是說 PyLucene 竟然沒有 2.3 的 source tar ball，不知道是在幹嘛？這樣我很難 update textproc/py-lucene 啊。

Perl 屬於專業編程語言

clsung — Wed, 17 Jan 2007 13:59:52 +0000

是的，不要懷疑，就如同標題所說的，「Perl 屬於專業編程語言」。看標題就知道這些日子以來我並沒有因為學了 python 與 ruby 就把 Perl 丟到一旁⁽¹⁾ 。

為什麼「Perl 屬於專業編程語言」？原因很簡單，其一：阿西摩寫了這個。裡面提到了一句經典：＂Java 屬於工業編程語言＂；其二，thegiive 發表了這篇，公告了＂以後 Ruby 正式成為商業編程語言＂。當然， python 這裡也有大師級的開講與感想。

所以，身為 Perl 使用者⁽²⁾ ，不得不站出來講一下話了（php 實在是太少用了 :~）。

我也決定，從今天開始，公告「Perl 屬於專業編程語言」。

謝謝大家。

看我多重視，Perl 的 "P" 還大寫哦
是嗎？可是分類裡沒有 Perl 耶

快快樂樂學 Python – 由 Ferret 與 PyLucene 談起

clsung — Tue, 14 Nov 2006 08:45:25 +0000

標題當然是假的，又不是天才，怎麼快快樂樂學 Python 。也不是要出書，只是不知道要下什麼標題。

事情由來是這樣的，我在 survey 在 FreeBSD 上可以 run 的 lucene 程式，原本中意的是 ferret⁽¹⁾ ，不過看了一下文件發現

API 不相容
不能讀 dotLucene⁽²⁾ 的 index ，其實意思就是跟原生的 Java lucene 不相容啦

基於上述兩個理由，我只好含淚斬 Ruby 了。不然上面那個標題就會是「快快樂樂學 Ruby」了。

Python 有個 PyLucene 可以用，而它其實有點接近原生版本的 Lucene ，因為

API 大致相容，說大致是因為我才剛學，不敢保證
可以 access dotLucene 的 index file ，這很重要，敝實驗室的流派就是點點點⁽³⁾
它是用 gcj 編譯的，感覺會比 Java 快一點，而我也可以確定大部份的功能是相同的。籠統地說，算是 Lucene 的 Python-binding 。

不過說要學個語言不是那麼容易，雖然說比起英語德語加法語來說，學個程式語言比較起來容易太多了，可是沒有個入門文件也是不行的。上網一查「Python」，結果台灣陣亡，第一頁最有用的就是第一筆： Python 教學文件。這可以位在香港的，看來我以前沒學 Python 也不能怪自己，資源少的可憐的感覺，隨隨便便要找個論壇都還來個 404 。

有了入門文件，沒有個中文文件是不行的。在我安裝了 PyLucene 之後，發現要查找中文還真是不可能的任務。程式一 run 下去就來個

SyntaxError: Non-ASCII character ‘xxx’ in file xxxx.py on line xx, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

的訊息，當然人家在 error message 都給了資料了，不去看一下也不對吧。所以，找出原因，只要在程式碼中加入

# -*- coding: utf-8 -*-

就沒事了。…當然不會就這樣沒事，結果你不找問題，問題還是會找上你：

UnicodeEncodeError: ‘ascii’ codec can’t encode character …..

這就糗大了，它又沒說要怎麼辦？只好再次求助 Google 了。結論是，在字串後面加上 .encode("utf-8″) 就可以了。（現在大家都老大不小了，應該改用 utf-8 了吧）

當然在做 Text Processing 的人，少不了要用到 Regular Expression，那入門文件當然是沒有啦。目前我是正在看這裡，如果有人可以指點一二的，也麻煩告訴我一下吧。

先就這樣吧，反正趁有點小空的時候來學學 Python 也不錯，希望以後可以快快樂樂啦。

Reference：

[tags] python, ferret, pylucene, lucene [/tags]

ruby 版的 lucene
dotNet 版的 lucene
甚麼？不不不，我們不是兄弟象