WindowsへのTreeTaggerのインストール方法

すぐに忘れてしまうので、WindowsへのTreeTaggernoインストール方法をメモしておきます。
（以下は英語の場合の説明です。）



まず、
http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/
から
tree-tagger-windows-3.2.zip
english-par-linux-3.2-utf8.bin.gz
の2ファイルをダウンロードします。（バージョンはこの記事を執筆時点のものです。）

次に、
tree-tagger-windows-3.2.zip
内のTreeTaggerフォルダを任意の場所に置きます。
それから、
english-par-linux-3.2-utf8.bin.gz
内のenglish-utf8を上記TreeTagger\libに置きます。
最後に、TreeTagger\bin内のtagger-english.batの3行目の
set TAGDIR=C:\TreeTagger
を実際のディレクトリに変更します。

パスを通したりしなくても、これだけで、
(フルパス)\tagger-english 処理したいファイル > 出力
とするとタグ付けができます。

Windowsのコマンドプロンプトで同一フォルダ内の同一拡張子のファイルをまとめる方法

Windowsのコマンドプロンプトで同一フォルダ内の同一拡張子のファイルをまとめる方法の覚え書きです。
type *.txt > all
ポイントは出力先ファイルには入力ファイルと同じ拡張子を付けないということです。
出力先に、まとめる入力ファイルと同じ拡張子を付けてしまうと、出力先として意図したファイルも入力されてしまって内容が重複してしまうためです。

簡単便利な同期ソフトSynctoy

USBメモリとPC上の特定のフォルダを同期するのによいソフトの紹介です。
SyncToy
http://www.microsoft.com/en-us/download/details.aspx?id=15155

最初にペアリングをしておくと、以降はボタンひとつで同期してくれる、きわめて便利なソフトです。
マイクロソフト製ですので、(割りと?)信頼もできます。
同期しないフォルダの指定などもでき、シンプルながら必要十分な機能を持ったよいソフトだと思います。

最近PCを入れ替えた際に、設定のバックアップ・リストアができないものかと調べたところ、
%localappdata%\microsoft\synctoy\2.0\SyncToyDirPairs.bin
が設定ファイルになっているようで、これを新しいPCにSyncToyをインストールして一度起動した後でコピーすると、無事に設定がリストアされました。

よいお年を

今年は勤務先も変わり、新たな環境で新しいことがたくさんある、ものすごく忙しい年でした。ですが、刺激に満ちていて、本当にあっという間に時間が過ぎていったという感じです。
教育も研究もその他の仕事も、反省すべき点が多くありましたが、それは改善によってよりよいものになる余地があるということだと、前向きに考えることにします。
来年は教育やその他の仕事はもちろんのことですが、最近ぱっとしない研究に特に力を入れたいと思います。
2012年がみなさまにとって良い一年になりますように。

MLA Handbookのウェブ版

MLA Handbook for Writers of Research Papersの最新7版を購入したところ、コンパニオンウェブサイトで全文+αが見られるというサービスが付いてきました。
これで、論文を書いているときに、「ああ、MLA Handbookが研究室(または家)にあって、今参照できないorz」という悲しい事態が起きなくなります。
APA Manualでも同様のサービスが始まらないかなぁ。

サーバー移行完了

ファイルのリンクを含む過去のブログデータの移行が完了しました。

メールサーバーの移行も完了したと思います。

もしファイルにアクセスできない、メールが送れない、などの問題がありましたらお知らせください。

DNSサーバー変更

少なくともYahooメールからのメールが正しく送れないようなので、DNSサーバーの設定を変更しました。
これで解決するといいのですが。

Bloggerはファイルのアップロードができない

ブログの過去のエントリーは全て移行しました。
ただし、Bloggerは写真以外のファイルをアップロードできないことが判明。
というわけで、現在のところ、ファイルへのリンクは切れています。
Google Docsを使って、そこにリンクを張る形にするか・・・。
いずれにしても、近日中に対処します。

サーバー移転

ブログをさくらのレンタルサーバーからBloggerに移動しました。
メールサーバーもさくらのレンタルサーバーからGoogle Appsに移動しましたので、メールを送ったのに、(あるはずの)返信がない、エラーメールが戻ってきた、などの場合は、こちらのブログエントリーへのコメント・電話・郵便・直接訪問・・・などの手段でご連絡ください。
過去のエントリーは追って掲載します。

京都

Asialex 2011で京都に来ています。
自分の発表は初日でしたが、二日間の発表が無事終わりました。

新年度、新環境

今日から所属が変わりました。
新しい環境で心機一転、教育はもちろん、研究にも力を注ぎたいと思います。

2011年もよろしくお願いいたします

あっという間に2010年も終わり、今日から新たな一年です。
2010年は研究面でも教育面でも最低限のことはやったと言えると思いますが、残念ながら満足できるものとは言えませんでした。
2011年は研究面でも教育面でも大きな進展を目指してがんばりたいと思います。
昨年お世話になったみなさま、ありがとうございました。今年もよろしくお願いいたします。
今年新たにお世話になるみなさま、よろしくお願いいたします。

OALD8のEPWING化

OALD8をEPWINGに変換するツールが公開されました。
URLはEBシリーズサポート掲示板の投稿です。
http://hishida.s271.xrea.com/wforum_eb/wforum.cgi?no=619&reno=600&oya=600&mode=msgview&page=0

oald7-fpwを使ってOALD7を変換したものと比べて、以下の利点があります。
・Windows環境のみで簡単に変換できる。
・発音記号が表示される。
・用例ごとに改行される。
・参照にリンクが付いている。
・example bankも表示される。
語源やexample bankなどの追加情報はエントリー末尾に表示されるのでうるさくありません。

example bankに含まれる多くの用例が他のEPWING辞書と簡単に切り替えながら参照できるようになったので、非常にうれしいです。
(Logophileでは以前から、example bankも含めてOALD8が表示できますが、起動が遅いのでちょっと使うのが億劫です。)

PerlとXPathでXMLファイルの処理

XMLファイルに対して正規表現で処理をしていたのを、XPathを使ってもっと楽にできないかとやってみました。
XMLとはどんなものか、という非常に初歩的なことしか分からない超初心者ですが、Active PerlのパッケージシステムからXML::XPathのモジュールをインストールして、小さなテストファイルでやってみたところ、なんとかなりました。
今更ですが、XMLエディターで構造を見て、あとはXPathでノード名を使って処理というのが簡単な処理方法だと実感しました。

英辞郎のデータ形式

英辞郎から用例データを抽出しようと思い、データ形式について調べたところ
http://www.eijiro.jp/kensaku2/files.htm
に情報がありました。
ただ、上記のページには「●」が文例の開始点を示すと書いてあるのですが、Version 116のデータでは「■・」が文例の開始点になっていました。

データ形式がわかったところで、Perlで処理しようとしたのですが、文字コードの扱いに悪戦苦闘。検索・置換の際にこの記号類がちょっと邪魔をします。
いろいろと試行錯誤して時間をとられたのですが、結局今回はエディターの置換で済ませました。

いずれ文字コードの扱いについてよく勉強する必要があるということは分かりました。

英辞郎 on the WEBの整列・頻度集計機能

metal-heartさんの記事で知ったのですが、英辞郎 on the WEBで整列・頻度集計機能が利用できるようになっています。
つまり、英辞郎データに対してKWIC表示や共起語の頻度集計が利用可能だということです。
調べたところどうやら2月初頭から利用できるようになっていたようです。
ちょうど来週話すネタがこういう話だったので、これも紹介することにします。

β 版ということで、将来有料化されたりする可能性もありそうですが、その時はちょうど私が今作っている辞書データKWIC表示CGIを公開して、(当然英辞郎のデータを正当に所持している個人が自分専用に使うという制限は付きますが、)英辞郎データも簡単にKWIC表示できるようにするお手伝いはできそうです。
(まあ「簡単に」とはいってもウェブサーバーでCGIを動かさなくてはいけないので、「簡単」とは言い難いのですが。JAVAとかで作ればスタンドアロンで完結しますが、自分が必要としないのでそこまでのことはしようとも思いませんし・・・。)

kaoiro

朝のテレビで見た顔文字専用スタンプkaoiroが気になりました。
小テストとかで押して返却すると楽しいかも。

シェルでの複数コマンドの連続実行

bashなどでは複数のコマンドを連続して実行するには、;で区切ればいいのですが、これをWindowsのコマンドプロンプトでやろうとしても正しく処理されず、困ってしまいました。
調べたところ、コマンドプロンプトでは&が同等の機能を担うということが分かりました。

こういう細かい違いが結構あるので、LinuxとWindowsの両方を使っているとストレスを感じます。
Windows PowerShellをインストールすると、bash感覚により近づきそうですが、まだ試してはいません。

EFL辞書の定義語彙

現在主要英英辞典の定義語彙データを作ろうとしているのですが、各辞書の定義語彙データの有無についてまとめてみました。

一番簡単なのはOALD7で、データが掲載されています。
http://www.oup.com/elt/catalogue/teachersites/oald7/oxford_3000/oxford_3000_list?cc=global

次に簡単なのはMED2です。
CD-ROMのヘルプに定義語彙データがあります。
アルファベット別になっているので、まとめるのは若干手間がかかりますが、作業は簡単にできます。

ここから先は容易ではないものです。

まずはLDOCE5。Longman Defining Vocabularyの古いバージョンとおぼしきデータはいろいろと見つかりますが、どれも最新のものではありません。(http:// は外してあります。)
www.cs.utexas.edu/~kbarker/working_notes/ldoce-vocab.html
wiki.frath.net/Longman_Defining_Vocabulary/alphabetically
home.earthlink.net/~neilbawd/longman.txt
www.pu-kumamoto.ac.jp/~jay/class/modeng/handouts/ldv.html
www2.cmp.uea.ac.uk/~jrk/conlang.dir/LongmanVocab.html
www.luweixmu.com/home/article.asp?id=33
見つけた中では一番下のものがLDOCE5のデータに一番近いようです。これをもとに書籍版誌面と見比べて修正していくのが一番楽そうです。
なお、LAAD2の定義語彙はでPDFデータで提供されていますが、LDOCE5のものとは品詞の表示なども含めれば結構違います。
http://longmanusahome.com/dictionaries/defining.php

COBUILD6については、定義語彙も書籍版紙面には載っているのですが、データとしては存在しないようです。
約3,000項目あるので、手で入力するよりは、スキャンしてOCR処理をして修正した方が早そうです。

一番問題なのはCALD3で、そもそも定義語彙が明らかにされていないようです。
ただ、定義のデータはあるので、これを見出し語化して、定義の中で定義語以外だと明示されている語を除けば、(想定版)定義語彙データが作れそうです。



その後LDOCE5とCOBUILD6の定義語彙データは作成が完了しました。

テキストファイルからKWICコンコーダンスを生成するCGI

テキストファイルからKWICコンコーダンスを生成するCGIスクリプトを探しました。
そんなものはいくらでもあるだろうと思ったのですが、探し方が悪かったのか、意外にもほとんどありませんでした。
その中で見つけたのがPerlconcです。
まだ一部機能が実装されていないなどの残念な点はありますが、正規表現を使って複数のテキストが自由に選択できて、見やすいですし、割と良さそうな感じです。

ただ、開発が0.3で完全に止まっていますし、今後のアップデートもないでしょう。
また、230行目の「href」の前の二重引用符がエスケープされていないため、そのままではエラーとなります。
この点だけ修正すれば、最低限使うことはできます。

これをベースにいろいろ手を入れていけば使いやすいものにできそうです。
あるいは、この実装を参考にゼロから作り直した方が早いかもしれませんが。



その後さっそく改造して、Unicode対応にして、日本語のファイル名・テキスト・検索キーワードも適切に扱えるようにました。
これでそれなりに使えるようになりました。
いずれ気が向いたら公開するかもしれません。