お知らせ

Excelでできるらくらく統計解析2010年4月7日

Excelでできるらくらく統計解析」が発売されました。
Excelを使って、ヒストグラム作成から推定・検定・多変量解析といった統計行う方法を解説しています。
多数の式を入力する必要がある処理は、「統計アドイン」で簡単に行えるようになっています。

他にも多数書籍を執筆しています。
こちらもぜひご覧ください。

日本語でないスパムをフィルタするプラグイン(MT3.2以降用)

| コメント(22) | トラックバック(53)

Blogが一般化するにつれて、コメントやトラックバックを使ったスパムが増えました。
Movable Type 3.2ではスパム対策機能が強化され、プラグインを追加することでさまざまなスパム対策ができるようになっています。

スパムの中では、海外から送信されてくるものが多いです。
そこで、Movable Type 3.2以降用に、日本語を含まないコメントやトラックバックをスパムとみなしてフィルタリングするプラグインを作ってみました。

スパムの判定基準

このプラグインでは、全角/ひらがな/句読点の文字が含まれているかどうかで、日本語のコメント/トラックバックであるかどうかを判断します。
これらの文字が指定した文字数以上含まれていれば、日本語(スパムではない)と判断します。
そうでなければスパムとみなします。

なお、スパムかどうかを判断する際には、以下の部分が検索の対象になります。

  • コメント → 投稿者名/メールアドレス/URL/コメントの本文
  • トラックバック → Blog名/送信元URL/トラックバックの概要

インストール

まず、以下のアドレスに接続して、プラグインのファイルをダウンロードしてください。

NotJapaneseLookup.zip

プラグインの継続的な開発やサポートのために、プラグインをご利用された方は、ドネーション(寄付)を行っていただけると幸いです。
ドネーションの方法は、こちらのページをご参照ください。

また、このプラグインの他にも、いくつかのプラグインを配布しています。
配布中のプラグインは、Movable Type Plugin Directoryのページをご参照ください。

Movable Typeのプラグイン開発等のドキュメント「Movable Type Developer's Guide Volume 1」も販売しています。
ご自分でプラグインを作ってみたい方に、ぜひお勧めしたい一冊です。
詳細は特設ページをご覧ください。

ファイルはZip形式で圧縮してあります。
解凍すると、「NotJapaneseLookup.pl」というファイルができますので、それをMovable Typeの「plugins」フォルダにアップロードしてください。

設定

Movable Typeにログインし、個々のBlogのメニューを開いて、「設定」画面の「プラグイン」のタブを表示します。
すると、プラグイン一覧の中に「Not Japanese Lookup」がありますので、「設定を表示」のリンクをクリックして設定を開きます、スパムと判断する条件を設定します。

標準では、以下の画面のような設定になっています。
この場合、「全角文字を1文字以上含めば、日本語(スパムでない)とみなす」という設定になります。

↓設定画面の例(クリックすると元の大きさで表示します)
プラグインの標準設定

全角文字を含み、かつひらがなや句読点を含むものだけを、日本語とみなすようにすることもできます。
例えば、「全角文字を5文字以上含み、かつひらがなを2文字以上と句読点を1文字以上含む場合は、日本語とみなす」というようにしたい場合、以下のように設定します。

  • 「全角文字を」の欄 → 5
  • 「ひらがなを」の欄 → 2
  • 「句読点を」の欄 → 1

設定が終わったら、「変更を保存」のボタンをクリックします。

他のスパム対策プラグインとの兼ね合い

Movable Type 3.2のスパム対策機能では、複数のスパム対策プラグインを組み合わせて、スパムかどうかを判断することができます。

個々のスパム対策プラグインは、コメントやトラックバックに「スコア」をつけます。
スパムとみなす場合は、通常はマイナスのスコアがつきます。
そうでない場合は、スコアは通常は0になります。
NotJapaneseLookupプラグインでは、日本語でないコメント/トラックバックには、標準では-1のスコアをつけます。

また、プラグインによっては、プラスのスコアをつけるものもあります。
例えば、MT3.2標準の「SpamLookup - Link」のプラグインでは、過去にコメント/トラックバックしたことがある人からのコメント/トラックバックには、標準では+1のスコアをつけるようになっています。

各プラグインのスコアが出たら、それらが平均されます。
そして、その平均値が「判断基準値」より低ければ、スパムとみなすようになっています。
判断基準値は、Blogの設定の「コメント/トラックバック」のタブの「迷惑コメント/トラックバック」の箇所で設定することができます。
標準ではこの値は0に設定されていますので、スコアの平均値が0より小さい場合は、スパムとみなされることになります。

このような仕組みのため、あるプラグインが判断基準値より小さいスコアをつけても、他のプラグインが判断基準値より大きいスコアをつけると、平均が判断基準値を越えて、スパムでないとみなされる場合があります。
例えば、プラグインAが-1のスコアをつけ、プラグインBが+2のスコアをつけると、平均は+0.5になります。
もし、判断基準値を0に設定していると、このコメント/トラックバックは、スパムでないと判断されることになります。

このような状況に備えて、NotJapaneseLookupプラグインでは、スコアのつけ方を設定することができます。
プラグインの設定の画面に、スコアを設定する欄があります。

前述したように、日本語でないコメント/トラックバックには、標準では-1のスコアをつけます。
もっと低いスコアをつけるように設定すれば、スコアの平均値が判断基準値を上回る可能性は低くなります。

トラックバック(53)

トラックバックURL: http://www.h-fj.com/mt/mt-tb.cgi/309.

今朝 ここ で書いた スパムコメントですが、これがもう、少々の数ではなくなってき... 続きを読む

最近スパムコメントがとっても増えました。 一日に100は来ないですが、それに近... 続きを読む

コメントスパムがやってきたで設定したはずのコメントスパム対策ですが、MT3.2で... 続きを読む

Movable Typeを3.2にして2週間チョッと。新機能の迷惑コメントを見... 続きを読む

21時前後からコメントスパムの攻撃を受け続けています。50件くらい来たかな。 M... 続きを読む

ここ24時間くらいの間に100以上のトラックバックスパムが来てました。 まあ、「... 続きを読む

ここのところ、コメント&トラックバックスパムが大量に届き、ついにその件数が3日間で250件を超えました。 大半は、MT標準のフィルターがカットしてくれます... 続きを読む

spam対策で、良さそうなプラグインが。 早速いただきます。 The blog of H.Fujim... 続きを読む

MT3.2から標準搭載されたスパム・フィルタープラグインが24時間活躍しているけ... 続きを読む

最近スパムコメントが来るようになったのでThe blog of H.Fujimo... 続きを読む

GW中、メールチェックすらせずのほほ~んとしてたうるさんなんですが、何が驚いたっ... 続きを読む

最近、海外からのスパムなコメントが書き込まれるようになってしまいました。標準のフィルタープラグインでもすり抜けてしまい、意味不明なコメントが最近のコメント... 続きを読む

コメントをいただくとメール転送する設定にしてあるのですが、昨日の朝PCを立ち上げ... 続きを読む

文車に燃ゆ恋文 - スパム撃退 (2006年5月16日 22:52)

昨日、スパムに襲われているエントリを書きましたが、さすがインターネット!(笑) あっという間にコメントをいただき、あっという間に望んでいたプラグインがサ... 続きを読む

最近MT3.2のSpamLookupプラグインを潜り抜けてくる鬱陶しいスパムが... 続きを読む

【アダ被の部屋】のblog - blogのコメントスパム (2006年6月 4日 10:03)

MTを3.2にしてからこれまでほとんど来なかったのに、5月の半ばくらいから突然... 続きを読む

MT3.2になってからも日に数~十数件来る海外からのスパムコメント・TB対策にThe blog of H.Fujimotoさんのところのプラグインを利用す... 続きを読む

MT3.3がリリースされ、タグ機能とかが強化されたようですね。ちょっと古いバー... 続きを読む

バージョンを3.3へアップグレードしてからというもの コメントスパムがいっぱいく... 続きを読む

8月に入ってトラックバック スパムがすごい勢いで降って来てます。 中には、記事へ... 続きを読む

The blog of H.Fujimoto:日本語でないスパムをフィルタするプ... 続きを読む

MTを3.33にあげて、だいぶspamから開放されたのですが、 まだ海外からのs... 続きを読む

あけましてからかなり時間が経ちましたが、みなさまおめでとうございました。昨年末以... 続きを読む

nyon2.netは0 Limited Executionを応援しています。 - コメントスパム対策 (2007年2月 4日 18:34)

弟のブログはコメントスパム対策をダメIPをブロックしてるらしい。 そんなわけで、... 続きを読む

稼ぐノウハウを駆使して効率アップ!時短アフィリエイト術 - MTコメントスパム対策 (2007年2月 9日 12:38)

最近、海外からのコメントスパムが多くて困っています。 そこで、2つの設定をするこ... 続きを読む

もうね… ありえないぐらいのスパムコメントとトラックバックの量が最近の悩みの種... 続きを読む

しばらくトラックバックがこないなぁ、と思っていたら、何と!1年以上トラックバック... 続きを読む

YUGOT.NET * 気になるニュースサイト * - Movable Type は 3.34 の時代へ (2007年2月17日 01:11)

見た目は変わっていませんが、中の人 アップグレード しました アップグレード っ... 続きを読む

日本語が含まれていないコメント&トラックバックをフィルタするプラグインです プラ... 続きを読む

昨日MTがトラックバックスパムに見舞われていると書きましたが、またスパムが来てしまったので、やむなくトラックバックスパム対策プラグインを導入してしまいました。 続きを読む

それでも言わにゃならんのです! - このブログへのトラバについて (2007年5月12日 08:39)

昨日、久しぶりにブログのメンテナンスをしました。迷惑トラバ、コメントの整理とか対... 続きを読む

小粋空間さんにもあるようにMovableTypeのプラグインは本当にたくさんあ... 続きを読む

海外からのコメントスパム・トラックバックスパムが多いので、全角・ひらがな・句読点... 続きを読む

なんでもインストール - スパム対策 (2007年6月19日 13:32)

日本語を含まないコメントやトラックバックをスパムとみなしてフィルタリングするプラグイン。 日本語でないスパムをフィルタするプラグイン(MT3.2以降... 続きを読む

NotJapaneseLookup日本語でないスパムをフィルタするプラグイン使... 続きを読む

NotJapaneseLookupプラグインを導入した。日本語以外のコメント/トラックバックをスパムに振り分けてくれるものだ。 続きを読む

あいもかわらずトラックバック&コメントスパムが入れ食い状態^^; そのほとんどが... 続きを読む

Webディレクターのライフハック - MTのバージョンアップとスパム対策 (2007年10月 8日 22:05)

MTのコメントスパム対策 続きを読む

ここのところ、海外からと思われる英文スパムトラックバックが多いわけで。。。 自動... 続きを読む

MovableTypeでブログを書いてるある方から、英語のスパムコメントが付いち... 続きを読む

ここしばらくスパムコメントが急増中。毎日 30 は、投稿されてくる。投稿されたコメントは、チェックしてから公開するようにしているので、ブログ自体が荒らされ... 続きを読む

MT4.2にアップグレードして2週間ほど経った。 その頃より、海外からの英語コメ... 続きを読む

これまでに導入したMT4のプラグインやカスタマイズ、そしてブログパーツです。 紹... 続きを読む

ぺんぎんのしょうぎだおし Ver2.1 - MovableType4.2で使用しているプラグイン (2008年10月24日 23:31)

・Not Japanese Lookup 1.00 日本語を含まないコメントやト... 続きを読む

Not Japanese Lookup2バイト文字が入っていないと弾くようにしま... 続きを読む

最近のトラックバックスパムやコメントスパムの量は半端ではありません。そのうち半分ぐらいはロシア語みたいです。いっそロシアとのインターネット回線は切断して... 続きを読む

別にどうってわけじゃないんですが、今使っているMovable Type4.xにイ... 続きを読む

Movabletypeの弱点は、スパムコメントやトラックバックがやたらに来ること... 続きを読む

海外からの迷惑コメント(スパムコメント)、迷惑トラックバック(スパムトラックバック)対策としてNotJapaneseLookupというプラグインを導入して... 続きを読む

ぺんぎんのしょうぎだおし Ver2.1 - MovableType4.2で使用しているプラグイン (2009年6月15日 00:32)

・Not Japanese Lookup 1.00 日本語を含まないコメントやト... 続きを読む

過去にも、Movable Typeにインストールしているプラグインについて触れた... 続きを読む

Movabletypeの弱点は、スパムコメントやトラックバックがやたらに来ること... 続きを読む

どうもこんにちは。 めっきり更新頻度が下がったまっつんです。 ここ最近異様にこの... 続きを読む

コメント(スレッド22件,コメント22件)

コメントはスレッド表示になっています。
また、スレッドの先頭のコメントに対する返信には、先頭に矢印を表示しています。

No.1 pega : (無題)

MT3.2-jaにインストールしたのですが、Not Japanese Lookupとプラグイン一覧には表示されますが、「設定を表示」のリンクが表示されす、設定が行えません。MT側で何か設定が必要なのでしょうか?

No.2  : (無題)

>pegaさん
こんにちは。

ご質問の件ですが、システムメニューの「プラグイン」の画面で設定をしようとされているのではないでしょうか。
そこではなくて、個々のBlogのメニューから設定を行う必要があります。
Blogのメニューの「環境設定」で「設定」クリックし、Blogの設定を開いて、その中の「プラグイン」のタブをクリックしてください。

No.3 pega : (無題)

壱さん、こんにちは。

早速のご回答ありがとうございます。Blogのメニューの「環境設定」>設定>プラグインで設定できました。どうもありがとうございました。説明文を書いてあるのに、それをよく読まず、質問して申し訳ありませんでした。プラグインの設定はシステムメニューの「プラグイン」の画面しかないものと思っていたものですから.....(汗)。
有益なプラグインを作成し、かつこれを公開して下さり、感謝しています。

No.4 さえら : (無題)

も~~~~やだ!すごすぎます、スパムコメント。
MT-Notifier も気になるけど、こっちが先かな、ということで
プラグイン、使わせていただきました。
これで、迷惑コメントに振り分けることができます。

No.5 Chabu : (無題)

早速試させていただきました。サーバーにアップロードすると、設定画面が文字化けしてしまいます。サイトをEUC-Jで運営しているためでしょうか? 
nkfでNotJapaneseLookup.pl自体をeucに変換してみましたが状況が変わりません。
ご伝授いただければ幸いです。

No.6  : (無題)

>Chabuさん
こんにちは。

NotJapaneseLookup.plはutf-8で保存してあります。
utf-8のままでアップロードすると文字化けします。

utf-8からeucに変換してアップロードをやり直してみてください。

No.7 Chabu : (無題)

早々のコメントありがとうございます。 nkfの変換を標準出力でやって、変換した気になっていました・・。お恥ずかしい。
無事に設置できました。
ありがとうございます。今後もよろしくお願い申し上げます。

No.8 Chabu : (無題)

早々のコメントありがとうございます。 nkfの変換を標準出力でやって、変換した気になっていました・・。お恥ずかしい。
無事に設置できました。
ありがとうございます。今後もよろしくお願い申し上げます。

No.9 Border. : (無題)

こんばんわー。
ご無沙汰ですー。

このプラグインを使用してるわけでは無いので恐縮なのですが、ちとご質問。

3.2がデフォでコメントスパムをはじくのはオッケーなんですがね、DB内で保留状態になるじゃないですか。最近、それもうざったくなってきたので、有無を言わさず弾きたいんですけど、そういう設定が追加できたりしないのでしょうかー。

有名どころの半角コメントスパム対策がどうも3.2では動いてない感じなので、質問してみましたぁ。

No.10  : (無題)

>Border.さん
こんにちは。

MT3.2のスパム対策機能では、コメントやトラックバックを保存する前に、スパムとみなして保留/迷惑にするかどうかを指定することしかできないようです。

ただ、Blogの設定で「迷惑コメント/トラックバックは、指定した日数が過ぎると自動的に削除する」というようにすることができます。
そこで、削除までの日数を1日にするなどの方法が考えられます。

また、拙作の「コメントスパム送信者にコメントをさせないようにするプラグイン」を使って、コメントスパムを投稿させないようにするという方法も考えられます。

http://www.h-fj.com/blog/archives/2005/11/19-111441.php

No.11 Border. : (無題)

うわーい。ありがとうございます。
こいつは気づいてませんでした。
もっと良く調べろっていう感じですねぇ。
すみません。m(__)m

お手間かけました。

No.12 健太 : (無題)

お初です。
こちらのプラグインありがたく使わせて頂きます。
多謝~ m(_ _)m

No.13  : (無題)

>健太さん
こんにちは。
プラグインご利用ありがとうございました。

No.14 mituru : (無題)

こんばんは、壱さん
お世話になっています。

プラグインをDL&導入させて頂きました
素晴らしいプラグインをありがとうございます。

これからも宜しくお願いします。

No.15  : (無題)

>mituruさん
こんにちは。
プラグインをご利用いただきありがとうございました。

No.16 metal : (無題)

こちらのプラグインをご紹介いただいて、入れてみました。サイコーです! ありがとうございました!

No.17 hiro : (無題)

しばらく このプラグインの お世話になっていましたが、「迷惑トラックバック」 に無数に溜まるスパムを目にするのもウンザリしますし、その中に きちんとしたトラックバックが混じっていないか探すのも大変です。
そこで、このプラグインを もう一歩進めた 「日本語でないトラックバックを拒否するプラグイン」 というのを是非作って頂きたいのです。
つまり、「迷惑トラックバック」 にも入れないような強い態度のものを お願いしたいのです。
その際、他のプラグインのように 3.2/3.3 両対応にして頂ければ大変有難いです。
差し出がましい要望とは思いますが、是非ご検討頂ければと思います。

No.18 noha : (無題)

こんにちは♪
MT3.33 で使わせてもらってます。かな~りいいです^^
MTのスパム機能に対応したプラグイン、ってのが素晴らしいです。ちゃんと迷惑フォルダに振り分けられるのが素晴らしいですね。

ちょっとだけ気になる点を一つ↓

「Not Japanese Lookup」っていう名称はどーなのかなー、と。明らかに、「日本語じゃないとダメだよ!」って「英語」で書いてあるんで。スパマーさんにしたら既知のこのなのかもしれないけど、、、なるべく隠密で、、、ってのも考えた方が良いのかなと、ちょい思いました。もっと別の、全然違う名前にしちゃうとか。「秀丸」みたいに、「フジモト!」みたいな(^^;

ではでは。

No.19  : (無題)

>nohaさん
こんにちは。プラグインご利用ありがとうございます。

いただいたご意見ですが、スパマーはスパム対策の裏をかこうとしてくると思われます。
したがって、プラグインの名前を変えてみたところで、さして効果はないと思われます。

No.20 noha : (無題)

なるほろ。確かにそりゃそーですね。
でもまだ英語対策だけで結構いけてるってのが気になる。日本語を混ぜるのが主流になっちゃったらどーしましょね。ではでは。

No.21 hikari : (無題)

いつもお世話になっております。スパムフィルターで対応しきれないスパムコメントが多くなったので、こちらのプラグインを使わせていただきました。ありがとうございます。

No.22 Raptor : (無題)

はじめまして。Raptorと申します。m(__)m
このプラグインをインストールさせていただきました。ありがとうございます。

また、トラバを打たせていただきました。今後ともよろしくお願いします。

コメントする