Sisimaiによるバウンスメール解析の自動化

こんにちは。管理チームのいとうです。

私は主にインフラの運用管理を担当しています。

今回は弊社でも利用している、"Sisimai" によるバウンスメール解析についてご紹介します。

大規模なメール配信を行っていると、ユーザのメールアドレス登録間違いや、メールアドレス変更の未通知などでバウンスメールが度々発生します。

少数であれば管理者がバウンスメールを確認し、対応を手動で行えばよいかもしれませんが、それが数十～数百アカウントともなれば、到底作業が追いつくはずもありません。

そこで、バウンスメール解析とその後の処理を自動化することで、管理者の負担を減らすことができると考えられます。

本記事では、まず一般的なメールシステムにSisimaiを利用した簡易的なバウンスメール解析アプリケーションを組み込むことで、バウンスメールの情報を扱いやすい形で集約するところまでを目標とします。

また、幾つかのパターンでバウンス解析を行い、結果がどのように出てくるのかについても検証したいと思います。

Sisimaiは株式会社キュービックルート様が開発している、オープンソースのバウンスメール解析用ライブラリです。

製品URL: libsisimai.org

2016年9月8日現在の最新版はv4.18.0です。

mbox形式もしくはMaildir形式のメールを読込み、バウンスメールの内容を解析して出力することができます。

Ruby版とPerl版がリリースされていますが、今回の記事ではRuby版を使用しています。

公式サイトにも記載されている通り、Ruby2.1以降もしくはJRuby9.0.4.0以降が必要です。

また、JSON出力用にojが依存ライブラリとしてインストールされます。

余談ですが、以前はbounceHammerという、バウンスメール解析ライブラリと管理用UIがセットになったプロダクトが存在していたのですが、こちらはEOLとなっています(2016年9月現在新規ダウンロードもできないようです)。

それでは早速Sisimaiを導入していきましょう。

今回は以下の環境で検証を行いました。

jqはCentOSの標準リポジトリには存在しないため、EPELから入手します。

# yum -y install epel-release
# yum -y install jq

次にSisimaiを導入します。

# gem install sisimai

sisimaiの導入が完了したので、早速動作を確認してみましょう。

sisimaiのgemが導入されたディレクトリ内にset-of-emailsというディレクトリがあります。

こちらにテスト用に利用できるメールが格納されているので、利用します。

以下に示すように簡単なワンライナーで、バウンスメールの解析を行うことができます。

出力される内容は、Sisimaiのデータ構造に詳しく説明されていますので、そちらを参照ください。

# ruby -r 'sisimai' -e 'puts Sisimai.dump($*.shift)' "set-of-emails/maildir/bsd/x1-01.eml" | jq .
[
{
  "timestamp": 1272551685,
  "recipient": "kijitora@example.co.jp",
  "addresser": "shironeko@example.jp",
  "timezoneoffset": "+0900",
  "deliverystatus": "5.0.910",
  "diagnostictype": "",
  "diagnosticcode": "User unknown",
  "subject": "Nyaaaaan",
  "action": "",
  "reason": "filtered",
  "listid": "",
  "alias": "",
  "rhost": "",
  "lhost": "",
  "token": "40c0e0d40e8d1192fb7e4a8e52eee2725fd91671",
  "messageid": "000000000000000000000000000000000000@example.jp",
  "replycode": "",
  "smtpagent": "X1",
  "softbounce": 1,
  "smtpcommand": "",
  "destination": "example.co.jp",
  "senderdomain": "example.jp",
  "feedbacktype": ""
}
]

jqを通すことで、JSONが整形されるのでわかりやすいですね。

これでSisimaiを利用する環境の準備はOKです。

それではsisimaiを利用して、バウンスメール解析を自動化するプログラムを作成してみます。

このシステムでは、解析したデータをデータベースに蓄積していく仕組みを取るようにします。

今回は、手頃なところでMySQLを利用することにしました。Sequelというgemを利用することで、

簡単にテーブルにinsertを行えるので、こちらを利用します。

追加でsequelとmysql2のgemをインストールしておきましょう。

また、MySQLに以下のような定義のテーブルを持つスキーマを作成しておいてください。

スキーマ名	sisimai
テーブル名	bouncemails

カラム名	データ型	制約
id	INT	PRIMARY KEY, AUTO_INCREMENT
timestamp	INT
recipient	VARCHAR(255)
addresser	VARCHAR(255)
timezone_offset	VARCHAR(32)
delivery_status	VARCHAR(32)
diagnostic_type	TEXT
diagnostic_code	TEXT
subject	TEXT
action	VARCHAR(32)
reason	VARCHAR(32)
listid	VARCHAR(255)
alias	VARCHAR(255)
rhost	VARCHAR(255)
lhost	VARCHAR(255)
token	VARCHAR(255)
message_id	VARCHAR(255)
reply_code	VARCHAR(32)
smtp_agent	VARCHAR(32)
softbounce	INT
smtp_command	VARCHAR(32)
destination	VARCHAR(255)
sender_domain	VARCHAR(32)
feedback_type	VARCHAR(255)

バウンスメール取り込み用プログラム

# coding: utf-8
require 'net/pop'
basedir = '/var/apps/bounce-parser'
mailstore = basedir + '/mailstore'
host = 'mail.example.com'
port = 110
user = 'bounce'
password = 'bounce'
# Connect to pop3 server
pop = Net::POP3.new(host, port)
pop.start(user, password)
# Receive mails
unless pop.mails.empty?
  pop.mails.each do |mail|
    filename = "#{mailstore}/" + Time.now.strftime('%Y%m%d%H%M%S%L') + ".eml"
    fd = File.open(filename, 'w')
    fd.write mail.pop
    mail.delete
    sleep 1
  end
end
pop.finish

# coding: utf-8
require 'sisimai'
require 'sequel'
require 'mysql2'
basedir = '/var/apps/bounce-parser'
mailstore = basedir + '/mailstore'
database = 'bounce'
host = 'localhost'
port = 3306
user = 'bounce'
password = 'bounce'
encoding = 'utf8'
parsed_records = []
bounce_mails = Sisimai.make(mailstore)
unless bounce_mails.nil?
  bounce_mails.each do |bounce_mail|
    parsed_records << bounce_mail.damn
  end
else
  puts "mail not found"
  exit(0)
end
DB = Sequel.mysql2(
       :database => database,
       :host     => host,
       :port     => port,
       :user     => user,
       :password => password,
       :encoding => encoding
     )
unless parsed_records.nil?
  parsed_records.each do |record|
    DB[:mail_logs].insert(
      :timestamp       => record['timestamp'],
      :recipient       => record['recipient'],
      :addresser       => record['addresser'],
      :timezone_offset => record['timezoneoffset'],
      :delivery_status => record['deliverystatus'],
      :diagnostic_type => record['diagnostictype'],
      :diagnostic_code => record['diagnosticcode'],
      :subject         => record['subject'],
      :action          => record['action'],
      :reason          => record['reason'],
      :listid          => record['listid'],
      :alias           => record['alias'],
      :rhost           => record['rhost'],
      :lhost           => record['lhost'],
      :token           => record['token'],
      :message_id      => record['messageid'],
      :reply_code      => record['replycode'],
      :smtp_agent      => record['smtpagent'],
      :softbounce      => record['softbounce'],
      :smtp_command    => record['smtpcommand'],
      :destination     => record['destination'],
      :sender_domain   => record['senderdomain'],
      :feedback_type   => record['feedbacktype']
    )
  end
end

メールシステムに組み込んで検証してみる

example.comのメールシステム

example.co.jpのメールシステム

正常にメールが配信される場合

メールがバウンスとなる場合

パターン別でバウンス解析結果を検証する

1. ハードバウンス

送信元: test@example.com

宛先: john@example.co.jp(実際には存在しない宛先)

1. addresserとrecipientの内容から、test@example.comが送信元でjohn@example.co.jpが宛先だということがわかります。
2. reply_codeおよびdelivery_statusが550/5.1.1ということから、「宛先ユーザアカウントが正しくないためメール送信に失敗した」ということがわかります。
3. softbounceの値は0(ハードバウンス), 1(ソフトバウンス), -1(不明)の3値を取りますが、ここでは"0"となっているので、ハードバウンスであることがわかります。
4. rhost, lhostに着目するとバウンス発生時にSMTP通信を行っていたリモートホストとローカルホストが分かるので、メールの経路上どこでバウンスになってしまったかがわかります。

2. ソフトバウンス

送信元: test@example.com

宛先: paul@example.co.jp

1. addresserとrecipientの内容から、test@example.comが送信元でjohn@example.co.jpが宛先だということがわかります。
2. reply_codeはNULL(値が取得できなかった)ですが、delivery_statusが5.3.4でありdiagnostic_codeの'message size xxxx exceeds size limit xxx of server ...'の記述から、宛先メールサーバのサイズ制限に引っかかっていることがわかります。
3. softbounceの値が"1"となっているので、ソフトバウンスであることがわかります。

3. ML配信におけるバウンス

送信元: test@example.com

宛先: ml@example.co.jp (john@example.co.jp, paul@example.co.jpのエイリアス)

まとめ