Thunderbirdで受信困難例 中途半端な途中停止 ～今日の課題～

★今日の課題★
Thunderbirdで受信が途中で止まるメールがある。

2023年2月8日追記
根治的対応策の１つをまとめた記事を追記しました。

2023年2月9日追記
根治的対応策の１つをまとめた記事を追記しました。

---

途中で受信が止まる

　今回の事象は説明が難しいです。

　あるメールアカウントに対して、例えば1,000通のメールが届くとします。
　その内の995通は正常に届きますが、5通に関係してトラブルが発生します。
　確率で言えば0.5%、200通に1通の確率です。

　下図の例で言うと、1000通の受信途中、ある段階までは正常に動作して受信ボックスにメールが貯まっていきます。
　ところが、ある1通のメールで動きが止まり、放置しておくとメール受信が終わった状態になりますが、全件受信はできていません。

　受信が終わったかのように見えて、まだ終わっていないからと『受信』ボタンを押して追加で取得しようとすると、下図のように『アカウント xxx@xxx は処理中です。受信処理が終了するまでしばらくお待ちください。』というメッセージボックスが表示されます。

　このあとはどうなるかというと、Thunderbirdを閉じるまで何も変わりません。

　いわゆる強制終了が必要です。

Reception stops in the middle of the message.

This event is difficult to explain.
Suppose 1,000 e-mails are delivered to a certain e-mail account.
995 of them will be delivered normally, but trouble will occur in relation to 5 of them.
In terms of probability, this is 0.5%, or 1 out of every 200 e-mails.
In the example below, 1000 e-mails are in the process of being received, and up to a certain stage, the system works normally and e-mails are stored in the inbox.
However, if the system stops after a certain number of e-mails and is left unattended, the system will finish receiving e-mails, but not all of them will have been received.
When you click the “Receive” button to retrieve additional messages, the message “Account xxx@xxx is being processed” appears as shown below. Please wait a moment while we finish receiving your message. The message “Account xxx@xxx is being processed.
Account xxx@xxx is being processed. Please wait a moment until the receiving process is completed.
After this, nothing will change until you close Thunderbird.
So you need to force close Thunderbird.

---

目次

1. 途中で受信が止まる
2. 受信できているが、受信記録がない？
3. 同じメッセージが悪さする
4. popstate.datにウソの書き込み!?
5. popstate.datの書込は姑息的回避策
6. 小さな失敗
7. メッセージ自体は普通
8. ウェブメールは正常
9. POP3も正常
10. 再現性あるスタックメッセージ
11. 姑息的作戦も再現性
12. 受信速度を変えても同じ
13. タイムアウト設定変更も同じ
14. Updateしても同じ
15. 再インストールしても同じ
16. ここまででわかったこと
17. 対応策
    • 1)根治的：jsmoduleを止める
    • 2)姑息的：popstate.datを書き換える
    • 3)根治的：サーバ設定のセキュリティなし
18. 半分は解決、そして未解決

---

受信できているが、受信記録がない？

　前述の状態になってThunderbirdを再起動しても、まったく無意味です。

　受信ボタンを押すと受信処理は開始しますが、同じメッセージで引っ掛かります。
　ある件数までは受信済なので、残っているメールの1通目で停止してしまいます。

　ただし、この再起動した時点で、問題となっているメールは受信ボックスに入っています。
　すなわち、前回の受信処理でThunderbirdの受信ボックスにメッセージは届いていますが、まだ受信完了とはなっていない体裁です。

You are receiving the message, but there is no record of receipt?

Restarting Thunderbird from the aforementioned state is pointless.
When I press the receive button, the receiving process starts, but I am stuck with the same message.
It stops at the first email that has not been received because it has already received up to the email just before the stack.
However, when Thunderbird is restarted, the message causing the stack is stored in the Inbox.
In other words, the message has been delivered to Thunderbird’s Inbox in the previous reception process, but it has not yet been received.

---

同じメッセージが悪さする

　そこで、最初からやり直してみました。

　Windows上のThunderbirdファイル群が入っているフォルダ（ディレクトリ）から『popstate.dat』を開き、中に記録されているすべてのデータを削除しました。
　ヘッダーにある『POP3 State File』や『This is a generated file! Do not edit.』も気にせず削除します。

　これにより、Thunderbirdがメールサーバと交信する際に、受信済のメールはありませんという信号を送りますので、サーバにある全件の受信を開始します。
　今回のケースでは1,000件用意しているので、1,000件の受信を開始します。

　そうすると、また同じメッセージの所でスタックします。

　『popstate.dat』の在る場所ですが、Thunderbirdのアカウント設定で『サーバ設定』のタブを開くと最下段に『メッセージの保存先』というものがあり、そこに記載されています。
　デフォルトだとＣドライブの奥の方にありますが、筆者はＤドライブに受信用フォルダを設けていますので下図のような位置にあります。

The same message misbehaves.

I started over from the beginning.
Open “popstate.dat” from the folder containing the Thunderbird files on Windows. Deleted all data recorded in it.
Delete also “POP3 State File” and “This is a generated file! Do not edit.” in the header.
This will signal to Thunderbird when it communicates with the mail server that there is no mail received. Thus, it will start receiving all the cases on the server.
In this case, we have 1,000 messages, so we start receiving 1,000 messages.
Then it gets stuck at the same message again.
The location of “popstate.dat” is listed at the bottom of the “Server Settings” tab in the Thunderbird account settings. By default, it is located in the back of the C drive. However, the author has set up a folder for receiving messages on the D drive, so it is located as shown in the figure.

---

popstate.datにウソの書き込み!?

　ウソではないのですが、Thunderbirdではなく私が勝手に受信済みだと書き込みました。

　下図の例で言うと、受信ボックスには『X-UIDL』という項目名のデータが『UID12493』というメッセージがあります。『popstate.dat』のファイルの最後の受信メッセージを確認すると、Thunderbird画面で見た『UID12493』より数字が１つ少ない『UID13492』です。

　そこで、『UID13492』の下に１行加えて『UID13493』と書いてみました。

　この『UID』とはユニーク識別子、メールサーバに収められているメッセージ１つずつに個別の記号が付与されます。

　Thunderbirdで受信メッセージのUIDを確認するためには、メニューバーの『表示(V)』から『ヘッダー(H)』を選び、選択肢から『すべて(A)』を選ぶと、メッセージと一緒に表示されます。
　このヘッダー表示を『すべて』にしておくと、メールの返信などでもヘッダーが引用文に表示されてしまうので、普段は『標準(N)』にしてくと良いと思います。

Challenge to write false information in “popstate.dat”.

I wrote on behalf of Thunderbird that I have received the message.
In the example shown in the figure, there is a message in the inbox that says “UID12493” with data for the item name “X-UIDL”. When I check the last received message in the “popstate.dat” file, it is “UID13492”, one number less than the “UID12493” I saw on the Thunderbird screen.
So I added one line under “UID13492” and wrote “UID13493”.
This “UID” is a unique identifier. A unique identifier is assigned to each message stored on the mail server.
To check the UID of an incoming message in Thunderbird, select “Header” from “View” in the menu bar and choose “All” from the options to display it with the message.
If you set the header display to “All”, the header will be displayed in the quoted text even when replying to an e-mail, so it is recommended to set it to “Normal”.

---

popstate.datの書込は姑息的回避策

　手動で１行足された『popstate.dat』ですが、その状態でThunderbirdを起動して、受信してみると上手くいきました。

　なぜ、その１通がスタックさせるのかわからないのですが、スタックさせる原因のメールを受信済みだと見せかける（実際には受信済）ことで、この問題を回避できました。

Writing “popstate.dat” is a workaround

The “popstate.dat” with one line added manually, but when I started Thunderbird in that state and tried to receive the message, it worked.
I don’t know why that one line would get stuck, but I was able to work around the problem by pretending that the mail causing the stack had already been received.

---

小さな失敗

　ここにたどり着くまでに何度も失敗をしたので、受信ボックスには同じメッセージが複数ありました。

　どれもメールサーバ上でのユニークＩＤ（UID）は同じなので『popstate.dat』では１行足せば処理されてしまいますが、Thunderbirdローカルの話では複数の同じメッセージが存在することになります。

　ここで１つ確認できることとして、受信ボックスに入ったメールは即座にフィルターで仕分けされて、『Dammy』という別フォルダに移動するように設定していますが、それが実行されずに受信フォルダに残ったままになっているということです。
　すなわち、フィルタ処理の手前でスタックしていることになります。

A Small Failure

I had multiple failures before I got here, so there were multiple identical messages in my inbox.
All of them have the same unique ID (UID) on the mail server, so “popstate.dat” only needs to add one line to process them. However, locally in Thunderbird, there are multiple identical messages.
One thing that can be confirmed here is that the email in the inbox is set to be immediately filtered and moved to a separate folder called “Dammy”, but this is not being done and the email is remaining in the inbox folder.
In other words, it is stuck before the filter process.

---

メッセージ自体は普通

　今回、1,000通のメッセージはすべて発信源が同じ、文面もだいたい同じです。

　自作したソフトから仮想人物として適当な名前で送信しているので返信先はありませんが、送信元も宛先も同じアドレスです。
　すなわち、自分宛てのメールを自分で作成した1,000通です。

　スタックさせるメッセージに特徴はありません。他のメッセージとよく似ています。

　受信したことにしてしまえば、Thunderbirdでの表示にエラーが出るようなことはありません。

The messages themselves are normal.

This time, all 1,000 messages are from the same source, and the text is approximately the same.
There is no reply address because they were sent from a software program I created with an appropriate name as a virtual person, but both the source and the destination address are the same.
In other words, it is 1,000 messages addressed to yourself, created by you.
There is no feature in the messages to be stacked. It is very similar to other messages.
If you assume that you have received the message, there is no error in displaying it in Thunderbird.

---

ウェブメールは正常

　ブラウザからメッセージを確認できるウェブメールでは、まったく問題なく閲覧できています。

　1,000通のすべてに問題がありません。

　3,000通になっても問題ありません。

Webmail is normal

Webmail, where messages can be viewed from a browser, is perfectly fine.
There is no problem with all 1,000 messages.
No problem with 3,000 messages.

---

POP3も正常

　同じメールを、別のシステムでPOP3受信しましたが、そちらでも1,000通だろうが3,000通だろうが関係なく受信できています。

POP3 is also normal.

I received the same mail via POP3 on another system, and it doesn’t matter whether 1,000 or 3,000 mails were received there as well.

---

再現性あるスタックメッセージ

　メールサーバにはメッセージが残った状態で、Thunderbirdの『popstate.dat』を空にして、再びThunderbirdで受信してみました。

　すると、先ほど問題があったメッセージで再び引っ掛かります。

　『popstate.dat』を開いてみて見れば、やはりUIDが記録されていません。

Reproducible stuck message

With the message still on the mail server, I emptied Thunderbird’s “popstate.dat” and tried to receive the message in Thunderbird again.
Then, the message that had a problem earlier was stuck again.
I opened “popstate.dat” and found that the UID was still not recorded.

---

姑息的作戦も再現性

　別なメッセージでも姑息的な対処法は奏功しました。

　先ほどは『UID12493』というメッセージでしたが、下図の例で言うと、受信ボックスには『UID13330』というメッセージがあります。
　そして『popstate.dat』のファイルの最後の受信メッセージは数字が１つ少ない『UID13329』です。

　そこで、『UID13329』の下に１行加えて『UID13330』と書いてみました。

　これで受信すると、上手くいきます。

The mother-in-law strategy is also reproducible

The mother-in-law strategy worked on a different message as well.
In the previous example, the message was “UID12493,” but in the example below, there is a message “UID13330” in the inbox.
And the last received message in the “popstate.dat” file is “UID13329” with one less number.
So I added one line under “UID13329” and wrote “UID13330”.
When I receive the message with this, it works.

---

受信速度を変えても同じ

　Thunderbirdではメッセージを受信する毎に『popstate.dat』にUIDを書き込みます。

　1通ごとに実行される処理に何らかの問題があるのであれば、その問題が書き込み速度と関係しているのであれば、と思ったので通信速度を遅くしてみました。

　光回線の100Mbpsを200kbpsまで500分の1まで落としているので、受信にかかる時間は相当に延長しました。

　ただし、スタックする箇所は同じでした。

　断定できませんが、『popstate.dat』への書き込みエラーではなく、そもそも違う問題が潜んでいると思います。

It is the same if you change the receiving speed.

Thunderbird writes the UID to “popstate.dat” each time it receives a message.
I thought that if there is some problem with the processing executed for each message, and if the problem is related to the writing speed, I tried to slow down the communication speed.
Since I reduced the speed from 100 Mbps to 200 kbps, which is 1/500th of the speed of an optical line, the time required for reception was considerably extended.
However, the stuck point was the same.
I cannot be certain, but I think there is a different problem to begin with, rather than a write error to “popstate.dat”.

---

タイムアウト設定変更も同じ

　Thunderbirdの『ツール』メニューから『設定』を選び、『一般』タブの一番下まで行くと『設定エディター…(C)』があります。

　それを開いて『mailnews.tcptimeout』と入力するとタイムアウトの時間設定ができます。

　これを色々といじってみましたが、特に変化はありませんでした。

　そもそも tcptimeout が何の設定なのか、よくわかっていませんので、標準設定に戻しました。

The same goes for changing timeout settings.

Select “Settings” from the “Tools” menu in Thunderbird and go to the bottom of the “General” tab to find the “Settings Editor… (C)”.
Open it and enter “mailnews.tcptimeout” to set the timeout time.
I tried to change this, but there was no change in particular.
I don’t really know what tcptimeout is, so I returned it to the standard setting.

---

Updateしても同じ

　このときの最新版は Version 102.2.2 でした。

　Windows7以降の64bit版に適用されるバージョンですので、使用環境には合っています。

Update is the same.

The latest version at this time was Version 102.2.2.
This version is applicable to 64-bit versions of Windows 7 or later, so it is appropriate for my environment.

---

再インストールしても同じ

　以前、Thunderbirdのトラブルがあったときは、筆者がWindows10の64bitに、32bit版のThunderbirdをインストールしていたことが原因だったことがあります。

　そのときは入替で解決しました。

　そこで、今回は64bit版をアンインストールして、再び64bit版をインストールしてみました。

　再インストール前に下記のフォルダも削除してみました。

[C:\Users\****\AppData\Roaming\Thunderbird]

　その結果、何も変わりませんでした。

Reinstalling it does the same thing.

In the past, when there was a problem with Thunderbird, it was because the author had installed a 32-bit version of Thunderbird on a 64-bit version of Windows 10.
At that time, the problem was solved by replacing it.
So this time, I uninstalled the 64-bit version and installed the 64-bit version again.
I also deleted the following folders before reinstalling.
[C:\Users****\AppData\Roaming\Thunderbird]
As a result, nothing changed.

---

ここまででわかったこと

　事実を並べると、メールサーバには1,000通のメールが存在し、それをウェブメールで閲覧すると1通目から1,000通目まですべて読める。
　さらに、別のシステムでローカルコンピュータにPOP3接続でメールを受信しても、1通目から1,000通目まで滞りなく受信できる。

　Thunderbirdに限って言えば、1,000通に5通くらいの確率で受信中にスタックするメールがある。

　そのメールは受信できていないように見えるが、Thunderbirdを再起動してみると受信ボックスに届いている。

　その届いているメールは普通に読めるものである。壊れていない。

　そのメールのUIDは『popstate.dat』には記録されていないので、Thunderbirdからメールサーバへは未受信として連絡される。

　未受信のまま再度チャレンジすると、またスタックする。

　ところが『popstate.dat』にスタックするメッセージのUIDを書き込んで受信済としてやると、そのあとのメッセージは順調に受信できる。
　ただし、また問題のあるメッセージに当たれば、同じ事が繰り返される。

　この、姑息的手段により1,000通の受信を終えてしまうと、どれがスタックするメッセージなのかわからないように、すべてが普通のメッセージ（メール）として扱える。

　おそらく、受信した旨を『popstate.dat』に書き込む際に何らかの問題が起きている。
　その原因も、解決策もわからない。

What we have learned so far

To lay out the facts, there are 1,000 e-mails on the mail server, and if you view them via webmail, you can read all of them from the first one to the 1,000th one.
Furthermore, if you receive mail via POP3 connection to your local computer on a different system, you can receive the first to the 1,000th message without any delay.
As far as Thunderbird is concerned, there is a chance of about 5 out of every 1,000 e-mails getting stuck while being received.
It seems that the mail is not received, but when I restart Thunderbird, I find that the mail has been delivered to my Inbox.
The email is readable. It is not corrupted.
The UID of the email is not recorded in “popstate.dat”, so the email is reported as not received from Thunderbird to the mail server.
When I try again with the message not received, it gets stuck again.

However, if I write the UID of the stuck message in “popstate.dat” and mark the message as received, the subsequent messages can be received smoothly.
However, if the problematic message is encountered again, the same thing will happen again.
Once 1,000 messages have been received by this tactic, all of them can be treated as normal messages (e-mails) so that it is impossible to tell which message is the stuck one.
Perhaps there is some problem in writing to “popstate.dat” that it has received the message.
I don’t know what caused it, nor do I know how to solve it.

---

対応策 その１：根治的
jsmoduleを止める

　このページにご投稿いただいたhal様の『[mailnews.pop3.jsmodule]→falseにする』が有用な手段の１つのようです。

　私の方でも架空人物3,000人からのメール受信試験を行った結果、全件問題なく受信できることが確認できています。
　この3,000人のメールは、途中にスタックするメールが入っていることが既知なので、改善策として『mailnews.pop3.jsmodule』を無効化する方法が有用な手段であると考えられます。

　まず、Thunderbirdのメニューから『ツール』を選び、そこから『設定』を選びます。
　メニューが表示されていない人は Alt キーを押すと現れます。

　設定画面では『一般』『編集』『プライバシーとセキュリティ』『チャット』という選択肢がありますが、最初から選択されている『一般』のまま作業を進めます。
　一般をスクロールしていくと、最下段に『設定エディター』というボタンが現れるのでクリックします。

　次に現れた検索窓のようなところに、今回は『jsmodule』と入力します。

　すると３つの候補が現れます。

• mailnews.imap.jsmodule
• mailnews.nntp.jsmodule
• mailnews.pop3.jsmodule

　メールをPOP3で受信している場合は『mailnews.pop3.jsmodule』が悪さをしている可能性があるので、これを『false』に変更します。
　変更方法は両矢印アイコンをクリックするか、この行をダブルクリックします。

　Thunderbirdを再起動して動作を確認します。

2023年2月8日追記

Stop jsmodule

We have tested receiving mail from 3,000 fictitious persons and have confirmed that all of them can receive mail without any problem.
Since it is known that the 3,000 people’s e-mails contain e-mails that get stuck in the middle, disabling the “mailnews.pop3.jsmodule” is considered to be a useful way to improve the situation.

First, select “Tools” from the Thunderbird menu and from there select “Settings”.
If you do not see the menu, press the Alt key to make it appear.
On the settings screen, you have the options of “General,” “Edit,” “Privacy and Security,” and “Chat,” but we will proceed with “General,” which has been selected from the start.
Scroll down to “General” and click on the “Settings Editor” button at the bottom.
Next, type “jsmodule” in the search box that appears.
Three candidates will appear.
– mailnews.imap.jsmodule
– mailnews.nntp.jsmodule
– mailnews.pop3.jsmodule
If you are receiving mail via POP3, “mailnews.pop3.jsmodule” may be doing something wrong, so change this to “false”.
To change it, click on the double-arrow icon or double-click on this line.
Restart Thunderbird and check the operation.

---

対応策 その２：姑息的
popstate.datを書き換える

　メールを受信して、スタックしてしまった状態にあるとします。

　最後に受信したメールの『X-UIDL』を確認します。この番号はあとで使います。

　ヘッダーが見えずUIDが確認できない場合は、メニューから『表示』を選び、『ヘッダー』を『すべて』に変更します。

　問題のあるメールアカウントを右クリックしてメニューを開き『設定』を選択します。
　あるいは、Thunderbirdのメニューから『ツール』を選び、そこから『設定』を選び、左下にある『アカウント設定』を選びます。

　『サーバ設定』にある『メッセージの保存先』を確認し、エクスプローラーで開きます。ここにある参照ボタンは使いません。Thunderbirdとは別途、開きます。

　フォルダを開くと『popstate.dat』があります。

　これを『メモ帳』などで開きます。

　ずらりと並んだUIDの中で、一番数字が大きいものを見ます。たぶん最下段にあると思います。
　最初に確認したUIDの数字と比べて一致しない、最後に受信したはずのメールのUIDが記録されていないという場合は、そのUIDに問題があります。

　とりあえず受信はできているので、重複しないように、最後に受信したメールのUIDを手入力してしまいます。

　下図の例では１行足して『UID12493』を手入力で作ってしまいます。

　これで再度、Thunderbirdを起動して受信すると、さきほどスタックした位置では止まらなくなります。

　ただし、他の所でもスタックする可能性があります。

　私の実験では3,000通の架空人物からのメールを受信してみましたが、5～6回はスタックしました。
　その都度、UIDを書き換えましたが、非常に煩わしいです。

2023年2月8日追記

Rewriting popstate.dat

Suppose you have received an email and are in a stuck state.
Check the “X-UIDL” of the last email received. We will use this number later.
If you cannot see the header and cannot check the UID, select “View” from the menu and change “Header” to “All”.
Right-click on the problematic email account to open the menu and select “Settings”.
Alternatively, select “Tools” from the Thunderbird menu, then “Settings” from there, and select “Account Settings” in the lower left corner.
Confirm the “Message Destination” in “Server Settings” and open it in Explorer. Do not use the Browse button here; open it separately from Thunderbird.
Open the folder and you will find “popstate.dat”.
Open it with Notepad or similar.
Look at the UID with the highest number in the list of UIDs. It is probably at the bottom of the list.
If the UID numbers do not match those of the first UID you checked, or if the UID of the last email you received is not recorded, there is a problem with that UID.
At any rate, since you have received the mail, you can manually enter the UID of the last received mail to avoid duplicates.
In the example below, I added one line and created “UID12493” by hand.
If you start Thunderbird again and receive a message, it will not stop at the position where it was stuck.
However, there is a possibility of getting stuck at other locations as well.
In my experiment, I received 3,000 e-mails from a fictitious person, and it got stuck 5-6 times.
Each time, I rewrote the UID, but it was very annoying.

---

対応策 その３：根治的
サーバ設定のセキュリティなし

　このページにご投稿いただいたKKl様の『アカウント設定のサーバー設定のセキュリティ設定の接続の保護を「なし」にすると受信できるようになりました。』という方法です。

　Thunderbirdの左側にあるアカウント名が表示されている部分を右クリックします。

　表示されるメニューの『設定』を選びます。

　左のメニューリストから『サーバ設定』を選びます。

　右側に表示される設定画面の『セキュリティ設定』で『接続の保護』を『なし』を選びます。

　こちらの方法で上手くいくかどうかわかりませんが、上手くいっている人も居ると思いますので、試す価値はあると思います。

2023年2月9日追記

“No security” in “Server Settings”

Right click on the account name on the left side of Thunderbird.
Select “Settings” from the menu that appears.
Select “Server Settings” from the menu list on the left.
Select “None” for “Connection Protection” in the “Security Settings” section of the settings screen that appears on the right.
I don’t know if this method will work, but I think it is worth a try, as I know some people have done it.

---

半分は解決、そして未解決

　今回は姑息的手段により、とりあえずメールを受信するということについては解決しました。

　しかしながら、根本的解決には至っていないので、いつでも再発します。実際に、再発しています。

　解決策が見つかったら、またご案内いたします。

　最後までお読みいただき、ありがとうございました。