faviconを表示しない設定にしても普通に落ちました。
タスクを切り替えた時に出るエラーと、放置していて気づいたら出ているエラーは微妙に違うものでした。
前者は前に書いたものと、以下のものを確認。
-------------------------------------------------------------------------------------
使用されたパラメータが有効ではありません。
場所 System.Drawing.Bitmap..ctor(Int32 width, Int32 height, PixelFormat format)
場所 System.Drawing.Bitmap..ctor(Int32 width, Int32 height)
場所 System.Drawing.Icon.ToBitmap()
場所 System.Windows.Forms.ThreadExceptionDialog..ctor(Exception t)
場所 System.Windows.Forms.Application.ThreadContext.OnThreadException(Exception t)
場所 System.Windows.Forms.Control.WndProcException(Exception e)
場所 System.Windows.Forms.Control.ControlNativeWindow.OnThreadException(Exception e)
場所 System.Windows.Forms.NativeWindow.Callback(IntPtr hWnd, Int32 msg, IntPtr wparam, IntPtr lparam)
場所 System.Windows.Forms.UnsafeNativeMethods.DispatchMessageA(MSG& msg)
場所 System.Windows.Forms.Application.ComponentManager.System.Windows.Forms.UnsafeNativeMethods.IMsoComponentManager.FPushMessageLoop(Int32 dwComponentID, Int32 reason, Int32 pvLoopData)
場所 System.Windows.Forms.Application.ThreadContext.RunMessageLoopInner(Int32 reason, ApplicationContext context)
場所 System.Windows.Forms.Application.ThreadContext.RunMessageLoop(Int32 reason, ApplicationContext context)
場所 System.Windows.Forms.Application.Run(Form mainForm)
場所 fub.MainForm.Main(String[] args)
-------------------------------------------------------------------------------------

後者は以下の内容です。
-------------------------------------------------------------------------------------
IEコンポーネントが保護違反を起こしました。

再現性があり、IEで同様の操作をしても落ちないことを確認された場合は
直せる可能性がありますのでご報告ください。

保護されているメモリに読み込みまたは書き込み操作を行おうとしました。他のメモリが壊れていることが考えられます。
場所 System.Windows.Forms.UnsafeNativeMethods.DispatchMessageW(MSG& msg)
場所 System.Windows.Forms.Application.ComponentManager.System.Windows.Forms.UnsafeNativeMethods.IMsoComponentManager.FPushMessageLoop(Int32 dwComponentID, Int32 reason, Int32 pvLoopData)
場所 System.Windows.Forms.Application.ThreadContext.RunMessageLoopInner(Int32 reason, ApplicationContext context)
場所 System.Windows.Forms.Application.ThreadContext.RunMessageLoop(Int32 reason, ApplicationContext context)
場所 System.Windows.Forms.Application.Run(Form mainForm)
場所 fub.MainForm.Main(String[] args)
-------------------------------------------------------------------------------------

タスクマネージャを見ると、fubがエラーを出す時はCPU使用率が50％、または100％になっていて
メモリの使用量が700〜900MB辺りまで上がっていました。
ちなみに普段のメモリ使用量はタブ50個で300MBぐらいです。
開いているタブを少しずつ減らしてエラーが出るか実験してみました。
50個→38個→29個まで減らしてもエラーが出るので、一気に7個まで減らしたらエラーは出なくなりました。
エラーを出す原因となるタブを閉じたからなのか、メモリ使用量が抑えられたからなのかわかりませんね…。
これでは大雑把なのでもう少し調べてみます。