一度どこかで右クリックメニューを出すと、その後は落ちなくなったりしていたので適当に回避して使っていたのですが、真面目にイベントビューアーに残っているエラー（BIB.dll_unloaded 云々）を調べてみたら答えがあった。
Issue with File Explorer in the Windows 11
https://answers.microsoft.com/en-us/windows/forum/all/issue-with-file-explorer-in-the-windows-11/5a5e53c6-cc38-471c-ba4f-764d8082598a
確かにウチも CS4 が現役。アプリケーションの動作自体は問題ないんだけど、こういう影響があるのね。
結論としては、こんな感じ。上記フォーラムのAnswerそのまんまだけど。
Windows Registry Editor Version 5.00
[-HKEY_CLASSES_ROOT\AllFilesystemObjects\shellex\ContextMenuHandlers\{C95FFEAE-A32E-4122-A5C4-49B5BFB69795}]
[-HKEY_CLASSES_ROOT\Directory\Background\shellex\ContextMenuHandlers\{C95FFEAE-A32E-4122-A5C4-49B5BFB69795}]
[-HKEY_CLASSES_ROOT\Drive\shellex\ContextMenuHandlers\{C95FFEAE-A32E-4122-A5C4-49B5BFB69795}]
これでOKか……と思ったけど、まだ何かのタイミングで落ちることがありますね。だいぶマシになったとは思いますが。
追記2024-06-26：上記サイトになかった「HKEY_CLASSES_ROOT\Drive\shellex\ContextMenuHandlers\{C95FFEAE-A32E-4122-A5C4-49B5BFB69795}」を追加しました。