原因として考えられるのは以下になります。

監視フォルダディレクトリに監視対象以外のファイルやサブディレクトリが存在する場合

Magicfolderは、ファイルパターン以外のファイルや、監視フォルダディレクトリ配下のサブディレクトリ内のファイルも検知する仕様です（実際に処理はされません）
そのため、不必要なファイルを監視フォルダディレクトリに配置すると不必要な検知処理が発生し、全体の処理が遅くなってしまいます。

例えば、監視フォルダのフィルタパターンを(*.CSV)に設定しておき、Magicfolderで作成したPDFファイルを監視フォルダディレクトリに出力したり、投入したデータファイルのバックアップディレクトリを監視フォルダディレクトリ配下のサブディレクトリに出力する場合が該当します。

監視フォルダには不要なファイル/ディレクトリを配置しないようにしてください。