監査法人の部門選びはその後のキャリアにおいてかなり大きな影響与えますか？
意外と部門は関係なく次のキャリアは歩めるものですか？もちろんケースバイケースだとは思いますが。

ケースバイケースなのは確かですが、いくつか考えてみると、
1. 在籍期間
法人内で同じ部署から異動もしないでいると在籍期間が長いほど監査先への業種の経験にコミットしていくことになるので部門選択の影響を強く受けると思います
2. 転職先
金融フロントやコンサルへの転職はあまり部門の影響は受けていないと思います。(英語のできる高学歴の若手が会計士登録を済ませた直後やMBA留学後に転職していくイメージで、あまり個別業種の監査の経験の色味が出る転職先ではないからと思います。)
他方で、金融のミドル・バックは製造業をやっていたシニアなどが転職するのは厳しいと思うので部署選びの影響を強く受けると思います。