小泉が首相を退任した後は、以前のように小泉の議員秘書を務めていた。小泉自身は首相再登板を否定していたが、飯島は小泉が望めばいつでも再登板が可能な情勢を整えていた。しかし、2007年9月13日付で辞表を提出し小泉事務所へは出勤していない。これは安倍首相辞任を受けて飯島が
小泉チルドレンを中心に、小泉再登板の署名を集めさせていたが、小泉が再登板を否定して飯島と不仲である
福田康夫を支持したことへの反発と予想される。小泉事務所は飯島の辞表を直ちに受けずに保留にしている。しかし飯島は、作家の
大下英治との会話の中で、「俺は燃え尽きたよ。もう小泉事務所の敷居は二度と跨がない」と語っていたとされており
[2007年9月17日放送「スーパーモーニング」より]、双方の溝を埋めるのは困難だという見解が多い。