২০২০ সালের ১৮ অগস্ট রাজ্যপাল পদ থেকে অবসর নেন তিনি। গুঞ্জন ছিল রাজনীতিতে দ্বিতীয় ইনিংস শুরু করতে চান তৃণমূল সাংসদ সৌগত রায়ের দাদা।