আইভি রহমান ১৯৪৪ সালের ৭ জুলাই ভৈরবের সম্ভান্ত পরিবারে জন্মগ্রহণ করেন। তার পিতা জালালউদ্দিন আহমেদ ছিলেন ঢাকা কলেজের স্বনামধন্য অধ্যক্ষ। শৈশব থেকেই আইভি রহমান সামাজিক-সাংস্কৃতিক কর্মকাণ্ডে সম্পৃক্ত ছিলেন। রাজনীতিতে অধিক সক্রিয় হন বিয়ের পর। ১৯৫৮ সালের ২৭ জুন মো. জিল্লুর রহমানের সঙ্গে বিবাহবন্ধনে আবদ্ধ হন তিনি। বঙ্গবন্ধু শেখ মুজিবুর রহমান ছিলেন তাদের বিয়ের প্রধান সাক্ষী। তারাও আজীবন বঙ্গবন্ধুর প্রতি কৃতজ্ঞ থেকেছেন, বঙ্গবন্ধুর আদর্শের রাজনীতি করেছেন। বঙ্গবন্ধুহীন বাংলাদেশে শত প্রতিকূলতাকে ভেদ করে বঙ্গবন্ধুকন্যা শেখ হাসিনার পাশে থেকেছেন।
বাংলাদেশের রাজনীতির ইতিহাসে আইভি রহমান ও জিল্লুর রহমান একটি ঐতিহাসিক জুটি বা পরিবার হিসেবে খ্যাতিমান। ১৯৬২-এর শিক্ষা আন্দোলন থেকে শুরু করে বাংলাদেশের স্বাধীনতাসংগ্রাম ও স্বাধীনতা-পরবর্তী প্রগতিশীল সব আন্দোলন-সংগ্রামে সম্পৃক্ত ছিল এই জুটি। বাঙালির অবিসংবাদিত নেতা, জাতির পিতা বঙ্গবন্ধু শেখ মুজিবুর রহমান ছিলেন এ পরিবার গঠনের অন্যতম উদ্যোক্তা। বঙ্গবন্ধু পরিবারের সঙ্গে পারিবারিকভাবেও সম্পর্কিত ছিলেন তারা। আইভি রহমানের বড় বোন শামসুন্নাহার সিদ্দিক শেখ রেহানার শাশুড়ি। সে সূত্রে আইভি রহমান বঙ্গবন্ধুকন্যা শেখ রেহানার খালাশাশুড়ি।