তার সংসারে তিন কন্যা ও দুই ছেলে রয়েছে। তারা বিভিন্ন ক্ষেত্রে প্রতিষ্ঠিত। তাদের মধ্যে ঢাকা বিশ্ববিদ্যালয়ের বাংলা বিভাগের সাবেক অধ্যাপক ড. সনজীদা খাতুন, জনপ্রিয় গোয়েন্দা সিরিজ ‘মাসুদ রানা’র রচয়িতা কাজী আনোয়ার হোসেন, ময়মনসিংহ কৃষি বিশ্ববিদ্যালয়ের সাবেক অধ্যাপক ফাহমিদা খাতুন ও মাহমুদা খাতুন রবীন্দ্রসংগীতের প্রতিষ্ঠিত শিল্পী এবং প্রয়াত কনিষ্ঠ পুত্র কাজী মাহবুব হোসেনও অনুবাদ সাহিত্যে সুপ্রতিষ্ঠিত ছিলেন।