夫人：李昭，原名李淑秀，1921年生于湖南宁乡。1939年初，奔赴延安，进入中国女子大学深造。这时，她将原名李淑秀改为李昭。1940年加入中国共产党。1941年冬，在延安与胡耀邦结婚。解放后，李昭在北京市工作，曾担任北京市纺织局局长兼党委书记。

有三子一女：长子胡德平，生于1942年11月，胡德平出生于抗日烽火连天的延安。现任中央统战部副部长、全国工商联党组书记和第一副主席等职。

次子刘湖，生于1945年，不久胡耀邦调赴前线作战，于是胡耀邦夫妻把未满40天的次子托付给陕北老乡刘世昌，刘世昌把他抚养长大，成了他的养父。胡耀邦让次子姓刘，胡字也要加上三点。直到13岁，刘世昌才把刘湖送到北京。现任香港华润集团常务董事、副总经理。

三子胡德华，1986年在南京退役，携妻儿回到北京。90年代初期，他从中科院辞职下海，到现在也已历经10余年商海沉浮。

女儿：李恒