มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือได้เริ่มเปิดสอนในระดับปริญญาโทเป็นครั้งแรก ตาม ข้อตกลงของรัฐบาลสหพันธ์สาธารณรัฐเยอรมนีในสัญญาฉบับที่ ๕ ตั้งแต่วันที่ ๓๐ มีนาคม พ.ศ. ๒๕๑๔ กำหนดให้ มหาวิทยาลัยเทคโนโลยีพระจอมเกล้าพระนครเหนือ เปิดสอนระดับปริญญาโทในคณะครุศาสตร์อุตสาหกรรมและ วิทยาศาสตร์ (คณะครุศาสตร์อุตสาหกรรมในปัจจุบัน) สาขาวิชาเครื่องกล โดยรัฐบาลสหพันธ์สาธารณรัฐเยอรมนี ให้ความ ช่วยเหลือคณะครุศาสตร์อุตสาหกรรมและวิทยาศาสตร์ในรูปของอุปกรณ์การศึกษา ผู้เชี่ยวชาญ และทุน การศึกษาแก่อาจารย์

ในปีการศึกษา ๒๕๒๐ คณะครุศาสตร์อุตสาหกรรมและวิทยาศาสตร์ ได้ผลิตมหาบัณฑิตรุ่นแรก ในหลักสูตร ครุศาสตร์อุตสาหกรรมมหาบัณฑิต สาขาวิชาเครื่องกล และอีกหลายหลักสูตรในปีต่อ ๆ มา มหาวิทยาลัยจึงเห็น สมควรให้ มีการจัดตั้งบัณฑิตวิทยาลัยขึ้นเพื่อให้เป็นหน่วยงานที่ดำเนินการเกี่ยวกับการศึกษาระดับบัณฑิตศึกษา ตลอดจนทำหน้าที่ เป็นหน่วยงานกลางควบคุมมาตรฐานทางวิชาการ ประสานงานและสนับสนุนการดำเนินงาน ของภาควิชาต่าง ๆ ที่เปิด สอนระดับบัณฑิตศึกษา บัณฑิตวิทยาลัย มหาวิทยาลัยเทคโนโลยีพระจอมเกล้า พระนครเหนือได้รับการจัดตั้งขึ้นอย่างเป็นทางการเมื่อวันที่ ๒๑ พฤษภาคม พ.ศ. ๒๕๒๙ โดยประกาศ ในราชกิจจานุเบกษา เล่มที่ ๑๐๓ ตอนที่ ๘๗ พ.ศ. ๒๕๒๙