上海音樂學院研究生教育可追溯到1964年，最初招收聲樂、小提琴方向的本科后高級研修生。1978年正式恢復招收碩士學位研究生，設有音樂學、作曲與作曲理論、音樂表演藝術三個碩士學位授予點（1997年因學科門類的調整，合并為音樂學一個碩士學位授權點），作為國務院學位委員會第二批批準設立的博士學位授權點單位，上海音樂學院從1983年開始招收音樂學和作曲與作曲理論（1991年后增設）的博士研究生。
為了適應高層次音樂人才培養的需求，上海音樂學院于2001年4月正式設立了專門負責研究生教育的職能部門——研究生處，其工作范圍包括研究生培養工作、學科專業建設、研究生導師隊伍建設、研究生教育管理體制等。2005年9月，為了適應新形勢下學院研究生教育和高層次音樂人才培養的發展需要，經院長會議決定將研究生處改制為研究生部，下設行政、招生、培養、學位和學工五個辦公室。2010年，研究生部成功申報了藝術學一級學科博士點，由音樂學一個二級學科博士點單位升格為一級學科博士點單位。2011年藝術學升格為學科門類后，研究生部獲批成為三個一級學科博士(碩士)學位授權點單位（分別為“藝術學理論”、“音樂與舞蹈學”、“戲劇與影視學”），成為全國專業音樂院校中擁有最多博士點的院校。此后，又制定了相應的培養模式、學位要求和評估體系，且已在本院研究生教育各環節順利實施。2014年研究生部為進一步加強對創新實踐基地系統科學的管理，使學科評估工作常態化，特增設科研辦公室。
上海音樂學院的研究生教育類型，涵蓋學術型博士研究生、學術型碩士研究生、在職藝術碩士專業學位（MFA）、全日制藝術碩士專業學位、國內訪問學者及研修人員等多種層次和形式。
在學院有獨立專職機構開展研究生教育的十余年來，研究生部跟據國家和學院不斷發展變化的實際情況及自身特色，參照教育部、國務院學位委員會和上海市教委的教育策略和相關文件進行音樂高層次人才培養，不斷完善學位制度，在研究生教育層面上促進學校的學科優化整合及建設打造，在強化研究生教育內涵建設，堅持重點一流學科發展的同時，不斷提升專業學位研究生教育的水平，引領并促進著上海音樂學院的學科建設方向和步伐。我院研究生教育始終秉持“開放多元、前沿前瞻、融合創新、引領社會”的教學理念，以全球高等教育機構的視野，按照一流標準來打造教育管理模式，凸顯藝術本質，無論在宏觀的思路、理念，還是在具體實施方案等方面，都處于全國領先地位，對中國音樂藝術學科研究生教育起到建設性、樣本性的引領示范作用。人才培養總目標是：培養中國特色、國際一流的音樂領軍人才，示范引領國際音樂學科研究生教育。
