1956年秋，经著名音乐家贺绿汀倡导，上海音乐出版社正式宣告成立。1958年8月，上海音乐出版社与新文艺出版社、文化出版社合并为三社一体的上海文艺出版社。1987年1月，经国家新闻出版署批准，正式恢复上海音乐出版社社牌，作为上海文艺出版社的副牌。2004年6月22日，上海音乐出版社正式并入新组建的上海文艺出版总社。