Музей основан 10 декабря 1947 года для спасения архитектурного ансамбля Спасо-Андроникова монастыря и сохранения памяти о похороненном здесь великом русском иконописце Андрее Рублеве. К открытию музея в 1960 году был восстановлен древнейший сохранившийся на территории города Москвы белокаменный собор. За десятилетия существования музея его сотрудниками собрана одна из лучших в России и мире коллекций произведений русского религиозного искусства XI – начала XX века.