ساختمان موزه، یکی از زیباترین بناهای مجموعه فرهنگی تاریخی سعدآباد می باشد که در جنوبی ترین نقطه مجموعه واقع شده است.
ساخت این بنا به دستور رضا شاه در سال 1319شمسی آغاز شد و در سال 1320 با تبعید وی به صورت نیمه کاره رها شد.
حدود سالهای 1342 -1343 ادامه ساخت آن به دستورمحمدرضا پهلوی انجام شد و در سال 1346 بعنوان وزارت دربار به بهره برداری رسید .
این ساختمان به سبب استفاده از سنگهای مرمر سیاه متعلق به معدن ولی آباد چالوس به کاخ اسود نیز معروف بوده است.
پس ازانقلاب شکوهمند اسلامی این بنا با عنوان موزه هنرهای زیبا در سال 1361 بازگشایی و مجسمه ها و تابلوهای نفیس نقاشی در آن به نمایش گذاشته شد.