Здание Этнографического музея возведено архитектором В. Ф. Свиньиным на месте восточного флигеля, конюшенного и прачечного корпусов Михайловского дворца.
В. Ф. Свиньин использовал в проекте музея архитектурные приемы и мотивы русского классицизма, с тем чтобы добиться стилистического единства созданного им нового здания музея и Михайловского дворца. Найти правильное решение ему не удалось.
Здание Этнографического музея воспринимается не как часть ансамбля Mихайловского дворца, а как самостоятельное сооружение.
Строительные работы начались весной 1900 года и затянулись надолго. Особенную сложность представляла внутренняя отделка здания. Стены большого зала решили облицевать олонецкими мраморами. Работы по внутренней отделке вестибюля, большого зала и других музейных помещений закончились в 1911 году. По трем стенам зал опоясывает фриз, исполненный скульптором М. Я. Харламовым.
Обстрелы города фашистской артиллерией в 1941–1944 годах причинили зданию значительные повреждения. После войны оно было полностью восстановлено.