Комплекс построек Фермы расположен на северной окраине Сильвии, близ Пильной речки. В XVIII — начале XIX века его называли «скотным двором в Сильвии». Проект главного здания, обращенного лицевым фасадом в сторону речки, разработан не позднее 1796 года. В том же году начата его постройка. Имя автора проекта не установлено. К концу 1798 года помещения внутри здания и средний большой зал были оштукатурены. Одновременно на Ферме был построен каменный погреб. Тогда же, по-видимому, был сооружен каменный павильон над колодцем, дошедший до нашего времени.
В центре одноэтажного главного корпуса Фермы, сохранившего свой первоначальный внешний облик, расположен большой зал. Его наружные стены образуют выступ на фасаде, обработанный пилястрами и завершенный фронтоном. Перекрытый полусферическим куполом, центральный объем имеет, в отличие от боковых крыльев, два яруса. Гладкие стены второго яруса прорезаны полуциркульными оконными проемами. Крыша боковых крыльев, подобно крышам Лесной оранжереи и здания придворных конюшен, - с переломом, причем профиль её нижней части имеет криволинейные очертания. Этот мотив, нетипичный для архитектуры классицизма, придает зданию барочный характер.
Внутри здания значительный интерес представляет центральный круглый зал, вписанный в четырехугольник каменных стен. Композиционное решение зала усложнено введением полуциркульных ниш, расположенных по диагоналям квадрата.
Во второй половине XIX века по оси центрального зала к зданию со стороны двора была сделана пристройка.
В период военных действий в 1941–1944 годах здание претерпело значительные разрушения, но в послевоенные годы было восстановлено. При реставрации интерьера центрального зала художниками Р. П. Сayсеном, В. В. Зверевым и О. Ю. Педаясом восстановлена роспись купола.