На северо-западной окраине Баболовского парка сохранился в развалинах один из самых интересных памятников русской псевдоготики XVIII столетия — Баболовский дворец.
В 1782 году архитектор И. В. Неелов разработал проект постройки близ деревни Баболово каменного дворца на месте находившегося здесь ранее деревянного усадебного дома Г. А. Потемкина. Построенный в 1783—1785 годах каменный дворец отличался своеобразием плановой композиции и внешнего облика. В оформлении фасадов Неелов использовал готические мотивы: окна со стрельчатыми завершениями и готическим рисунком оконных переплетов, зубчатые парапеты. Стены дворца не были оштукатурены.
В первой четверти XIX века Баболовский дворец подвергся перестройке. Архитектор В. П. Стасов возвел примыкающее к дворцу обширное помещение для уникальной гранитной ванны, вытесанной из гигантского монолита известным мастером Самсоном Сухановым. Строительные работы были выполнены в 1824—1825 годах.
В период военных действий 1941—1944 годов дворец значительно пострадал и пока не восстановлен. В группе псевдоготических зданий царскосельских парков Баболовский дворец по своей художественной ценности занимает одно из первых мест.