Литературный храм состоит из пяти дворов, выстроенных в определенном порядке и разделенных стенами. Вход через первый двор украшают удивительные двойные ворота, пройдя через которые можно увидеть три пути через весь комплекс строений

. Центральная дорога предназначалась только для короля, по левой передвигались мандарины, занимающиеся административными делами, а по правой – «военные» мандарины.
Главному входу предшествуют ворота, на которых надпись требует, чтобы посетители слезли с коней перед входом.
Первые два двора Ван Мью представляют собой зеленый парк с древними деревьями и отлично подстриженными газонами – все это для отдыха учеников за пределами серых стен.