Строительство города и замка началось во второй половине XIII века, около брода через Влтаву, через который пролегал важный торговый путь в Богемии.

в середине XIII века на правом берегу Влтавы существовало поселение, жителями которого были переселенцы из Баварии и Австрии. На левом берегу Влтавы несколько позже также возникло поселение, называемое Латран (Latrán) (в настоящее время район Латран является частью исторического центра города, охраняемого как объект всемирного культурного наследия). Оба поселения в 1347 году были соединены мостом и образовали город. В 1336 году в Крумлове образован городской совет, в это время в городе получили развитие ремёсла и торговля, укрепления города были усилены строительством новой городской стены. В 1494 году Крумлов получил статус и привилегии королевского города. Добыча серебра на окрестных шахтах дала новый толчок развитию экономики города и торговли.