В этом замке жил Пан Боснии Степан Котроманич вплоть до своей смерти в 1353 году. Есть две исторические версии, связанные с османским завоеванием Сребреника. Согласно одной, Сребреник был захвачен в 1512 году, одновременно с селением Теочак. Другая версия гласит, что Сребреник был взят в одно время с поселениями Сокол и Тешань в 1521 году санджак беем (турецким наместником в Боснии) по имени Фериз. Несмотря на то, что абсолютно точных данных нет, можно предположить, что старый город Сребреник вместе с крепостью были построены во времена венгерского господства (кстати тогда Сребреник даже на некоторое время стал столицей Боснии), а некоторые детали, сохранившиеся до наших дней, в том числе и мечети, позже были добавлены османами.