Согласно легендам, город был основан богом Шивой около 5 000 лет назад и поэтому Варанаси является одним из наиболее важных мест паломничества в Индии. Варанаси входит в семёрку священных городов индуизма. Много индуистских писаний, таких как Ригведа, Сканда-пурана, Рамаяна и Махабхарата упоминают его.

Во времена Гаутамы Будды (родился ок. 567 г. до н.э.) Варанаси был столицей царства Каши. Выдающийся китайский путешественник Сюаньцзан описывал его как центр религиозной, образовательной и художественной деятельности, отмечая, что город простирался более чем на 51 км. вдоль западного берега Ганги.