Die Stadt bestand aus zwei in Lehm errichteten Festungen. Während der größte Teil zusammengebrochen ist, lassen sich noch heute die östlichen und nördlichen Abschnitte der nördlichen Festung erkennen. Der erhaltene Teil ist vier Meter hoch und zwei Meter dick. Die kleinen Löcher, mit denen die Festung übersät ist, sollen der Beobachtung von außen von innen gedient haben. Auf der nördlichen Festung stand ein großer Tempel, umgeben von Löwen. Die Ruinen von Baibalik befinden sich 14 km vom Zentrum von Khutag-Öndör entfernt. Die Stätte ist seit 1998 als historische Stätte vom Staat geschützt.

Wie viele Überreste in der Mongolei sind die Ruinen von Baibalik zugleich die einer xiongnu-Festung und die einer bedeutenden uigurischen Stadt. Die Mongolen hatten nämlich die Gewohnheit, alte Festungen wiederzuverwenden, weshalb es schwierig ist, ausschließlich xiongnu-Überreste auszugraben. Im sum von Saikhan, Provinz Bulgan, findet sich eine Inschrift zur Gründung von Baibalik, die auf einer Stele eingemeißelt und dem uigurischen König Myunchur zugeordnet wird. In der 44. Zeile heißt es:

Historiker gehen daher davon aus, dass die Stadt vom König Myunchur erbaut wurde und dass sich hier zahlreiche tadschikische und chinesische Händler sowie manichäische Prediger kreuzten. Als blühende Stadt galt sie als ein kulturelles Zentrum in Zentralasien.

Die Stadt wurde 840 von den Kirgisen zerstört. Alle Sutra-Bücher wurden damals verbrannt.