Kentin adı en erken 6. yüzyılda Gamsaragan sülalesinden Ermeni beylerine ait bir müstahkem yer olarak geçer. Ermeni Gamsaragan ailesi ile Ermeni Bagrationi (Bagrat) ailesi arasındaki uzun mücadele ikincilerin zaferi ile sonuçlanmış ve 780 yılında Gamsaragan'lar mülklerini Bagratlılara satarak Bizans ülkesine göçmüşlerdir.

Bagratlı I. Aşot 885 yılında Abbasi Halifesi ve Bizans İmparatoru tarafından "Ermenistan Kralı/Şehinşah-ı Armen" olarak tanınmıştır. Aşot ve oğulları önce (bugünkü Tuzluca ilçesinin 8 km kuzeyinde Halimcan köyü yakınında bulunan) Bagaran kentinde, daha sonra (Akyaka ilçesinde Koyucak mevkiinde bulunan) Şirakavan'da ve Kars merkezde hüküm sürmüştür. 961 yılında 3. Aşot (953-977) başkentini Ani'ye taşıyarak burada büyük bir kentin inşaına başlamıştır.

Kent en parlak devrini 2. Smpat (977-989) ve oğlu Gagik (989-1020) döneminde yaşamıştır. Bu devirde kent nüfusunun 100.000'i aştığı rivayet edilmektedir. 1045'te Bizanslılar Ani'yi zaptedip Bagratlı devletine son verince savunmasız ve huzursuz kalan bölge, 1064'te Selçuklu sultanı Alparslan'a teslim olmuştur.