II. Mahmut'un fermanı ile 1834 yılında kurulması çalışmalarına başlanan Mekteb-i Harbiye, 1 Temmuz 1835'te Maçka'da Sultan II. Mahmut'un da katıldığı bir törenle eğitim ve öğretime başlamıştır. 1 Temmuz 1835 tarihinde okula gelen Padişah, Okul Kütüphanesinde bir müddet istirahat etmiştir. Harp Okulu Kütüphanesi, uzun tarihi içinde; dönemin siyasi, askeri ve sosyal şartlarının gereği olarak ve bazen de yetersizliklerden dolayı farklı binalarda hizmet vermiştir.

Harp Okulu, 25 Eylül 1936 tarihinde Ankara'ya nakledilerek yeni yapılmış olan binasında (Atatürk Sitesi'nde) eğitimine başlamıştır. 2 yıl olan eğitim süresi 1948 yılında 3 yıl, 1963 yılında 2 yıl, 1971 yılında 3 yıl, 1974 yılında 4 yıl olarak düzenlenmiştir. 11 Mayıs 2000 tarihinde TBMM'de kabul edilen ve 17 Mayıs 2000 tarihinde resmi gazetede yayınlanarak yürürlüğe giren Harp Okulları Kanunu ile Kara Harp Okulu, "Yüksek Öğretim Kurumları" içerisinde "Üniversiteler" ile birlikte sayılmıştır.

Kara Harp Okulu Kütüphanesi, 1936-1983 yılları arasında şu anda Okul Karargahı ve Anafartalar Taburu'nun bulunduğu Atatürk Sitesi'nde hizmet vermiştir.

1983-1989 yılları arasında ise Dekanlık binası giriş katında bugün kafeterya olarak kullanılan 700 m2 lik bir alanda hizmet vermiştir. 1989 yılında kütüphane koleksiyonu 12.000 civarında kitaptan oluşmaktadır. 4 sivil memur 1 subay ile kütüphane faaliyetleri yürütülmüştür.
1989-1999 yılları arasında Dekanlık binasının en üst katında 1450 m2’lik bir alanda hizmet vermiştir. Şu anda kütüphaneden boşalan mekanda subay yemek salonu ve Savunma Bilimleri Enstitüsüne ait birimler  bulunmaktadır.

Kütüphane, 1989-1999 yılları arasında Öğretim Başkanlığı  teşkilatındadır. Öğretim Başkanlığının görevlerinden biri de: “Kütüphane faaliyetlerini takip ve kontrol etmek; geliştirilmesi, kitap mevcudunun,  yararlanan öğrenci ve personel sayısının  arttırılması için gerekli tedbirleri almak ve Okul Komutanlığına tekliflerde bulunmaktır.

KKK.lığı ve diğer kaynaklardan sağlanan imkanlarla 1988-1989 eğitim öğretim yılında, 400 kişilik okul merkez kütüphanesindeki kitap miktarı, 13568 çeşit, 39963 adettir. Bu kütüphanede, ayrıca ses ve video kaset izleme imkanı bulunmaktaydı. Kütüphanenin sürekli olarak 34 yabancı bilimsel periyodik girdisi  vardır. Bunun dışında mahdut kitap sayısı ve 4 adet tabur kitaplığı, 96 adet kısım başucu kitaplığı mevcuttur.

1989-1999 yıllarında kütüphanede 18 sivil memur 2 subay görev yapmıştır. Koleksiyon 39.963 adet kitaptan 57852 adet kitaba çıkarılmıştır.

Kütüphane ve Sosyal Tesisler kompleksinin bulunduğu 13 Mart Sitesinin yapımına 1997 Ekim ayında başlanmıştır. Bina inşaatı ve iç düzenlemesi EYLÜL 1999’da bitirilmiştir. 13 Mart Sitesi, 27 Eylül 1999 Pazartesi günü KKK. Org. Atilla ATEŞ ve  (E) Org. Doğu Aktulga  tarafından hizmete açılmıştır. 27 Eylül 1999 tarihinden  bugüne kadar aynı binada hizmet vermektedir.