La academia fue creada con el nombre de Colegio de Infantería en Toledo, en 1850. El 17 de octubre de 1875, tras haber sido trasladada temporalmente a Madrid, se instaló en el Alcázar de Toledo. En 1882 pasó a llamarse Academia General Militar y entre 1931 y 1936 se fusionó con las academias de Caballería y del Cuerpo de Intendencia, manteniendo su sede en el Alcázar de Toledo.
La academia fue destruida en dos ocasiones: una en 1887 durante un incendio y otra durante la Guerra Civil.
En octubre de 1939, ya con el gobierno de la dictadura militar, la Dirección General de Enseñanza Militar nombra cinco prestigiosos jefes para dirigir las Academias, que resucitan de sus cenizas tras de su disolución por parte del presidente Azaña. La Academia de Infantería queda ubicada provisionalmente en el edificio de la Academia General Militar de Zaragoza quedando al mando del coronel de infantería habilitado Santiago Amado Loriga.
La actual academia empezó a construirse en 1941, estando preparada para el curso 1948-49. En 1974 se fusionó con la Escuela de Aplicación del Arma, de la misma manera que lo hizo la Academia de Ingenieros.
Si todo sale como tengo planeado, esta será mi academia
