Comme c'est le cas pour de nombreuses villes, la naissance de Klagenfurt est rattachée à une légende : la ville aurait été fondée après que quelques braves aient terrassé le dragon ailé Lindwurm, qui vivait du côté du lac et se nourrissait de vierges.
Sur des bases plus historiques, la ville a été fondée par le duc Herman de Carinthie sur une place fortifiée située le long d'une route commerciale fréquentée. Dans les siècles qui suivirent, Klagenfurt fut la proie de plusieurs incendies, de tremblements de terre, d'invasions de sauterelles et d'attaques des Turcs.
Après un nouvel incendie en 1514, l'empereur du Saint-Empire germanique étant incapable de reconstruire la ville, il cède Klagenfurt au Duché de Carinthie. Celui-ci parvint à redresser la ville, qui connut alors un essor considérable pour devenir la plus importante de la région.
Klagenfurt est également connue pour être la première ville autrichienne à avoir instauré un piétonnier dans son centre-ville.