Улм се први пут спомиње [[854|854.]]. године, а [[Фридрих I Барбароса|Фридрих Барбароса]] га проглашава слободним царским градом [[1181]]. У Улму је [[1326]]. склопљен споразум по коме [[Фридрих I Хабзбург]] управља Немачком, а [[Лудвиг IV Баварски|Лудвиг Баварски]] постаје цар Светога римскога царства. Град доживљава процват у петнаесттом и шеснаестом веку, махом захваљујући извозу текстила. Ови векови такође представљају „зенит“ уметности у Улму, посебно за сликаре и вајаре. Током и након [[Тридесетогодишњи рат|Тридесетогодишњега рата]] град је назадовао.
Од [[1803]]. више нема статус [[слободни царски град|„слободног царскога града“]] и припаја се Баварској. Године [[1810]]. Улм улази у састав Краљевства Виртемберг. [[Наполеон I Бонапарта|Наполеон]] је [[1805|1805.]]. у великој [[Битка код Улма|бици код Улма]] победио и уништио целу аустријску армију.
