Obszar obecnego Pasymia pierwotnie zamieszkiwał szczep Galindów. Jeszcze w XIV wieku Krzyżacy założyli na tym terenie miasto. Znajdował się tu zamek, który po zniszczeniu ostatecznie rozebrano w wieku XIX, a na jego miejscu postawiono kościół.
Pasym leży na Mazurach pomiędzy jeziorami Leleskim, Kalwą i Gromem na Pojezierzu Olsztyńskim. Od Olsztyna dzielą go 32 km, a od Szczytna 19. Maury domki, Pasym domki świetnie sprawdzają się jako baza wypadowa na Mazury.
Na przełomie XIX i XX wieku w Pasymiu wytyczono linię kolejową, wybudowano gazownię i wodociągi. Miasto słynęło jako ośrodek sportów wodnych i zimowych. W miejscowości kręcono popularny serial „Dom nad rozlewiskiem”.
XV-wieczny kościół ewangelicko-augsburski jest jednym z najważniejszych zabytków jakie zobaczymy w mieście. Został wzniesiony w stylu późnogotyckim, który charakteryzuje się oknami ostrołukowymi oraz oszkarpowanym korpusem.