Późnorenesansowy pałac z końca XVI wieku został zbudowany na miejscu zniszczonej pierwotnej twierdzy przez ważną morawską rodzinę – panów z Žerotína. Fasadę budynku zdobi sgraffito, technika dekoracyjna malarstwa ściennego, popularna w okresie renesansu. Natomiast boniowane łuki arkad już zapowiadają nadchodzący barok.
Właśnie w okresie baroku był pałac bogato wyposażony i bez szwanku przetrwał wojnę trzydziestoletnią. Dzięki temu zwiedzający mają możliwość zobaczyć wyjątkowo zachowane wnętrza zdobione kolekcją gobelinów i skórzanych tapet. Warto również wspomnieć najstarszą dwuosobową lektykę na świecie albo pałacową bibliotekę. Ponieważ pałac do dnia dzisiejszego nie był zelektryfikowany, w lecie odbywają się tutaj wieczorne wycieczki z latarkami, ulubione zwłaszcza wśród dzieci. Bardzo przyjemny jest także spacer po parku zamkowym, gdzie rosną rzadko spotykane gatunki drzew.
Pałac Velké Losiny i przyległe mu tereny były związane z tzw. procesami czarownic, które odbywały się tutaj w latach 1678–1692. Ofiarami trybunału inkwizycyjnego było 56 nieszczęśników.
W 1802 roku Ludvík Anton sprzedał zadłużony majątek Liechtensteinom. Liechtensteinowie najpierw wzięli się do obszernej przebudowy ogrodu pałacowego. Zlikwidowano ogród barokowy a na jego miejscu podczas XIX wieku powstał dzisiejszy ogród angielski. Wnętrza tzw. „wysokiego pałacu“ poddano minimálním zmianom. Przebudową przeszedł jedynie parter w celu utworzenia pomieszczeń technicznych. Natomiast wielkich zmian doczekał się tzw. ,,niski pałac“. Dzisiejsze skrzydło w stylu empire do połowy XIX wieku zostało wyremontowane i wyposażone. W dalszej kolejności pojawiły się pomieszczenia urządzone w stylu drugiego rokoka. Na początku XX wieku doprowadzono do pałacu prąd, wodę i wyboduwano nowoczesnę kuchnię.
Od 1945 roku pałac jest własnością państwa. A w 1995 roku został ogłoszony narodowym zabytkiem kultury.