Widziane z ryterskiego zamku
Kiedy w 1831 roku Żegota Pauli, krajoznawca i nestor polskiej etnografii, zmierzając drogą wśród najpiękniejszych okolic ujrzał pozostałości zamku w Rytrze napisał: Leżą one na górze skalistej, popod którą szumiący Poprad płynie. Wieża okrągła, dość wysoka sterczy śród gruzów; na spodzie były niegdyś srogie więzienia. Wokoło widać ślady mocnych zabudowań, w murach drzewiną porosłych, jeszcze gdzieniegdzie widać znaki kutych drzwi i okien. Jak się zdaje, służył zamek ten więcej do obrony aniżeli do przepychu . Położenie zamku jest w istocie urokliwe. Kopiastą górę, na której go zbudowano, otaczają malownicze, wyższe odeń, wyniesienia porośnięte lasem. Od północy, a zwłaszcza od zachodu, zbocza stromo opadają ku dolinie. Południowy, łagodniejszy stok ukosem przecina droga wiodąca na zamek. Od wschodu na siodłowatym obniżeniu oddzielonym od warowni fosą znajdowało się niegdyś podzamcze. Sam zamek zajmuje niewielką przestrzeń na samym szczycie.

Niemiecko brzmiąca nazwa, pierwotnie zapisywana jako Ritter, pozwala wiązać ten obiekt z okresem panowania Wacława II, tzn. z przełomem XIII i XIV w. Jednak już Jan Długosz starał się udowodnić jego polskie pochodzenie stwierdzając, że nazwa ta przylgnęła do warowni około roku 1244, kiedy osiedlili się tam przejściowo niemieccy rycerze-rozbójnicy. Na arenę dziejów zamek wypłynął w czasach Władysława Łokietka, kiedy w roku 1312 władca ten zezwolił sądeckim klaryskom na pobieranie cła prope castrum Ritter (w bliskości zamku Ritter), zaś w roku 1331 nadał mieszczanom sądeckim las ultra Rither castrum, czyli poza zamkiem Ritter. W Liber beneficiorum dioecesis cracoviensis, tzn. Księdze uposażeń diecezji krakowskiej, Jan Długosz podaje, że zamek był własnością Piotra Wydżgi, herbu Janina, od którego miał go przejąć Łokietek. Piotr Wydżga, to postać niezwykle barwna. Był starostą sądeckim i poza Rytrem posiadał jeszcze zamki Czorsztyn i Lemiesz. W pewnym momencie swego życia zdecydował się porzucić życie świeckie i wstąpił do zakonu Najświętszej Marii Panny, znanego powszechnie jako krzyżacy. Nim jednak to nastąpiło Wydżga przez lata wykopywał w rejonie Rytra i Łącka złoto, a znaleziony kruszec zakopywał w górach. Gdy umierał, pozostawił ponoć u sądeckich klarysek wskazówki jak odnaleźć skarb. Zamieścił je w Liber beneficiorum Długosz, podając treść zapiski w języku łacińskim i polskim.

W rzeczywistości zamek pozostawał w rękach dzierżawców dóbr królewskich, tzw. tenutariuszy. Około roku 1420 Władysław Jagiełło dał Rytro Toporczykowi Piotrowi z Pisarz. W posiadaniu jego potomków, którzy przyjęli nazwisko Ryterskich, zamek pozostawał do początku XVI w., kiedy jego administrację przejął Piotr Kmita (1477-1553), pan na Wiśniczu, jeden z najbogatszych i najbardziej wpływowych ludzi w Polsce. Zamek spłonął w niewyjaśnionych okolicznościach około połowy XVI w. Ostatni tenutariusz, Stanisław Garnysz, podstoli Zygmunta Augusta zmarły w 1587, nie uczynił nic, aby przywrócić należyty stan obiektowi. Sekretarz Piotra Kmity, Marcin Bielski, w satyrze Sąd niewieści wydanej w roku 1586 o murach zamkowych Rytra napisał, iż są stare, upadłe. Jednak miejscowa tradycja przypisuje, nie wiadomo dlaczego, zniszczenie warowni dopiero Jerzemu Rakoczemu (1657), chociaż zarówno źródła pisane, jak i archeologiczne wyraźnie wskazują na okres około połowy XVI stulecia.

Zamek powstawał stopniowo. Najpierw z miejscowego piaskowca postawiono cylindryczną wieżę. Jej mury u podstawy miały 3 metry grubości, a otwór wejściowy znajdował się niemal 6 m powyżej poziomu dziedzińca. Pierwotnie można było dostać się do niej po drabinie, a później z drewnianego ganku na murze obronnym. Początkowo wieżę otaczały drewniane umocnienia, dopiero później wzniesiono w jej bezpośredniej bliskości mur obronny, otwarty od strony zachodniej, gdzie zbocze jest najbardziej strome. Wjazd znajdował się wówczas w narożniku południowo - zachodnim. Różnicę poziomów progu bramy i dziedzińca niwelował pasaż z pochylnią, biegnący przy murze południowym. Zapewne po pożarze w XIV w. do zamku włączono fragment stoku od strony zachodniej. Wybudowano wtedy solidny mur osadzony w stropie skały, a nowo pozyskany obszar zasypano gruzem i zgliszczami. W miejscu dawnej bramy postawiono nową, a przedbramię utwardzono kamieniami. Na dziedziniec zamkowy tak jak dawniej prowadził pasaż z pochylnią. W XV stuleciu i ten zamek strawił pożar. Archeolodzy natrafili na jego ślady – grubą warstwę spalenizny, którą wraz z gruzem ponownie zniwelowano dziedziniec. Odbudowany, zapewne w stylu późnogotyckim, zamek otaczał mur obronny o nieregularnym obrysie, zbliżonym do wydłużonego trójkąta zaokrąglonego od wschodu. Od zachodu w linii muru obronnego znajdował się dwutraktowy budynek mieszkalny z otworami strzelniczymi skierowanymi w stronę Popradu. W dalszym ciągu funkcjonowała wieża przylegająca do muru obwodowego. W części wschodniej zamkniętej zaokrąglonym murem znajdowała się tzw. ostróża, z której ostrzeliwano przedpola zamku od strony podzamcza. W trakcie badań archeologicznych znaleziono tam fragment lufy nieokreślonego typu broni palnej. Między wieżą a murem ostróża prawdopodobnie stały drewniane szopy. Tu też mogły znajdować się budynki kuchni. Od południowego wschodu do muru obwodowego dobudowano duży regularny budynek bramy wsparty od strony stoku czterema potężnymi przyporami, schodzącymi głęboko w dół zbocza. Monumentalne przypory były zarazem filarami drewnianej rampy, która prowadziła na przedbramie, oddzielone od progu głębokim przekopem. Z bramą łączył przedbramie most zwodzony. Nie natrafiono dotąd na studnię lub cysternę, nie wiadomo zatem w jaki sposób zaopatrywano obiekt w wodę. Zamek ten nie funkcjonował długo. Spłonął około połowy XVI stulecia. Nie został już odbudowany i pozostawiony sam sobie stopniowo niszczał. Jednak dzięki temu, że po pożarze nikt już w nim nie zamieszkał w warstwach pogorzeliska zachowało się wiele przedmiotów z jego wyposażenia, m.in. komplet zawiasów i kłódka do bramy wjazdowej.

Miejscowi opowiadają, że w podziemiach zamku znajdują się skarby, których według jednej legendy strzeże bies przybierający postać koguta, zaś według innej duch dawnego zarządcy Marcinka, który wyrzuca złoto uczciwym i kamienie oszustom. Jest też oczywiście legenda o przejściu z zamku do Nawojowej. Czy w legendach tych jest ziarnko prawdy mogą odpowiedzieć jedynie archeolodzy. Dzisiaj, dzięki pracom zabezpieczającym, ryterski zameczek coraz bardziej przypomina ten sprzed pożaru w XVI stuleciu.