W miejscu tym, u zbiegu rzek Niemen i Niewiaża, miał znajdować się jakoby zamek krzyżacki zbudowany w 1405 roku i nazywany przez nich
Konigsburg lub
Rothenburg. Rezydował w nim wójt Żmudzi Michael Küchmeister. Trudno jednak z całą pewnością stwierdzić, że dzisiejszy obiekt ma cokolwiek wspólnego z zamkiem krzyżackim.
Rezydencja zbudowana przed 1615 roku zbudowana przypuszczalnie przez Jana Dziewłatowskiego herbu Trąby, który jako pierwszy wzmiankował go w swojej korespondencji. Dobra, na których się znajduje dwór wchodziły w XVI wieku w skład majątku królewskiego, ponieważ wiadomo, że w 1549 roku król Zygmunt II August podarował je swojej żonie Barbarze Radziwiłłównie. Być może istniał tu wtedy jakiś obiekt mieszkalny, a według niepotwierdzonej tradycji istniał tu obiekt obronny zbudowany przez Zakon krzyżacki. Po śmierci królowej majątek trafił w ręce innych przedstawicieli rodziny Radziwiłłów. Następnie własność wspomnianych Dziewałtowskich. Córka Jana Dziewałtowskiego, Katarzyna Gintowt Dziewałtowska, wyszła za Jana Eustachego Kossakowskiego, po którym właścicielami stali się ponownie Radziwiłłowie. W 1662 roku kupili go Worłowscy, natomiast w połowie XVIII wieku właścicielami byli Zabiełłowie. W 1819 r. dwór kupił Benedykt Tyszkiewicz, który dokonał jego naprawy oraz wybudował dodatkowe budynki, w tym stodoły i stajnie oraz park. W rękach Tyszkiewiczów majątek pozostawał do końca I wojny światowej. W trakcie Powstania listopadowego pałac spłonął w pożarze w 1831 roku. Podczas odbudowy zbudowano w latach 1837–1839 oranżerię. Kolejnej przebudowy dokonano po 1855 roku, gdy Tyszkiewiczowie zamienili pałac w rezydencję o cechach neogotyckich i neorenesansowych. Wtedy też przypuszczalnie odbito tynki, uwydatniając czerwony kolor elewacji, a wieżę zwieńczono neogotyckim krenelażem mającym imitować średniowieczną formę obiektu. Kolekcja Tyszkiewiczów z Czerwonego Dworu zawierał jedno z najbogatszych archiwów rodzinnych na terenie dawnej Rzeczpospolitej Obojga Narodów. Liczyło ono 20 000 dokumentów, 12 000 listów, przeszło 10 000 tomów książek. Do tego na kolekcję w pałacu w Czerwony Dworze składała się bogata galeria obrazów malarzy polskich i obcych Canaletto, Bacciarelli, Czechowicz, Wańkowicz, Rustem, zbiór pasów słuckich (zniszczony w Powstaniu Warszawskim), gobelinów i makat. Benedykt Henryk Tyszkiewicz zasłynął również jako nabywca obrazu Stefan Batory pod Pskowem Jana Matejki za 60 000 franków, który zdobił jedną z sal w rezydencji w Czerwonym Dworze. Kolekcję tę wywieziono na wschód przed 1915 r. W zamku w okresie I wojny światowej mieścił się niemiecki sztab wojskowy. Po wojnie majątek został przejęty przez rząd Litwy, a następnie go rozparcelowano, a w pałacu w latach 1927-1944 umieszczono sierociniec. W 1944 roku w trakcie II Wojny światowej pałac spłonął. W latach 1957-1972 pałac odbudowano dokonując przekształcenia wieży sugerując jej gotycką formę. W zamku ma siedzibę Instytut Mechanizacji Rolnictwa i szkoła rolnicza. W 2008 roku został określony jako narodowy pomnik kultury Litwy. Pałac, zwany zamkiem, jest otoczony parkiem z palmiarnią. Rezydencja znana jest z kolekcji sztuk pięknych, zawierających obrazy Leonarda da Vinci, Caravaggia, Rubensa i Andrea del Sarto. W pałacu mieści się muzeum litewskiego kompozytora Józefa Nowialisa.
Wieża jest zgrabnym oszustwem, co widać na zdjęciu poniżej.
Płyta nagrobna właścicielki zamku Marii Teresy Zabiełło z 1795 roku z wątku
http://www.skyscrapercity.com/showthread.php?p=98701393:
Właściwie nie wiem czy ten obiekt powinien się tu znajdować, bo cech obronnych nie posiada, ale samo położenie u zbiegu dwóch rzek, z których jedna była granicą krzyżackiej Żmudzi, wskazują, że wzmianki o istnieniu tu obiektu krzyżackiego mogą nie być bezpodstawne. W linii prostej od zamku w Kownie dzieli Czerwony Dwór tylko 8 km, a rzekami 14 km.