Zamek został wymieniony po raz pierwszy jako "castrum in Sedlscho" już w 1298 r. Wówczas był to zapewne gród o drewniano-ziemnych obwarowaniach, który w takiej postaci przetrwał aż do połowy XVI w. Dziedzicami Siedliska(Karolatu) była od 1361 r. rodzina Rechenbergów. W latach 1550-1560 Franz Rechenberg, ówczesny administrator majątku, powiększył swoją siedzibę, usuwając jedną ze ścian (wał z palisadą) i wznosząc w tym miejscu budynek murowany. Nowe mury, wzniesione z kamienia polnego i cegły, zaczęły się jednak rysować, grożąc zawaleniem i zniszczeniem całego kompleksu. Musiano je zatem wzmacniać drewnianymi belkami. Prawdopodobnie przyczyną był  zbyt grząski  grunt"'. W takim stanie nabył  zamek od Rechenbergów w  1561  r. Fabian Schönaich.  Przebywał  on jednak w Siedlisku rzadko, gdyż traktował swoje dobra  jedynie  jako lokatę majątku. Nie udało mu się  też nabyć  tych ziem na własność. Nie doczekawszy się męskiego potomka, uczynił swym spadkobiercą bratanka Jerzego Schönaicha. Do  czasu śmierci Fabiana  żadnych prac murarskich na zamku nie wykonano     Jerzy Schönaich dopiero 27 listopada   1593 r. uzyskał  od cesarza  zezwolenie na dzierżawę posiadłości w Siedlisku. Nie posiadając dotąd godnej swego rodu rezydencji, postanowił wybudować   zamek, który by  świadczył o wielkości rodziny Schönaichów.  On sam był kanclerzem  śląskim.  Swój  zamek postanowił wznieść w Siedlisku,  na miejscu siedziby Rechenbergów. Umowę  na budowę  zamku zawarł Jerzy Schönaich w  1597 r, z Melchiorem Deckhardtem,  budowniczym z Legnicy. Sam Jerzy Schönaich był  głównym inspiratorem założeń architektonicznych. Pod koniec  1597r. Melchior  Deckhardt przedstawił  ostateczny plan budowy. Mówił on o budowli  trzyskrzydłowej.  Zwieziono materiał budowlany i wiosną następnego roku przystąpiono do budowy. Pierwsze wschodnie skrzydło ukończono w  1600 r. Mieściła  się w nim między innymi sala reprezentacyjna z 40 portretami królów. Około  1600 r.  sprowadził Jerzy Schönaich na zamek kronikarza Piotra Tietza, którego  zadaniem było spisywanie historii rodu i aktualnych wydarzeń  związanych z budową zamku. Następnie wybudowano drugie  południowe skrzydło i budynek bramny. Nowe skrzydło mieściło w  swej  dolnej kondygnacji  dużą  salę reprezentacyjną,  zwaną książęcą lub balową, której  sklepienie wsparte  było na   12 kolumnach. Budynek bramny zaś mieścił bibliotekę i  zbrojownię. W maju  1612 r.  przybył na zamek na zaproszenie Jerzego znany fortyfikator z Wrocławia, Walenty Sabisch. Wykonał on plany pomiarowe fortyfikacji bastionowych dla zamku. Zrealizował je w ciągu następnych dwóch lat Andrzej Hindenberger z Hoyerawert. Zamek otoczyły zatem nowoczesne umocnienia bastionowe. Ostatnią budowlą, która powstała za życia Jerzego, była kaplica zamkowa. Została ona usytuowana we wschodnim skrzydle, przy bramie przejazdowej. Założono ją na planie prostokąta o wymiarach 19,3/15,1 m i od wschodu zamknięto półkolistą absydą. Jej budowę ukończono w 1618 r. Kaplica ta jest swoistym zjawiskiem w sztuce śląskiej. Jest to pierwsze rozwiązanie kaplicy zamkowej wybudowanej jako lektorium protestanckie (Jerzy Schonaich był protestantem). Wnętrze kaplicy, nakryte sklepieniami kolebkowymi i kolebkow-krzyżowymi, obiegają dwukondygnacyjne empory z maswerkowymi, kamiennymi balustradami, wsparte na kamiennych kolumnach, dekorowanych rzeźbionym ornamentem okuciowym. Podobny ornament zdobi renesansową kamienną ambonę.

Całość powstania pierwszej części zamku zamyka się więc w okresie lat 1597-1618. Jerzy Schönaich zmarł 25 lutego 16T9 r., nie doczekawszy się, podobnie jak jego stryj Fabian, męskiego potomka. Jego dobra odziedziczył kuzyn Jan Schönaich. Jan stracił część majątku na rzecz jezuitów głogowskich i musiał opuścić Siedlisko. Naraził się bowiem cesarzowi, gdy w 1620 r. udzielił pomocy w ucieczce królowi Czech Fryderykowi V, po jego klęsce pod Białą Górą starania rodziny u dworu w celu odzyskania posiadłości nie przyniosły początkowo rezultatu. Był to okres wojny trzydziestoletniej. Przez ziemie Dolnego Śląska przechodziły wojska niemieckie i szwedzkie, które często stacjonując w zamku, niszczyły go i pustoszyły. Zakończenie wojny pozwoliło Schönaichom na ponowienie swej prośby u cesarza, a zmiany, jakie w tym czasie zaszły, ułatwiły im odzyskanie części dóbr w 1650 r. Od 1710 r. pieczę nad dobrami sprawował Jan Karol Schönaich, któremu po długim okresie starań udało się odzyskać cały majątek. Za jego rządów dla zamku nastąpił drugi okres świetności. Budowniczy Wagner z Kożuchowa zbudował w pierwszej ćwierci XVIII w. dwa nowe skrzydła zamku, zachodnie i północne, zamykające ostatecznie dziedziniec o wymiarach 46/56 m. Elewacje nowych skrzydeł urozmaicone zostały przy pomocy pilastrów i gzymsów. Nad wejściem do skrzydła zachodniego wmurowano kartusz z datą 1715. 24 sierpnia 1757 r. ukończono budowę mostu przy bramie wjazdowej. Na cokołach balustrady umieszczono postacie mitologiczne i dwa heraldyczne lwy z tarczami. Śmierć Jana Karola w 1763 r. zakończyła okres rozbudowy zamku właściwego. Jeszcze tylko w latach 1865-1875 przebudowano środkową część skrzydła południowego w stylu neore-nesansowym i założono w części południowej ogród z fontannami. Na osi skrzydła północnego zaś zbudowano przejazd, prowadzący na dziedziniec gospodarczy, przy którym w drugiej połowie XIX w. powstały stajnie i inne budynki gospodarcze. W 1945 r. zamek-cenny, wypełniony sprzętami obiekt-został spalony. Z pożaru ocalały jedynie kaplica i budynek bramny. Palące się dachy i stropy oraz walące ściany i sklepienia połamały rzeźbione kolumny sali balowej, które we fragmentach wydobyte zostały w trakcie późniejszego odgruzowywania obiektu. Zespół usytuowany  jest  na wysokim brzegu Odry. Cztery skrzydła  zamku wraz  z kaplicą  zgrupowane  są przy wielkim czworobocznym dziedzińcu,   do którego przylega  od północy podwórzec gospodarczy.  Na  osi  przejazdu znajduje się budynek bramny, włączony do systemu fortyfikacji, składający się z murów, wałów,  bastionów, zachowały się  dwa  z kurtyną  zamykającą zespół  zamkowy od północy i fos. Zniszczony w   1945 r.   zamek  został w latach  1966-1971 odgruzowany i  częściowo odbudowany przy współudziale harcerskiego szczepu "Makusynów".  Odremontowano budynek bramny  i skrzydło wschodnie  z kaplicą.  Pozostała  część  zamku pozostaje w stanie  zupełnej,  choć uporządkowanej,  ruiny.