Zamek  został  zbudowany w XIV w.  przez króla Kazimierza Wielkiego,  na  sztucznym wzniesieniu w widłach rzek Obry i Paklicy,  w zachodniej  części miasta. W tym samym miejscu wznosił się  od końca  IX w. drewniany grodek, wielokrotnie przebudowywany w X  i XI w. Wówczas  zostały  zbudowane wały  o konstrukcji przekładankowej. W drugiej połowie XIII w.  w grodzie mieściła się  siedziba międzyrzeckiego kasztelana. Gród wielokrotnie był palony,  niszczony i zdobywany przez Brandenburczyków, po czym odbudowywany i nadal użytkowany. Można  przypuszczać,   że po pożarze w 1296 r. gród był raczej zamieszkany przez wojsko, które zajmowało drewniane budynki o konstrukcji zrębowej, znajdujące się w południowej części obszaru grodu. Powstanie zamku murowanego wiąże się, o czym informują w swoich kronikach Janko z Czarnkowa i Jan Długosz, z działalnością budowlaną króla Kazimierza Wielkiego. Zamek zaczęto wznosić prawdopodobnie na początku lat trzydziestych XIV w. Budowa trwała aż do schyłku lat siedemdziesiątych, czyli około 40 a może nawet 50 lat. Nie był to termin nadmiernie wydłużony, zważywszy zarówno na niezwykle sumienne wykonywanie tego typu prac, małe doświadczenie producentów cegły, jak też na to, że sezon budowlany ograniczał się wówczas do miesięcy wiosenne-letnich. Zamek wznoszono częściowo obok a częściowo na terenie dawnej warowni grodowej. Starano się przy tym nie zakłócać obronnych funkcji grodu. W tym celu w pierwszej fazie budowy wzniesiono poza grodem bramę, której strzegła murowana baszta. Wiodła od niej do wnętrza umocnień wyłożona drewnem ulica.

W tej fazie dokonano też rozbiórki stojących na dziedzińcu grodu budynków, bowiem przyszła budowla posiadać miała inny kształt, jak też inaczej być miała usytuowana w terenie. W połowie XIV w. rozpoczęto zasadnicze prace budowlane, które polegały na wznoszeniu murów obwodowych. Zbudowano je na łukach oporowych wspartych na murowanych filarach fundamentowych, które umieszczono, z wyjątkiem odcinka północnego, na dawnych wałach ziemnych. Bramę zamku usytuowano w miejscu, gdzie dawniej znajdowało się wejście do grodu. Strzegła jej wspomniana już baszta, dominująca nad całą fortecą. Po przeciwnej, zachodniej stronie murów znajdowały się dwie mniejsze wieżyczki. Zamek nie był duży; średnica jego obwodu wynosiła bowiem kilkadziesiąt metrów. Wzniesiony w przedstawionym wyżej kształcie zamek przetrwał nie zmieniany aż do 1520 r. Stacjonowała w nim załoga królewska. Szczęśliwie omijały wówczas międzyrzecki zamek zagrożenia wojenne, a do pierwszego doszło w 1474 r.. Wynikł wówczas konflikt pomiędzy królem polskim Kazimierzem Jagiellończykiem a królem węgierskim Maciejem Korwinem o zwierzchnictwo nad Czechami. Równocześnie na Śląsku ożywiły się wtedy siły przeciwne połączeniu z Polską. Ślązacy i Węgrzy postanowili zaatakować obszary polskie. Jeden z takich najazdów, prawdopodobnie zorganizowany na rozkaz Macieja Korwina a przeprowadzony przez Głogowian, poddanych księcia kożuchowskiego Henryka, i Węgrów, skierowany został na Międzyrzecz. Miasto zostało spalone a zamek zdobyty, ale nie zniszczony. Na krótko stał się siedzibą dowodzącego tym wypadem Stefana Zapolyi. Niepokoił on z Międzyrzecza najbliższe tereny, a wysłane przez niego wówczas podjazdy zapuściły się nawet aż pod mury Poznania. Pobyt Węgra w Międzyrzeczu nie trwał długo, zawarty został bowiem rozejm, w myśl którego zamki i miasta zdobyte w toku walk miały powrócić do pierwotnych właścicieli.

W dziejach zamku nastał teraz okres bez mała 40 lat spokoju. Ponownie zamek w Międzyrzeczu został zagrożony w 1520 r. Pod koniec sierpnia tego roku bowiem wyruszyła przez Frankfurt nad Odrą w kierunku pruskich posiadłości zakonu krzyżackiego zaciężna armia ochotników z państw niemieckich, licząca około 2 tysiące jazdy i 8 tysięcy piechoty żołnierzy oraz przeszło 20 armat. Krzyżacy prowokowali wówczas, zyskawszy poparcie Brandenburgii i innych państw niemieckich, incydenty graniczne z państwem polskim, łamiąc postanowienia pokoju toruńskiego z 1466 r. i dążąc do pełnego uniezależnienia się. Przypuszczać należy, że informacje o zbliżaniu się najemnych wojsk spowodowały, że warownia międzyrzecka została dobrze przygotowana do obrony. Nieprzyjacielowi stawiano dzielny opór. Przewaga wrogich wojsk była jednak nazbyt znaczna i 12 października zamek padł. Na przeszkodzie stawiania dłuższego oporu stanęło i to, że zamek nie był zbyt duży, a siła ognia i ilość piechoty przeciwnika nie dawały obrońcom nawet cienia szansy na przetrwanie. Według relacji źródłowej mury zamkowe zostały rozbite właśnie przez intensywne ostrzeliwania z dział. Zamek został całkowicie spalony a załoga wymordowana. Był to kres warowni wzniesionej przez ostatniego z Piastów. Zamek w Międzyrzeczu miał jednak zbyt duże znaczenie strategiczne, aby można było zaniechać  jego odbudowy. Przystąpiono do niej jeszcze w tymże 1520 r., a król Zygmunt Stary zlecił miejscowemu plebanowi nadzór nad całością prac, przekazując na ten cel 100 grzywien. W 1528 r. na ręce kasztelana międzyrzeckiego Stanisława Myszkowskiego wpłynęło ponadto 300 grzywien. Odbudowę zakończono prawdopodobnie w 1533 r. W czasie tych prac przeprowadzono zasadnicze zmiany architektoniczne. Innowacje pokazują materiały przedstawione przez lustratorów królewskich z 1564 r. Wynika z nich, że w tym czasie istniał kompleks zamkowy, składający się z samego zamku i tak zwanego przygródka. Lustratorzy stwierdzili, że zamek położony jest doskonale pod względem obronnym nad rzeką Obrą i Paklicą, które się tam pod tym zamkiem zbierają". Wejście do warowni prowadziło od strony wschodniej, przez most zwodzony na fosie i drewnianą bramę na murowanym fundamencie. Bramy strzegły dwie komory "w słupy wiązane z dylów, szczyty tarcicami zapierzone z dwu stron gontami nakryte". Obok bramy, jak podają lustratorzy, wznoszono basztę. Nie wiemy, czy właśnie w ramach przebudowy zamku, trwającej w okresie lustracji, wzniesiono obie potężne baszty po stronach bramy. Możliwe, że powstały one nieco później, w okresie do końca XVI w. Budowa ich wiązała się z koniecznością przystosowania zamku do działań dominujących już w walkach oblężniczych artylerii. Baszty te, a raczej basteje, przylegały z dwu stron do bramy wjazdowej, która została wysunięta do przodu w stosunku do linii murów. Posiadały one na wysokości przyziemia strzelnice dla dział, a na płaskim stropie z blankami znajdowały się stanowiska dla ręcznej broni palnej. W ten sposób zamek, ubezpieczony od najłatwiejszej do zaatakowania strony wschodniej, stał się warownią nowoczesną i trudną do zdobycia. W 1574 r. goszczono wystawnie na zamku Henryka Walezego, gdy "... z licznym pocztem panów francuskich, do 600 osób wynoszącym, nadciągnął ku granicom nieznanego sobie królestwa /.../ Kiedy król wjeżdżał do Międzyrzecza, na wspaniałych saniach ofiarowanych mu przez Firleja, marszałka v;, k., spotkał wspanialszy jeszcze orszak panów polskich, którzy na powitanie aż tu ze stolicy nadciągnęli" Zamek międzyrzecki, po przebudowie i rozwinięciu podstawowych elementów obronnych, został upiększony w swej substancji rezydencjonalnej. W sumie można założyć, że pierwsza połowa XVII w, była dla zamku międzyrzeckiego okresem świetności. Sprzyjał temu fakt, że granica zachodnia nie była wówczas niepokojona.

Brak źródeł nie pozwala na dokładne prześledzenie dalszych losów międzyrzeckiej warowni. Prawdopodobnie została ona zdewastowana w drugiej połowie XVII w., kiedy to ziemie północno-zachodniej Wielkopolski zostały najechane przez Szwedów, a później przejściowo znalazły się w posiadaniu Brandenburczyków. Walk o zamek wprawdzie nie prowadzono, ale sam pobyt obcych załóg zazwyczaj doprowadzał takie warownie do kompletnej ruiny. Brandenburczycy opuścili Międzyrzecz w grudniu 1656 r., a w 1658 r. był on miejscem koncentracji wojsk Stefana Czarnieckiego przed ich wyprawą na Pomorze Zachodnie. Wszystko to nie sprzyjało eliminowaniu ewentualnych zniszczeń. Ogromne straty, jakie poniosła Wielkopolska w latach wojny, jak też względny brak zagrożenia tych obszarów w następnym okresie spowodowały, że nierychło przystąpiono do odbudowy zamku. Według lokalnego źródła z pierwszej połowy XVIII w., rozpoczął ją w 1691 r. starosta międzyrzecki Piotr Opaliński, jednak prace nie posunęły się daleko. Lustracja z 1699 r. stwierdziła, że "... w zamku wszystkie gmachy do rezydencji należące spustoszałe, górne i dolne bez drzwi, schód i bramy".Skoro więc zamek nie nadawał się do zamieszkania, to tym bardziej nie mógł posiadać jakichś walorów militarnych. W związku z tym starostowie przenieśli swoją rezydencję do przygródka, gdzie w 1719 r. zbudowali tak zwaną kasztelanówkę. Zamek służył już tylko jako powierzchnia gospodarcza, wojny, a zwłaszcza związane z nimi częste przemarsze wojsk szwedzkich, rosyjskich, saskich, polskich i pruskich, zmieniły ostatecznie pozostałości pięknej i obronnej niegdyś budowli w ruinę. Potwierdzają to materiały ikonograficzne, między innymi akwarele Albertiego z 1795 r. Wynika z nich, że na jednej ze zrujnowanych bastei postawiono budynek z pruskiego muru, a ceglane obwałowania zamku zostały już niemal doszczętnie zniszczone, podobnie jak blanki, zadaszenia i inne elementy fortyfikacji. W latach 1953 - 1964 przeprowadzono na terenie zespołu zamkowego prace badawcze i restauracyjne. Mury otaczające zamek wzmocniono, zrekonstruowano zrujnowane w znacznej części basteje i budynek mieszkalny. W 1973 r. oczyszczono fosę otaczającą zamek i zbudowano prowadzący do bramy wejściowej drewniany most, na wzór dawnych mostów zwodzonych. Obecnie w obrębie pozostałości zamku znajduje się rezerwat archeologiczny.

W kasztelanówce zorganizowano muzeum. Ekspozycja obejmuje zbiory archeologiczne pochodzące z prowadzonych na tym terenie prac badawczych oraz etnograficzne i historyczne. Część zbiorów mieści się również w zaadaptowanych na ten cel bastejach, które nakryto kopulastymi sklepieniami z otworami wentylacyjnymi. Zamek w Międzyrzeczu został uznany za Pomnik Kultury Tysiąclecia Państwa Polskiego. Jest on bowiem przykładem ciągłości osadnictwa warownego i trwałości usytuowania w jednym miejscu punktu obrony.