Wśród mieszkańców tej osady niewielu zdaje sobie sprawę, że właśnie tu, gdzie obecnie krzyżują się ulice Modrzewskiego i Świętokrzyska, pięćset lat temu stał zamek. Była to sławna na całą Europę rezydencja biskupów kujawskich. Kiedy 6 listopada 1596 r. legat papieski w Polsce - kard. Enrico Gaetani przyjechał do Wolborza, jego sekretarz Paulo Mucante tak zanotował: "Biskup Rozrażewski zaprowadził go do pałacu, czyli raczej do obronnego zamku ze zwodzonymi mostami, otoczonego zewsząd basztami i murem (...). Z kościoła szedł kardynał do zamku piechotą. Wyznaczone pokoje dla kardynała były wspaniałe i zupełnie w guście włoskim, słowem przez całą drogę nigdzieśmy nie byli tak pięknie i uprzejmie podejmowani jak w Wolborzu". Jeżeli pamiętamy, że kard. Gaetani w służbie Kurii rzymskiej przemierzył pół Europy, powyższe słowa nabierają specjalnego znaczenia. Dzieje Wolborza nie zaczynają się jednak w XVI w. Gród ten należy do najstarszych, znanych z najważniejszych polskich źródeł historycznych. Wymieniony jest już w tzw. falsyfikacie mogileńskim z 1065 r. oraz w bulli gnieźnieńskiej z 1136 r.
Tym, co decydowało o jego lokalizacji i szybkim rozwoju, było usytuowanie na trasie przebiegu jednego z najważniejszych traktów handlowych wczesnego średniowiecza, tzw. gnieźnieńsko-kijowskiego. Przekraczał on Pilicę w Inowłodzu i Sulejowie, potem obydwie nitki traktu łączyły się w Wolborzu, by dalej skierować się do Łęczycy i Gniezna. Źródła pisane pozwalają sądzić, że już w połowie XI w. miał charakter osady miejskiej. Istniały tu bowiem - komora celna, targ, karczmy. Sprawowano tu także sądy monarsze. Na przełomie XI i XII w. powstał kościół św. Mikołaja, w którym w 1215 r. odbył się synod prowincjalny. Z 1377 r. pochodzi pierwsza wzmianka o zamku wolborskim. Wzniesiony na rozwidleniu rzek Moszczanki i Wolbórki, został przez Janka z Czarnkowa określony mianem twierdzy. Gościł w nim m. in. Władysław Jagiełło w 1410 r. przed bitwą pod Grunwaldem oraz w 1420 r., kiedy to przyjął poselstwo czeskie ofiarujące mu koronę. Ze względu na korzystne położenie rezydowali w nim często biskupi włocławscy. Dziesięciolecie biskupstwa Piotra z Bnina (1483-93) - to czas, w którym do Wolborza zjeżdżali uczeni i humaniści, a wśród nich sławny Kallimach, który właśnie w Wolborzu szukał schronienia, kiedy po roku 1487 popadł w niełaskę u króla. Kallimach (właściwie Filip Buonaccorsi) jest autorem słynnego powiedzenia: "Dwu ludzi nie zdoła popsuć fortuna - Wawrzyńca Medyceusza i Piotra z Bnina". Za namową przyjaciół, którzy także gościli w Wolborzu (Bernardino Gallo z Zadaru, Mikołaja Wódki z Kwidzyna, Jana Heydeke "Mirca", Macieja Drzewickiego), Kallimach podjął tutaj próbę zebrania swoich utworów z dawnych lat. Zbiór ten określany "rozmowami z muzami" zachował się w Bibliotece Watykańskiej w Rzymie. W 1544 r. kościół św. Mikołaja podniesiono do godności kolegiaty. Oprócz niego w Wolborzu (które było miastem) istniało jeszcze kilka innych kościołów: św. Leonarda nad Wolbórką, Świętego Krzyża na zachód od miasta, św. Anny (dziś cmentarny), Świętego Ducha, Świętej Trójcy oraz nieznana z wezwania kaplica za miastem obok młyna. Prawdopodobnie dzisiejsza ulica Świętokrzyska dochodziła do kościoła Świętego Krzyża i od tej świątyni wzięła swoją nazwę. W 1503 r. w rodzinie wolborskiego wójta urodził się Andrzej Frycz Modrzewski. Do historii przeszła już jego słynna dysputa z dawnym przyjacielem Stanisławem Orzechowskim, prowadzona przez cztery dni na wolborskim zamku w obecności biskupa Uchańskiego. 2 czerwca 1671 r. wielki pożar spowodowany uderzeniem pioruna zniszczył miasto i zamek. W latach 1768-73 (za biskupstwa Ostrowskiego) w pewnym oddaleniu od miasta wybudowano nową, reprezentacyjną siedzibę (pałac) biskupów, której twórcą był architekt i geometra królewski Francesco Placidi. Kiedy w 1777 r. bp Ostrowski otrzymał godność prymasa, opuścił Wolbórz. Siedzibę biskupów przeniesiono do Kalisza, a pałac przeszedł na własność państwa. Obecnie jego użytkownikiem jest Zespół Szkół Rolniczych.