В 1521 году город вместе с Рязанским княжеством присоединили к Московскому княжеству. В это время информация о Зарайске все чаще упоминается в официальной хронике.

В записи в летописи, датированной 1528 годом, отмечается: "Заложи князь Василий на Осетре город каменный, а в нем церковь камену Николы Чудотворца Зарайского". Через три года в городе отстроили кремль – крепость, которую возвели по плану великого князя Василия III, который известен тем, что укреплял границы государства. Строительство кремля в Зарайске стало возможным благодаря программе по укреплению южных рубежей Руси. Для прочности стены кремля сложили из кирпича, которые снаружи на две трети высоты строения облицовали белым камнем. В его возведении принимали участие и итальянские зодчие, которые в то время трудились на Руси.

Кремль строился как оборонный комплекс, который состоял из семи башен в два яруса боя. Четыре башни разместили по углам, три остальные сделали с проездными воротами.

Пояс укреплений города состоял также из острога, подступиться к которому было весьма затруднительно из-за водных преград и глубоких рвов. Впрочем, крымские татары в скором времени испытали на прочность построенную крепость. В 1533 году на кремль напали татары во главе с Исляма I Гирея и Сафы Гирея. Однако их атаки ни к чему не привели, Зарайск устоял.

В 1535 и 1541 годах татары пытались штурмом захватить оборонный комплекс, однако им не удалось этого сделать.

В 1541 году Зарайск осаждал хан Крыма Сахиб I Гирей, однако ему тоже оказалось не под силу взять кремль. Его войско разбил воевода Н. Глебов. Позже на город неоднократно нападали крымцы: в 1542, 1570, 1573, 1591 годах.

Город был важным оборонительным пунктом на южных подступах к Москве. В 16 столетии он носил название Николо-Заразской-на-Осетре, Никола-на-Осетре. О значимости города говорят постоянные визиты москвичей. Так, в марте 1533 года Зарайск посетил Великий князь московский Василий III, а позже трижды - в 1550, 1555, 1556 и 1571 годах – в город приезжал его сын, Иван IV Грозный. В 1550 году по его поручению в кремле возвели Иоанно-Предтеченский храм.

Постоянные нападения на Зарайск обусловлены его расположением. Город находился на пересечении сухопутных дорог на Тулу и Рязань, Коломну и Москву. Хорошее местоположение и серьезное укрепление города способствовало серьезному приросту городского населения к концу XVI века.