Школа Rugby расположена в одноимённом городе в графстве Уорикшир, на побережье реки Эйвон, в 20 минутах езды от знаменитого Ковентри. Долгие годы Рагби был тихим патриархальным городком, пока открытие железнодорожной станции с последующим превращением в важный транзитный узел не вызвало интенсивную застройку и появление ряда крупных индустриальных объектов. Благодаря этому центральная часть города в целом осталась в позднем викторианском стиле, однако сохранились и более старые здания, относящиеся в XVIII и даже XIX столетию. Множество зданий спроектированы архитектором Уильямом Баттерфилдом, в том числе большая часть зданий школы, поэтому в некоторых путеводителях город в шутку называют «Баттерфильдстаун». БОльшая часть города расположена на возвышенности 120-метровой высоты между Эйвоном и Свифтом, а также ручьями Рейнс и Лим.
Центральная часть города, где расположено большинство торговых центров, развлекательных и рекреационных объектов, способна предоставить всё необходимое для обслуживания интересов школы Rugby и её питомцев. Крупнейшим общественным пространством и местом общего пользования в черте города является Бенн-Хилл, часть комплекса городской ратуши, где проводятся публичные мероприятия, выставки и другие мероприятия. В городе есть два театра — профессиональный Макриди и любительский театр Рагби (оба расположены в центральной части), а в северной части находится большой кинотеатр с девятью залами.
В 2000 н. в городе открылась художественная галерея, библиотека и музей, где проводятся различные выставки. Музей располагает собственной уникальной коллекцией регби XX столетия (несколько тысяч экспонатов), современного британского искусства, включая произведения таких авторов, как Грэм Сазерленд, Стенли Спенсер и Паула Рего. В Рагби есть ещё один музей, где хранятся артефакты, связанные с регби: музей регби-футбола Уэбба Эллиса.
С 2011 года в городе проводится ежегодный фестиваль с обширной музыкальной и театральной программой, ярмаркой декоративно-прикладного искусства.
В центральной части есть два просторных парка — Калдекотт, в шаговой доступности от ратуши, и площадка Уайтхолл. На Риджент-плейс разбит просторный сквер с памятником уроженцу города — поэту Роберту Бруку.
Есть и рекреационно-развлекательная инфраструктура: развлекательный центр Бриллиантового юбилея королевы, открытый в 2013 г., и центр Кена Марриотта.
Разумеется, в Рагби есть несколько футбольных полей, а также бассейн и клуб синхронного плавания, два полноценных поля для гольфа, клуб лаун-тенниса и легкоатлетический стадион (дополнительно к объектам, принадлежащим школе).
Что касается школы Rugby, то ее архитектурный ансамбль в целом относится к XVIII-XIX столетию с некоторыми более поздними пристройками. Наиболее старые здания — Old Quad Buildings и School House: они были построены в 1748 году и представляют собой памятник архитектуры и истории II степени. Почти все остальные здания и сооружения относятся к поздней викторианской эпохе и спроектированы архитектором Уильямом Баттерфилдом; среди них примечательная часовня, датированная 1872 годом и увенчанная сорокаметровой башней. Ещё одна часовня, которая носит имя военной мемориальной, была спроектирована Чарльзом Николсоном; её строительство было завершено в 1922 году. Наконец, зал для выступлений на Барби-роуд носит имя Фредерика Темпла, одного из бывших директоров — он был открыт 3 июля 1909 года Эдуардом VII.