Per secoli l'area intorno a Vyborg ha visto la rivalità tra la Russia e i suoi vicini. Il Castello di Vyborg, costruito nel 1293 sulla piccola isola di Linnan-Saari al largo della costa del Mar Baltico, era una potente roccaforte svedese.
Il castello bloccava un'importante rotta commerciale tra la città russa di Novgorod e il Mar Baltico, attraverso il Lago Ladoga, il fiume Vuoksa e la fortezza russa Karela (la città moderna di Priozersk). Il castello, con la sua alta torre Olaf, fu costruito con l'ultime tecnologie nel campo delle fortificazioni. Le forze russe del Principato di Novgorod assediarono il castello più volte, ma senza successo. Nel 1318 l'esercito di Novgorod riuscì a prendere il castello, ma non riuscì a stabilire uno stretto controllo su tutta l'area e fu costretto a ritirarsi.
Nel 1561 la Torre Olaf fu ricostruita su ordine del re Gustav Vasa e divenne un po' più corta, ma con pareti più spesse e difese più potenti. Nel 1564 furono agginte altre fortificazioni, comprese le pareti esterne e i potenti bastioni in pietra. La vivace cittadina medievale di Vyborg, che si trova di fronte al castello, era anche fortificata.
Questa parte della città è indicata come "La Città Vecchia" e conserva molto del suo carattere medievale. Diverse torri nel centro storico facevano parte delle fortificazioni della città. Costruita nel tardo 14° secolo e inizio dle 15° secolo fu ampliata nel 1547-50. La più famosa è sicuramente la Torre Rotonda ("Fat Catherine"), che si trova ora nella Piazza del Mercato. La torre fu costruita con pietre di grandi dimensioni ed era abbastanza forte da tenere molti cannoni su più livelli.
La caratteristica unica rimasta nelle fortificazioni successive è il Bastion Panzerlaks, che faceva parte della potente "Fortezza Horn" (i suoi bastioni, visti da una elevazione, sembravano delle corna). Il resto della fortezza fu demolito nel 19° secolo.
Quando Pietro il Grande fondò San Pietroburgo nel 1703 e la Russia ottenne l'accesso al Baltico, tutti gli avamposti svedesi nella zona furono catturati. Nel 1706 il primo assalto su Vyborg fallì, ma nel 1710 Pietro il Grande convocò 13.000 uomini e 250 navi per un attacco combinato alla città fortificata e al castello. Il 12 giugno 1710, la guarnigione svedese si arrese. Vyborg mantenne la propria importanza militare fino agli inizi del 19° secolo.
Uno dei punti di riferimento principale di Vyborg è la tenuta "Monrepos". Il parco Mon Repos fu fondato dal comandante militare di Vyborg, ma fu presto acquisito dal governatore della provincia, che l'usò per delle feste importanti. Il nome della tenuta riflette il carattere del proprietario e l'atteggiamento verso la sua attività di governo ("Mon Repos" in francese significa "il mio tempo libero").
La tenuta divenne importante sotto la proprietà della famiglia di Nikolai, Ludwig von Nikolai divenne il segretario di Paolo I e poi della vedova imperatrice Maria Fedorovna. Fu in questo periodo che l'elegante palazzo in legno fu costruito e il parco fu decorato con le sue numerose statue.