Polisen misstänker att mannen förberedde ett terrordåd. Ingen skadades under polisinsatsen.
En av nyhetsbyrån AFP:s fotografer uppger att beväpnade poliser omringade mannen och brottade ned honom på marken. Gripandet hade även flera andra ögonvittnen.
– Vi promenerade i närheten av parlamentet när vi såg poliser springa mot honom. Sedan låg han redan på marken omgiven av poliser. Då de lyfte upp honom såg jag en kniv på marken, sade den amerikanska turisten Gebrielle Hennessy.
Polisen har spärrat av området.
Säkerhetspådraget kring det brittiska parlamentet är stort efter terrordådet för en dryg månad sedan. Fem personer dödades i attacken.
Utrikes
27.4.2017
Ögonvittnen: Knivman gripen nära brittiska parlamentet
En knivbeväpnad man har gripits i regeringskvarteren Whitehall i London. Enligt ögonvittnen låg två knivar på marken på platsen där mannen greps. En av knivarna såg ut som en stor kökskniv, rapporterar BBC.