Гордон был ревностным католиком и сторонником свергнутой династии Стюартов. Как и многие его единомышленники, он был вынужден покинуть родину, два года учился в иезуитском колледже в Гданьске, а затем избрал военное ремесло.
В 1661 году ему показалось выгодным вступить в армию русского царя Алексея Михайловича. Гордон поначалу делал быструю карьеру, однако неудачная поездка в Англию во главе русской миссии обернулась для него царской немилостью и отправкой почти на 20 лет в только что присоединенную Малороссию.
Шотландец проявил себя храбрым и расторопным военачальником. В 1678 году он успешно оборонял от турок Чигирин, а в 1687 и в 1689 годах он был заметной фигурой в крымских походах В. Голицына. За время русской службы Гордон научился хорошо ориентироваться в обстановке и вполне осознанно поддержал 17-летнего Петра. Шотландец ловко руководил военными играми, обучал Петра премудростям баллистики, за что был осыпан монаршими милостями. Пожилой полководец отличился при взятии Азова в 1696 году и при подавлении стрелецкого бунта 1698 года. Смерть 64-летнего Гордона в декабре 1699 года стала для царя серьезной утратой.