經過姚黃的開解，楊過的心情不再難受。對於郭靖和黃蓉，他不恨，但卻有着怨。客觀地知道兩人沒有錯，但自己的父親畢竟因爲他們而死，不可能不對他們有所芥蒂。特別是剛見面時，黃蓉隱約的防備讓楊過對她的印象更是大打折扣。不過雖然不喜歡黃蓉，楊過還是欽佩郭靖爲國爲民的情操。若非楊康的事情，楊過已經將郭靖當成他的偶像了。“俠之大者，爲國爲民”，深深刻在了楊過的心中。
自這天以後，生活再也恢復不了以往的平靜。黃蓉派遣的名爲照顧實爲監視的丐幫子弟讓三個人頗爲礙眼，最終，心煩的三個人決定離開生活了數年的窯洞。
“我們去哪裏？”楊過和小包子都沒有目標。
‘先去塞外玩玩，擺脫那些盯梢的蒼蠅。’姚黃早已經有了目標，靈鷲宮！說老實話，姚黃對逍遙派的那些武功可是垂涎三尺，雖然比不上《劍三》的武功高杆，但比起江湖中現有的武功來說可是高明瞭許多。就算是讓天下人爭奪的《九陰真經》，在姚黃看來也及不上《小無相功》、《北冥神功》和《八荒六合唯我獨尊功》，練了這三種功夫能夠永保青春，《九陰真經》能夠嗎？
“好！”楊過和小包子連連點頭，他們對那些無孔不入的丐幫弟子感到厭煩，可是丐幫弟子遍佈整個中原，他們到哪裏都擺脫不了他們，’姚黃的提議讓他們眼前一亮，塞外可不是丐幫的地盤。
三個人簡單地收拾了一下，當天晚上趁着天黑，擺脫了丐幫的人，離開了住了數年的窯洞。爲了怕他們離開後有人進入搞破壞，小包子將洞外的陣法重新佈置了一番，擋不住黃藥師這個陣法大師，但擋住黃蓉這個囫圇吞棗只懂大概的半調子不成問題。
三個人的輕功很厲害，在江湖中，除了老一輩幾個宗師級人物，就連郭靖也比不上他們。《躡雲逐月》已經被三個人練到了第三重，已經能夠短暫地飛上半空，用來趕路的話，那速度可以用閃電輕風來形容。只一個晚上，三個人就離開了江南境界。即便丐幫想要找他們，也想不到他們已經離開嘉興這麼遠了吧。
一路西行，最高興的是小包子，這孩子只在嘉興城中玩過，哪見識過這麼多不同的風土人情？楊過也是如此，他從小生長在江南，從來不知道江南以外地界的風俗是這麼得不同。兩個人被路上的風景和風俗吸引，行進的速度慢下來。姚黃也不催促，任少年和包子痛痛快快地玩樂，並時不時與丐幫的人玩一玩貓捉老鼠的遊戲，讓他們無法掌握三個人的確切蹤跡。
這一天，到了湖南境界，三個人商量着去參觀一下曾經叱吒荊襄的鐵掌幫遺址鐵掌峯。三個人在鐵掌峯中指峯第二指節處發現了鐵掌幫歷代幫主屍骨所在的山洞，楊過和小包子從《射鵰英雄傳》的故事中知道了上官劍南的事蹟，出於對這位一心爲國的英雄幫主的尊敬，三個人合力用一塊巨石封住了洞口，不讓人打擾他們的安寧。
下山的路上，他們遇到了黃藥師，他的身邊帶着大約三十多歲的女子，傻兮兮的，姚黃知道這就是傻姑，難爲黃藥師竟然將傻姑帶在身邊照顧，挺有耐心的。
“你們怎麼跑到荊襄來了？不是說你們師傅要你們在嘉興等他嗎？”看到三個孩子，黃藥師疑惑地問道。
“還不是你女兒！”楊過不喜歡黃蓉，對黃藥師也沒有好氣，“忌憚我的身份，表面上裝做大方地讓丐幫照顧我們，實際就是監視，嚴重妨礙了我們的生活。我們不得不離開嘉興。”
黃藥師問，“你知道自己的身世了？”心中不免有點兒擔心，這個少年不會找自己的女兒女婿報仇吧？他可是很欣賞這個少年，但爲了女兒的安危，他說不得要對不起少年了。
楊過哼了一聲道，“放心，我不會找你女兒女婿報仇。我爹的死可以說是自作自受，上一代的恩怨已經結束，我可不想自討苦喫。”
黃藥師聞言不由讚歎少年心胸豁達，“蓉兒是以小人之心度君子之腹了，她不如你。”
楊過再次哼了一聲，傲驕地扭頭望天。
黃藥師失笑，問姚黃和小包子，“你們準備去哪裏？”
“我們要去塞外，姐姐說那裏沒有叫花子騷擾我們。”小包子對這個風采脫俗的爺爺印象很好，黃藥師一問，他就說了實話。
“塞外嗎？正好我也想去見識一下大漠孤煙的景色，不如一起吧？”
楊過想要拒絕，姚黃卻連忙答應了。
“黃兒，爲什麼要和他一起走啊？”楊過小聲地抱怨。
姚黃笑，‘黃前輩是好意。他擔心我們行走江湖的經驗不足，所以想跟在我們身邊照顧我們。’
“憑我們的身手，用得着他照顧嗎？”
姚黃繼續笑，‘黃前輩和黃蓉不一樣，等你和他熟悉了，你會覺得認識黃前輩是你的幸運。’
“我纔不會這麼覺得。”
‘拭目以待吧！’
姚黃以前看《射鵰英雄傳》的時候最喜歡的就是狂傲不羈、重情重義、瀟灑寫意，正中帶有七分邪，邪中帶有三分正的黃藥師，能夠與曾經的偶像近距離接觸，姚黃可是求之不得。而且，她還有一個小心思，黃藥師與逍遙子同樣是文武雙全、無所不能、驚才絕豔的人物，桃花島的武功也與逍遙派的武功有許多相同之處，何不讓黃藥師學會逍遙派的武功，成爲逍遙子的直系傳承者呢？
黃藥師是不會讓粉絲失望的，果然沒用了兩天，楊過對他的印象就有了一百八十度大轉彎。黃藥師的博學讓楊過佩服不已，而且他發覺自己與黃藥師性情十分相投，兩個人盡然成了忘年交。
黃藥師更加喜歡三個孩子了，不說楊過，姚黃和小包子也很招他喜歡。一路上，黃藥師與楊過談論書法丹青，給姚黃指點醫術，教導小包子陰陽五行和奇門遁甲，時間過得飛快，一行人已然來到了天山腳下。
“小丫頭，你有目的地引導我們來到天山，不會是爲了採天山雪蓮吧？”黃藥師用看穿一切的眼神注視着姚黃，調笑着說道。
姚黃呵呵一笑，果然瞞不過黃藥師，那她就直說了：‘不是採天山雪蓮。我師傅提到過，天山上隱藏着一個避世的門派，是北宋年間建立的，現在有可能還存在也有可能沒有弟子流傳了。我想着到天山去尋找一下這個門派的蹤跡。’
“哦？是什麼門派？”黃藥師好奇地問，見識了藏劍山莊的神祕後，他對隱世門派感興趣極了。
‘逍遙派。’
“逍遙派？”黃藥師眉頭皺了皺，似乎想起了什麼。
‘您聽過這個名字？’
“不止聽過，我桃花島與逍遙派頗有幾分淵源。”
‘？？’
“我年少的時候遊覽各地，曾經在河南的擂鼓山發現一個珍瓏棋局。我解開珍瓏棋局後發現一個隱祕的山洞，山洞裏面藏着許多藏書，上至天文、下至地理、詩詞歌賦、書畫琴棋、八卦算數、醫卜星象、陰陽五行、奇門遁甲、農田水利、商經兵法還有武功。我在山洞中學習了整整五年才造就了日後的黃藥師。而山洞的主人則自稱是逍遙派門下蘇星河。”
‘聰辯先生蘇星河？原來他還留下了傳承。’姚黃非常開心，這樣黃藥師接受逍遙派的傳承就更理所當然了，‘珍瓏棋局高明無比，當年可是難倒了無數江湖中的豪傑俊才，前輩能夠破解，才智見識非普通人能及。’