北條軍想要越過喦殿山城攻擊甲斐其他地方也不是不可以，當然如果他們不怕被城中高山軍斷了後路的話，完全可以這樣幹，可是北條成綱又不是傻子，怎麼能拿家中精銳開這樣的玩笑，所以其在得知高山軍主力在喦殿山城之後，立刻率領麾下兩萬五千軍勢直撲而來。
對於麾下五色備他還是有十足信心的，當年與武田家赤備一戰，打的對方毫無還手之力，而且還是在武田信玄親自指揮之下獲得這樣的戰果。雖然本家還未曾與高山軍交過手，但就算其再怎麼精銳，最多也就是赤備那樣的水平，所以對於戰勝高山軍，他還是有信心的，尤其這一次高山氏宗並沒有親自坐鎮，那麼自己獲勝的可能又會大大增加，他現在已經開始打算在擊敗高山軍之後，怎麼攻佔甲斐了。
可是當他到達喦殿山城之後，就有些傻眼了，他千算萬算，就是沒有算到以野戰聞名的高山軍，竟然不打算與自己野戰，而是籠城。如此一來自己在這一路上費盡心力指定的計劃也就全部作廢了。
但很快他便有了決定。高山軍既然守城。那麼自己憑藉優勢，從四面開始進攻，破城的機會還是很大的，雖然沒有野戰那麼痛快，但也同樣對方也很難玩出什麼花樣來，這樣保險的獲得勝利，倒也不錯。
在作出決定之後，五色備立刻被他一分爲五。其率麾下黃備充當本陣，而其他四備則一人負責一面，這樣的安排剛剛合適，至於破城功勞，北條成綱也不打算去爭了，要是跟主公出陣，那是一定要爭一爭的，可現在自己是主將，不管誰破城，功勞都少不了自己的。又何必因大事小。在簡單休整一番之後，北條成綱立刻下令攻城。
“報。軍師，諸位大人，敵人開向本城四面移動，每面共五千人，還請軍師定奪。”
“知道了，諸位聽令，立刻按照方案守城。”
由於都留郡並非富庶之地，所以這城池的規模雖然在此郡內首屈一指，可最多也只能算是中等規模，如此一來，每面根本排不開五千人同時進攻，所以這一次發起進攻的北條軍只有四千，每面一千，而守城的高山軍用於防守的也差不多是這個數量，不過他們這對防守一方絕對可以說是佔了絕大優勢了，尤其防守的軍勢皆爲遠攻，本來的優勢也隨之被放大。
所以還沒等北條軍靠近城池，射程最遠的弓隊便開始對敵人發起進攻，雖然每一面只有兩百五十人，但還是給敵人造成了不小的傷亡。
五色備不愧爲天下最精銳的軍勢之一，雖然在高山軍弓弩的襲擊下出現了傷亡，但卻沒有一人後退，而且爲了減少損失，不但不後退，反而大大加強了了進攻速度。不過很快他們便發現，高山軍的弓隊只不過是開胃菜，當他們衝到城外三四十米之時，突然震耳欲聾的巨響掩蓋了他們的叫喊聲，硝煙遮擋住了他們的視線。高山軍的鐵炮開始發威了。
由於這一次用於守城的皆是遠攻軍勢，根本不怕敵人轉鐵炮裝彈時的空子，所以這一次細川藤孝並沒有採取三段式射擊，而是兩段式，每次兩百五十人，在他看來已經足夠了。隨着鐵炮聲響起，本來就不停出現傷亡的北條軍，這一下傷亡更大了。雖然在鐵炮開了火，不過卻依然還沒有人撤退，畢竟在他們的認知中能夠用於遠攻的也就是弓弩和鐵炮了，只要衝破封鎖，那麼自己這邊的勝算還是很大的，說不定只這一次進攻就可以將城池攻下，畢竟眼前這座城池並不算太大，裡面軍勢絕不可能超過一萬，所以在緊張一番之後，他們在武士的帶領下又提高了速度，轉眼間已經離城池只有短短的二十米左右，不過北條家的領軍武士卻在這一刻開始出現了大量的傷亡而這一切大多都是高山家的旗本武士造成的，他們可不管對方是誰，反正只要比五色備穿的好的，他們都會射上一箭，雖然在山城城牆上無形中拉遠了了距離，命中率不是很高，但沒射中沒關係啊，再補上一箭就是了，兩箭不中，那就繼續。
頂着這樣的壓力，北條軍竟然還在前進，並且已經到達城下，不少人已經攀上城垣，而且當他們到達城下時，突然發現，給自己造成大量傷亡的弓弩和鐵炮竟然同時停止了。這讓他們心中無比欣喜，再他們看來，高山家肯定和其他勢力一樣，見弓弩和鐵炮不能阻止本家的攻勢，所以再本家攻到城下之後立刻撤下遠攻軍勢，改爲長槍足輕進行守城，這對北條家來說根本算不上什麼，如果說五色備拿遠攻軍勢沒辦法的話，那麼近戰方面他們還真沒怕過誰，不過他們很快就傻眼了，迎接他們的並非是想象中的長槍刀劍，而是鋪天蓋地的手裡劍。
剛剛替換到城牆上進行防禦的高山家忍軍此刻正瘋狂的向城外大把大把撒着手裡箭，多則一次七八枚，少的也有兩三枚，如此多的手裡劍同時被甩出，頓時攀上城垣以及來到城下的北條家軍勢便被射成了刺蝟。如果說剛纔他們還有勇氣一戰的話，那麼現在已經完全絕望了，無數的手裡劍已經完全封鎖住了他們的進攻之路，現在除了後退沒有任何辦法，所以還沒等負責指揮的武士下令，北條家五色備足輕便紛紛掉頭朝後方跑去。
見敵人已經暫時撤退，細川藤孝立刻名人出城打掃戰場，收攏箭支，手裡劍等殺人利器。
這一次雙方交手的時間雖然不長，但卻讓北條軍付出了近千傷亡，而高山一方卻毫髮無傷，可以說細川藤孝的計劃算是成功了，只要不出什麼意外，打退北條軍也只是時間問題了。
至於北條成綱在見到對方守城的軍勢後，也知道，想要強攻奪城根本就不現實，所以立刻做出改變，想要用計破城，這個想法雖然是好的，不過在城中坐陣的細川藤孝怎麼可能讓他如意，所以幾天下來，不但城沒攻下，反而又折損了不少軍勢。
見城池久攻不下，不只北條城綱急，其他北條家武士也同樣着急，所以紛紛提議一面派軍勢包圍城池，一面對甲斐其他地區發起進攻，不過這個提議很快便被北條成綱否定了，如果留的人少了，說不定便會被城中敵軍反殺，他現在可不懷疑高山家軍勢的能力，尤其是城中那數千神出鬼沒的忍軍，如果留的軍勢多了，那麼甲斐國中那數千高山家騎兵以及其他軍勢也不是那麼好對付的我，所以最終只能將現狀報與主公知曉。
而當消息傳回小田原城之後，北條氏政也陷入猶豫之中，對北條家來說甲斐的確很重要，但是如果用人命去填，尤其是本家精銳的話，那就有些得不償失了，所以最終還是選擇了撤退，畢竟只要本家精銳還在，那麼一旦高山軍入侵關東，自己完全可以選擇一處更加適合的戰場，倒時主動權便會掌握在自己手中，並且五色備長於防禦，到時天時地利全在自己一邊，高山軍也只能無功而返，一旦兩家開始比拼消耗，那這纔是對本家最有利的。
雖然北條氏政最終還是選擇撤回軍勢放棄甲斐，不過他也看出本家軍勢的不足，所以在做出決定之後，立刻開始擴充軍勢，並且除了補齊五色備的損失之外，另外也開始大力組建騎兵隊與鐵炮隊，高山軍多兵種搭配的作戰方式已經讓他感到了恐慌。
不提北條家撤軍之後悶頭髮展軍備，只說此刻在高山城的氏宗，卻接到了岳父佐久間信盛的書信。
書信上的內容雖然簡單，但是信息量卻十分龐大，內容中寫的很明白，主公在半月前召岳父以前往覲見，而讓人意想不到的是，招他前去的目的竟然是主公有意將其領地與德川現有三國進行交換，當然主公對此並未強行交換，畢竟德川對於織田家的作用在自己攻陷甲斐之後，已經完全消失了。而佐久間用最快的速度完成了目標，如今正得信長歡心，所以織田信長多多少少還是有些在意佐久間的想法的。
看完書信之後，氏宗心中多少有些猶豫，從大局上來說，他並不希望岳父大人調換領地，畢竟岳父大人在丹波的話，可以起到牽制木下的作用，一旦與德川交換，那麼自己這一方就沒有人能夠起到牽制作用了。