時呂蒙與當、宋定、徐顧三人的軍營離得很近。后三人去世，其子弟年，不能任事，孫權想把他們的部隊都合併給呂蒙。呂蒙堅決推辭。他給孫權上書，指出徐顧等三人勤於職事，忠於國家，子弟雖然年紀小，但不能廢黜。連續上書三次，孫權才聽從他的意見。呂蒙又為三將的子弟請老師，心輔導。從這件事，可以見出呂蒙對他人是何等盡心儘力。

陸遜更是了的，孫策死後，孫權繼領其眾，為將軍，「招延俊秀，聘求名士」。陸遜年僅二十一歲，應召孫權幕府，為孫權統治集團的幕僚。歷仕東、西曹為令史；不久出任海昌(今湘江海寧西南)屯田都尉，兼海昌縣令。海昌境連年遭旱災，他開倉賑濟貧民，組織生產自救，緩和了災，因此深得民心。

東漢末年，許多農民因逃避賦役而投靠豪強大族，淪落為依附民；豪強大族為了反抗政府徵發、保衛和擴大既得利益，把依附民組武裝隊伍。這類豪強武裝依山阻險，被府稱作「山賊」、「山寇」。他們經常擾地方，有的豪強集團還與曹遙相呼應，對抗孫吳政權，了孫吳政權的患。

當時吳郡、會稽、丹(今安徽當塗東北)一帶也有很多逃戶。針對這種況，陸遜採用查戶整頓的方法，將其中的壯招募為部曲，其他則用於屯田。時會稽有山賊大帥潘臨，造反多年，府無法平定。陸遜便招兵進討，終將其平定。時陸遜手下已有2000餘人。

建安二十一年(216年)，鄱的賊帥尤突作，影響甚大，陸遜率軍配合武將軍賀齊將其討平，斬首數千。陸遜因功被拜定威將軍，屯兵利浦。

通過這些戰事，陸遜初步顯示了出眾的軍事才能，很孫權重。孫權便將孫策的兒嫁與陸遜，並經常找他商討治國大策。

時東吳境的許多山區越族居民據險自守，不服從孫權政權的統治，並不斷起事反吳。建安二十二年(217年)，陸遜向孫權建議：「方今英雄棋跱，豺狼規，克敵寧。非眾不濟，而山寇舊惡，依阻深地。夫腹心未平，難以圖遠，可大部伍，取其銳」。孫權採納其建議，任命他為右部督。

同年，費棧被曹魏策反，在丹煽山區越族居民起事，充當曹軍應，配合曹軍。孫權命陸遜率兵前往征伐。時費棧人多勢大，陸遜帶去的兵馬較，敵我懸殊。但陸遜採用多旌旗牙幢、分佈鼓角、夜裡派人潛山谷吹號擊鼓等疑兵之計，很快擊破費棧武裝。勒令各山區越族居民遷徙到平原地區，編戶籍，種田納賦，從中挑選強壯者從軍，得兵萬餘，使東吳統治得以加強和鞏固。之後，陸遜率所得兵回駐蕪湖(今安徽蕪湖)。

會稽太守淳于式這時卻上表告陸遜「枉取民人，愁擾所在」。陸遜返回知道此事後，反為淳于式說好話。孫權也有些不解，問：「式白君而君薦之，何也？」陸遜說：「式意養民，是以白遜。若遜復毀式以聖聽，不可長也。」孫權說：「此誠長者之事，顧人不能為耳」。孫權對其風範甚為佩服。

陸遜雖然在早期活中初鋒芒，但並不甚為人知，直到建安末年，吳、蜀爭奪荊州時，他才穎而出，為吳軍一位傑出的後起之秀。荊州地要衝，歷來是兵家必爭的戰略要地。建安十三年(208)，曹與孫劉聯軍為爭奪荊州，進行了著名的赤壁之戰。戰後，劉備劉備佔據了武陵、長沙、桂、零陵四郡，孫權佔據了江夏郡和南郡南部。劉備佔領荊州大部分地區，既阻礙孫吳勢力向西擴展，又威脅著孫吳側翼的安全，了孫權的一塊心病。從此，吳、蜀爭奪荊州的糾紛越鬧越大。

建安二十四年(219年)八月，蜀前將軍關羽水淹魏七軍，生擒主帥左將軍于，乘勝圍攻敗退樊城(今湖北襄樊)的魏徵南將軍曹仁，一時威震華夏(參見樊城之戰)。魏王曹採納丞相司馬司馬懿、曹椽蔣濟的建議，利用劉備拒不歸還所借荊州，吳蜀聯盟出現破裂之隙，派人勸說東吳孫權抄襲關羽後方，並許諾把江南封給孫權。駐軍陸口(今湖北圻西北)的東吳大將呂蒙認為，關羽素懷兼并江南的野心，是對東吳的很大威脅，建議孫權趁機消滅關羽，以解除後患。孫權採納其計。

閏十月，為蔽企圖，呂蒙稱病返回建業，途經蕪湖，陸遜前去拜見。陸遜對呂蒙說：「關羽接境，如何遠下，后不當可憂也？」呂蒙說：「誠如來言，然我病篤。」陸遜：「羽矜其驍氣，陵轢於人。始有大功，意驕志逸，但務北進，未嫌於我，有相聞病，必益無備。今出其不意，自可禽制。下見至尊，宜好為計。」呂蒙大驚，但為不泄軍機，便說：「羽素勇猛，既難為敵，且已據荊州，恩信大行，兼始有功，膽勢益盛，未易圖也」。經此番談，呂蒙發現陸遜是可用之才。后呂蒙拜見孫權，孫權問誰可以替他在陸口指揮，呂蒙極力推薦陸遜，並說：「陸遜意思深長，才堪負重，觀其規慮，終可大任。而未有遠名，非羽所忌，無復是過。若用之，當令外自韜，察形便，然後可克」。即拜三十六歲的陸遜為偏將軍右部督，代替呂蒙。

建安二十五年(220)冬，曹丕篡漢稱帝，改元黃初。翌年(221)四月，劉備也在蜀中稱帝。與此同時，孫權移鎮於鄂，改名武昌。陸遜主張延納剛剛返回荊州的士人，以擴大孫吳政權的影響，孫權採用了他的意見。

黃武七年(228年)五月，吳鄱太守周魴派人送親筆信給揚州牧曹休，謊稱到吳王責難，打算棄吳降魏，請求派兵接應。曹休未辨真偽，即率步、騎兵10萬人，去皖城(今安徽潛山)接應。魏明帝曹叡(治晉，今太原西南)命大將軍司馬懿率軍向江陵(今湖北江陵)；建威將軍賈逵率軍向東關(今安徽含山西南)，與曹休相策應。