马援的祖先是战国时赵国名将赵奢。赵奢曾在阏与之战中大败秦军，功勋卓著，被赵惠文王赐号为“马服君”，自此，赵奢的后人便以马为姓。汉武帝时，马家从邯郸移居茂凌。马援的曾祖父马通，汉武帝时，因功被封为重合侯，但因为他的兄长马何罗谋反，马通受到牵累，被杀，所以马援的祖父、父亲这两代家境式微，地位不显。马援有三个哥哥，他们是马况、马余、马员。都很有才能。王莽时，又都做到了二千石的高官。

马援十二岁时，父亲去世。马援“少有大志，诸兄奇之”(《后汉书·马援列传》)。曾跟人学习《齐诗》，但其心不在章句上，学不下去。于是，他向长兄马况告辞，要到边郡去种田放牧。马况很开明，同意他的意向，嘱咐他说：“汝大才，当晚成。良工不示人以朴，且从所好”(《后汉书·马援列传》)。

没等马援起身，马况去世，马援留在家中，为哥哥守孝一年。一年中，他没有离开过马况的墓地，对守寡的嫂嫂非常敬重，不整肃衣冠，从来不踏进家门�

后来马援当了郡中的督邮。一次，他奉命押送囚犯到司命府。囚犯身有重罪，马援可怜他，私自将他放掉，自己则逃往北地郡(治今甘肃庆阳西北)。后天下大赦，马援就在当地畜养起牛羊来。时日一久，不断有人从四方赶来依附他，于是他手下就有了几百户人家，供他指挥役使，他带着这些人游牧于陇汉之间(今甘肃、宁夏、陕西一带)。马援过的虽是转徙不定的游牧生活，但胸中之志并未稍减。他常常对宾客们说：“大丈夫立志，穷当益坚，老当益壮”(《后汉书·马援列传》)。 
 马援种田放牧，能够因地制宜，多有良法，因而收获颇丰。当时，共有马、牛、羊几千头，谷物数万斛。对着这田牧所得，马援慨然长叹，说：“凡殖货财产，贵其能施赈也，否则守钱虏耳”(《后汉书·马援列传》)。于是，把所有的财产都分给兄弟朋友，自己则只穿着羊裘皮裤，过着清简的生活。

王莽末年，四方兵起。王莽的堂弟王林任卫将军，广招天下豪杰。他选拔马援和同县人原涉为掾，并把他们推荐给王莽。王莽任命原涉为镇戎大尹(新莽始建国元年，改太守为大尹)、马援为新城(今陕西安康)大尹。王莽失败后，马援的哥哥马员正任增山连率(连率，新莽时郡一级地方长官，职如太守)，他和马援一起离开了各自的任所，跑到凉州避难。 刘秀即位后，马员到洛阳投奔光武帝，光武帝复其原职，让他仍到郡里去，后死于任上。马援则羁留西州。

时隗嚣占据天水，自称西州大将军，对马援非常器重，任命他为绥德将军，让他参与军事机密，跟自己一起发谋决策，议定大事。此时，当时，公孙述在蜀称皇隗嚣为决定去从，派马援去探听虚实。
 
 马援跟公孙述本为老乡，而且过去交情很好。马援以为这次见面定会握手言欢，没想到公孙述却摆起皇帝架子来。他先盛陈卫士，然后才请马援进见；待刚见过礼，又马上让马援出宫，住进宾馆；接着命人给马援制作都布单衣、交让冠。然后才在宗庙中聚集百官，设宴招待他。公孙述来赴会，途中摆列仪仗，前呼后拥，装尽模样，做尽姿态，到宗庙，则毕恭毕敬，煞有介事地走进来，完全按君臣礼节招待百官，宴席十分丰盛，设有旧交的位置。席间，公孙述表示要封马援为侯爵，并授予他大将军的官位。马援的随从宾客挺高兴，以为受到了礼遇，都愿意留下来。马援给他们讲道理，说：“天下雄雌未定，公孙不吐哺走迎国士，与图成败，反修饰边幅，如偶人形。此子何足久稽天下士乎”(《后汉书·马援列传》)

时隗嚣听信了部将王元的挑拨，想占据陇西，称王称霸。因而对东汉存有二心，处事狐疑。马援见状，多次写信，好意相劝。隗嚣怨恨马援，认为他背离自己，见到信后愈发恼火，后来竟起兵抗拒汉朝 
 马援上书给皇帝，表明自己的心迹，信里说：“臣援自念归身圣朝，奉事陛下，本无公辅一言之荐，左右为容之助。臣不自陈，陛下何因闻之。夫居前不能令人轾，居后不能令人轩，与人怨不能为人患，臣所耻也。故敢触冒罪忌，昧死陈诚。臣与隗嚣，本实交友。初，嚣遣臣东，谓臣曰：‘本欲为汉，愿足下往观之。于汝意可，即专心矣。’及臣还反，报以赤心，实欲导之于善，非敢谲以非义。而嚣自挟奸心，盗憎主人，怨毒之情遂归于臣。臣欲不言，则无以上闻。愿听诣行在所，极陈灭嚣之术，得空匈腹，申愚策，退就陇亩，死无所恨”(《后汉书·马援列传》)。

光武帝览信后，即召见马援。马援详细地说出了自己设计的对付隗嚣的办法。光武帝便派马援率领五千突骑来往于陇陕之间，游说羌族的豪长和隗嚣手下的将领高峻、任禹等人，向他们陈说祸福利害，做分化工作�

建武八年(32年)，光武帝自统军讨伐隗嚣。军队到了漆县(今陕西彬县)，不少将领认为前途情况不明，胜负难卜，不宜深入险阻，光武帝也犹豫不定，难下决心。正好马援奉命赶来，光武帝大喜，连夜接见，并将将领们的意见原原本本地告诉马援，征询他的意见。于是，马援说出了自己的看法，他认为隗嚣的将领已有分崩离析之势，如果乘机进攻，定获全胜。说着，他命人取些米来，当下在光武帝面前用米堆成山谷沟壑等地形地物，然后指点山川形势，标示各路部队进退往来的道路，其中曲折深隐，无不毕现，对战局的分析也透彻明白。光武帝特别高兴，说：“虏在吾目中矣”(《后汉书·马援列传》)。遂决意进军。第二天，光武帝挥军直进，抵达高平第一城(今甘肃固原)。时凉州牧窦融率河西五郡(指敦煌、酒泉、张掖、武威、金城)太守及羌、小月氏等步骑数万、辎重车5000辆与刘秀会合，分数路攻陇。隗嚣大将13人及部众10万余人不战而降，隗嚣逃至西城(今甘肃天水西南)，援陇蜀军李育、田弇逃至上邦(今甘肃天水)。汉军占天水16座属县，刘秀派吴汉岑彭围西城，以耿彝围上邦。至此，隗嚣军主力基本上被汉军消灭。

此战，马援“堆米为山”是此战取胜的重要原因，这在战争史上也是一个创举，具有重要的意义。 
 建武九年(33年)，马援被任命为太中大夫，做来歙的副手，统领诸军驻守长安�

从打王莽末年开始，塞外羌族不断侵扰边境，不少羌族更趁中原混乱之际入居塞内。金城(治所在今甘肃兰州西北)一带属县多为羌人所占据(参见东汉与羌的战争。来歙就此事上书，说陇西屡有侵扰祸害，除马援外，无人能平�

建武十一年(35年)夏天，光武帝任命马援为陇西郡郡守。马援一上任，便整顿兵马，派步骑三千人出征。先在临洮击败先零羌，斩首数百人，获马牛羊一万多头。守塞羌人八千多，望风归降。当时，羌族各个部落还有几万人在浩亹占据要隘进行抵抗，马援和扬武将军马成率兵进击，羌人将其家小和粮草辎重聚集起来在允吾谷阻挡汉军。马援率部暗中抄小路袭击羌人营地，羌人见汉军突如其来，大惊，远远地逃入唐翼谷中。马援挥师追击，羌人率精兵聚集北山坚守。马援对山摆开阵势佯攻，吸引敌人，另派几百名骑兵绕到羌人背后，乘夜放火，并击鼓呐喊。羌人不知有多少汉军袭来，纷纷溃逃。马援大获全胜，斩首千余级。但因为兵少，没有穷追敌人，只把羌人的粮谷和牲畜等财物收为汉军所有。

此战，马援身先士卒，飞箭将其腿肚子都射穿了。光武帝得知后，立即派人前往慰问，并赐给他牛羊数千头。马援像往常一样，又把这些都分给了部下�

当时，金城破羌(今青海乐都东)以西，离汉廷道途遥远，又经常发生变乱，不好治理。朝廷大臣商议，要把该地区舍弃。马援持不同意见，他提出了三条理由：第一，破羌以西的城堡都还完整牢固，适于固守；第二，那地方土地肥沃，灌溉便利；第三，假如舍弃不管，任羌人占据湟中，那么，以后将有无穷的祸患。光武帝觉得他言之有理，依从了他的意见，下诏命令武威太守把从金城迁来的客民全都放回。放回的客民一共有三千多，他们各自都返回了原籍。马援又奏明朝廷，为他们安排官吏，修治城郭．建造工事，开导水利。鼓励人们发展农牧业生产，郡中百姓从此安居乐业。马援还派羌族豪强杨封说服塞外羌人，让他们与塞内羌族结好，共同开发边疆。另外，对武都地方背叛公孙述前来归附的氐人，马援以礼相待，奏明朝廷，恢复他们的侯王君长之位，赐给他们印缓。