遠州曳馬駅は駅名に「遠州」を冠していますが、駅の看板や車内放送などでは国名を入れず、単に「曳馬」とのみアナウンスしています。これは、遠州上島、遠州西ヶ崎、遠州小松、遠州小林、遠州芝本、遠州岩水寺の各駅も同様です。
片面1線のみというシンプルな構造の地平駅です。無人駅で、ホーム北側にある出口には自動券売機とICカード対応簡易改札機のみがあります。ホームはかなり狭いものです。
この遠州曳馬駅付近まで高架化工事が本格的に進んでおり、現行の地平ホームに立つと圧迫感があります。
駅の周囲には民家や個人商店が多く見受けられます。このあたりにくると、浜松市の郊外という印象になります。