旧一宮町市街地の東端に位置する駅です。豊川市役所一宮総合支所が三河一宮と長山のほぼ中間に位置するほか、各種施設がこの両駅の間に立地していますが、こと長山駅だけをみると、国道から少し奥まっていることもあって静かなただずまいを見せています。
相対式ホーム2面2線から成りますが、これまでの各駅とは異なり、ホーム間の連絡は跨線橋ではなく構内踏切を介します。駅舎はコンクリート造の簡易なもので、別棟でトイレが置かれています。
駅前には個人商店と民家があるほか、小さい森があります。駅は丘陵地にあるため見通しがききませんが、坂を少しのぼりくだりすると家はけっこう多く建っています。
長山駅近くには、かつて豊川鉄道が経営していた「長山遊園地」がありましたが、第二次大戦の戦況悪化に伴い閉園しています。