3面5線から成る地平駅です。駅の西側に大垣車両区があり、新快速から普通列車まで、名古屋方面からの列車の大多数がこの大垣で折り返すダイヤになっています。このため、列車が到着するたびに乗り換え客でにぎわいます。特に、早朝の下り「ムーンライトながら」から、米原方面への接続列車に向かう人の波ができ、「青春18きっぷ」のシーズンには大騒ぎになります。乗り場は発車する列車ごとにまちまちで、乗り場と行き先が必ずしも一致しないことが多いのが困ったところ。
いちばん北側のホームは樽見鉄道との共同利用になっており、同鉄道の駅舎があるものの中間改札は行われていないようです。また南西側には近鉄養老線の乗り場がありますが、こちらは中間改札が設置されています。
駅舎は橋上にあり、駅ビル「アピオ」の中に入っています。メイン出口は南口で、大きなロータリーが整備されており、南へ向かうメインストリート沿いに飲食店などが見られます。夜行列車の始発駅ではありますが、夜まで開いている店は少なくなります。
このほか、駅の北側にも出口が設けられています。駅の北側にはオーミケンシの工場が広がっており、ここから少し離れると田園地帯となっており、南口とはまったく雰囲気が異なります。城下町らしく、垂直に近い状態で交差する路地が多く、また水路があちこちに走っています。
東海道本線は、大垣から西にある南荒尾信号場で、旧新垂井駅（現在は駅としては廃止）を経由する迂回線、および美濃赤坂方面へ向かう枝線を分岐します。このうち後者は、大垣駅では「美濃赤坂方面」とアナウンスしています。