今回の表現も映画やドラマで頻繁に耳にするものです。
ます、screw は日本語では「スクリュー」と表記されるので、名詞であれば「ネジ」を、動詞であれば「ネジを回す」という意味で使われそうなことは想像できますね。実際に、その両者の意味もあります。ただし、実際の英語の発音は「スクルー」ですので、注意しましょう。
screw の動詞としての元の意味は「ひねる」、「ひねるように回す」という動きを表します。したがって、回す対象によって「コルクの栓を開ける」という意味になったりします。また、名詞では「コルク栓抜き」、「（船の）スクリュー」、「（飛行機の）プロペラ」などのくるくる回るものを指すことばとして使われます。
さて、その「ひねる」という動詞の対象を紙にしてみましょう。紙をひねるとどうなるでしょうか。そうですね。しわがよったり折れたりしてしまいます。その screw に、行動を強調する up という副詞が付くと、「紙をくしゃくしゃにする」というニュアンスが出てきます。もしその紙が大切な書類か何かだったらどうなるでしょうか。台無しになってしまいますね。そこで、screw up の一般的な意味として「（何かを）台無しにする」というイメージが出てきます。
このことから、I screwed up. というのは、自分が何か大切にしていたことや、失敗しないように気をつけていたことを「台無しにした」、つまり「大きな失敗をした」という意味になるのです。
「試験で大きなミスをした」、「くどき落とそうと思っていた異性に最悪の印象を与えてしまった」など、努力してきたことが何かの手違いやほんのちょっとのミスなどで水の泡になったというような状況のときに I screwed up. と言います。一番そのニュアンスをよく伝えられる日本語は「へまをした」でしょうか。
主語は I でなくても、he とか she とかの場合もあります。もちろんその場合は自分のことではなく、第三者のことを客観的に説明していることになります。He screwed up.であれば「あいつ、へまをしやがった」という感じの訳になるでしょう。
筆者は、よく「へまをする」状況に陥ってしまうことがあるので、英語を普段の生活で使っていたらこの表現を何度もつぶやいたことでしょう。できれば主語が I のこの表現はあまり使いたくありませんが、よく耳にする表現ですので、覚えておいてください。