אם לא הפכתי את האתרוג אני צריך לברך עוד הפעם?

כן, אם ברור שלא לקחת אותו לרגע כדרך גדילתו.

זו אכן בעייה שכיחה עם מנהג האשכנזים לברך כשהאתרוג הפוך, ושוכחים להופכו אחר כך.