Греф Герман родился в 1964 г. в Казахстане. В период 1982–1984 гг. Греф проходил службу в армии, после чего прошел обучение в Омском госуниверситете по специальности «Юриспруденция».
В 1991 г. Германа Грефа назначили на должность юриста в Комитете экономического развития и имущества в Северной столице. В следующем году он занял должность начальника Петродворцовского районного агентства при Комитете. Впоследствии Греф стал председателем этого ведомства. Он являлся одним из сторонников реформы ЖКХ, проводимой в 1997 г. в Северной столице.
Позднее Греф был назначен на должность первого замминистра госимущества РФ. Также Герман Греф возглавлял Министерство экономического развития и торговли.
В 2007 г. Герман Греф стал председателем правления Сбербанка. Главной своей задачей видел повышение конкурентоспособности банка, утверждал, что необходимо создать гибкую и быстро адаптирующуюся к рыночным реалиям структуру.
Благодаря грамотной политике Грефа Сбербанку удалось войти в кризис 2008 года с хорошим потенциалом. Показатели устойчивости Сбербанка находились на самом высоком уровне. При Грефе в Сбербанке обновилась команда управленцев, поменялся логотип, сократилось название, появилась специальная униформа у сотрудников.
Герман Греф является членом советов директоров и наблюдательных советов нескольких АО, в числе которых «Лукойл». Греф состоит в браке, у него есть дети.