С 1929 начал работать по договорам как сценарист.

В 1931 пришел на киностудию «Союзкино» (ныне «Мосфильм»), где получил должность ассистента режиссера, а в 1933 – режиссера-постановщика. Уже в первом своем фильме (Пышка, 1934, по Г.Мопассану) Ромм вполне оправдал свои претензии на режиссуру. Скромный с постановочной точки зрения фильм, снятый всего в двух небольших декорациях, импонировал умелым переводом литературной основы на язык кино, горькой иронией, точным подбором актеров (Г.Сергеева, А.Файт, А.Горюнов, Ф.Раневская и др).

В фильме Тринадцать (1936) Ромм сумел органично соединить политизированную идею (укрепление советской власти на национальных окраинах), реализм в обрисовке характеров и напряженную приключенческую интригу. Считается, что импульс к созданию фильма был дан И.Сталиным после просмотра одного из американских вестернов, однако признанным фактом является обратное: ряд американских картин (Последний из команчей, 1952, Сахара, 1943 и 1995) стали буквальными римейками фильма Ромма о героическом бое отряда советских пограничников с басмачами.

В 1937–1939 Ромм нашел удачный подход к трактовке фигуры Ленина и событий, связанных с Октябрьской революцией (Ленин в Октябре, Ленин в 1918 году). Вождь большевиков в исполнении Б.Шукина – политический стратег, учитель жизни и подкупающе человечная личность. За эти фильмы режиссер был впервые удостоен Государственной премии СССР (1941).

В 1940 Ромм был назначен художественным руководителем Главного управления по производству фильмов. Одновременно ему предложили поставить картину, тематически связанную с присоединением Западной Украины к СССР. Мечта, снятая по сценарию Е.Габриловича и самого Ромма, переросла рамки заказного «пропагандистского» фильма. Реалистическая драма из жизни обывателей захолустного городка в предвоенной Польше – поляков, евреев, русских – продолжила традицию классических произведений о «маленьком человеке» с его извечной и несбыточной идеей счастья и успеха.

Интерес Ромма к антифашистской теме и шире – к социально-политической проблематике проявился уже в 1940–1950-е годы и объяснялся как профессионально-конъюнктурными соображениями, так и чисто творческим, личностным интересом. В Человеке № 217, снимавшемся еще во время войны (Государственная премия 1945), эта тема нашла самое прямолинейное решение – на примере судьбы советской девушки (артистка Е.Кузьмина), угнанной для рабского труда в Германию. Фильмы Русский вопрос (Государственная премия 1948), Секретная миссия, Убийство на улице Данте имели характерный для советского кино конца 1940-х – начала 1950-х годов лейтмотив «военной и идейной угрозы с Запада», при доминанте которого могла развиваться приключенческая или детективная интрига.

С наступлением политической «оттепели» акценты в решении социально-политической темы заметно изменились. После шестилетнего перерыва (если не считать документальной картины Живой Ленин, 1958) Ромм снимает драму об ученых-атомщиках Девять дней одного года (Главный приз Международного кинофестиваля в Карловых Варах, 1962), где проблема смысла жизни решается под знаком общечеловеческих ценностей. Несколько меняется и почерк роммовской режиссуры, приближаясь к новым, более раскрепощенным, европейским канонам композиции кадра и актерской игры (чему немало способствует работа с оператором Г.Лавровым и актерами А.Баталовым, И.Смоктуновским).

Признанный шедевр Ромма – полнометражный хроникально-публицистический фильм Обыкновенный фашизм (приз МКФ в Лейпциге, 1965) родился на волне широкого интереса к публицистике и авторскому направлению в кино.

Успех Обыкновенного фашизма подвигнул режиссера на дальнейшую работу в жанре философской кинопублицистики, но многообещающий замысел второго фильма (драма современной цивилизации) непросто реализовывался в материале. Сказалась и болезнь Ромма. В итоге начатая им картина (И все-таки я верю) была завершена М.Хуциевым, Э.Климовым и Г.Лавровым уже после его смерти.

Ромм был одним из крупнейших педагогов: много лет преподавал во ВГИКе (с 1938 на операторском и сценарном факультетах, с 1948 руководил актерско-режиссерской мастерской), написал несколько книг по вопросам киноискусства. Был женат на актрисе Е.Кузьминой, сыгравшей в большинстве его фильмов.

Умер Ромм в Москве 1 ноября 1971.