與會代表們接下來討論建立國會的問題，這可是最棘手的，涉及到每個州的人口多少與其在國會裡的發言權之間的關係。有一個代表說，“說白了，這是爭奪權力，而不是爭取自由。人口少的州在國會裡的權利可能會輸給人口多的州，但是各州居民享受的自由都是一樣的。”

與會代表們圍繞這個問題展開唇槍舌戰。來自德拉瓦州的岡寧·貝德福德在一次辯論中瞪著那些人口多的州的代表，大吼道，“先生們！我不信任你們。如果你們要壓制我們這些小州，你們就會毀掉整個邦聯。如果是這樣的話，我們就要去找那些更有信譽和誠意的外國盟友，從他們那裏得到公正。”

制憲大會的代表們整個夏天都在沒完沒了地圍繞國會代表權的問題進行辯論、表決、再辯論、再表決。從五月到七月，沒有任何進展。一名代表說，“看起來我們現在是寸步難行。”因此，代表們決定建立一個委員會，就國會代表權問題提出一份大家都能接受的意見。在接下來的幾天裡，這個委員會的成員埋頭苦幹，而其他人則放假，慶祝七月四號的獨立日。

七月四號是美國的法定假日。1787年七月四號是美國宣佈脫離英國獨立建國十一週年。獨立日這天，美國到處都有遊行、煙火表演和愛國演說。費城是獨立宣言簽署的地方，又是新國家的誕生地，因此慶祝活動尤其熱烈。制憲大會主席喬治·華盛頓帶著一些代表到費城一家教堂參加活動，聽取了一篇專門寫給他們的演講。

演講者說，“你們的國家懷著憂慮和希望的心情關注著你們，你們的國家要靠你們做出的決定。你們的國家相信，你們這些獨立戰爭中的領袖，知道如果規劃一個對所有美國人都有利的政府。”他接著又說，“我們中間肯定有瞭解政府體制的人才，有解決困境的人才，我們肯定能夠規劃出一個政府，保護我們來之不易的自由。”

費城大會代表們需要這些鼓勵之詞。就在幾天前，本杰明·富蘭克林曾表達了對制憲大會前景的悲觀。他說，“我們感覺自己缺乏政治智慧，我們上溯遠古，研究早已不復存在的政治體制，也放眼今天，參考歐洲各地的現行制度，最後發現，沒有任何一種憲法適合我們的需要。”富蘭克林要求制憲大會尋求上帝的幫助，每次開會前先要祈禱。北卡羅來納州的休·威廉森立即對富蘭克林的建議提出了反駁。他的理由很簡單，制憲大會沒錢請牧師帶領大家進行禱告。

獨立日過後，制憲大會的代表們7月5號復會，聽取了國會代表權委員會的報告。報告包括兩項提案。委員會成員說，要麼兩項議案全都接受，要麼全都拒絕。報告說，美國國會應該包括兩院，其中一院的代表人數根據各州人口決定，每四萬人出一名代表；另外一院裡各州的代表人數相同。

其實，制憲大會早就投票同意建立國會參眾兩院，只是在各州議員人數和議員的產生方式上存在分歧。國會代表權委員會7月5號提出的議案完全是照搬了康涅迪克州代表羅傑·謝爾曼一個月前提出的方案，這一方案後來被成為“大妥協”。與會代表就此進行了很多天的辯論。他們明白，如果不能達成協議，就是宣告制憲大會的失敗。這是費城制憲大會最黑暗的一段日子。

馬里蘭州的代表路德·馬丁後來曾談起，當時的報導都說大會代表在多少問題上達成了一致，但這並非事實。他說，“當時的情況千鈞一髮，大會險些陷入破裂。”紐約州的代表羅伯特·耶茨和約翰·蘭辛退出大會，以示抗議。但是維吉尼亞州的代表喬治·梅森則宣佈，達不成協議，他誓死也不離開費城。

當時，就連喬治·華盛頓也感到十分沮喪。他在寫給臨時回紐約的亞歷山大·漢密爾頓的信中說，“眼下的辯論比以往任何時候都要糟糕，在組建一個有效政府的問題上，大家的看法南轅北轍。我幾乎喪失了對大會成功的所有希望，真後悔當初同意來參加。”

1787年夏天，費城制憲大會的代表們就聯邦政府的權限展開了持久和激烈的辯論。然而，這個問題並不是代表們面臨的最嚴重的問題。很多年後，詹姆斯·麥迪遜解釋說，當時最棘手的問題是各州在國會裡的代表權問題，這才是對美國憲法的產生構成了最大威脅的問題。