মার্শাক ১৮৮৭ সালের ৩ নভেম্বর ভোরোনেজ শহরে একটি ইহুদি পরিবারে জন্মগ্রহণ করেন। তার বাবা একটি সাবান কারখানার ফোরম্যান ছিলেন। তিনি বাড়িতে ভালো শিক্ষা লাভ করেন এবং পরে ভোরোনেজের উপশহর অস্ট্রোগোজস্কে একটি জিমনেসিয়াম (মাধ্যমিক বিদ্যালয়) এ পড়াশোনা করেন। ছোটবেলাতেই ভোরোনেজে থাকার সময় তিনি কবিতা লেখা শুরু করেন।

মার্শাক তার দুই ভাই এবং তিন বোনসহ বড় হন। তার বড় ভাই মোইসে (১৮৮৫—১৯৪৪) অর্থনীতিবিদ হন। তার বড় বোন সুসান্না (১৮৮৯—১৯৮৫) বিয়ের পরে শোয়ার্জ নামে পরিচিত হন। তার ছোট ভাই ইলিয়া (যিনি এম. ইলিন ছদ্মনামে লিখতেন) (১৮৯৬—১৯৫৩) রসায়ন প্রকৌশলী এবং জনপ্রিয় বিজ্ঞান লেখক হন। তার ছোট বোন লিলিয়া (যিনি এলেনা ইলিনা নামে লিখতেন) (১৯০১—১৯৬৪) সোভিয়েত লেখক হন। সর্বকনিষ্ঠ বোন ইউদিফ' (১৮৯৩—?) ছিলেন একজন পিয়ানিস্ট এবং স্মৃতিচারণ লেখক।

১৯০২ সালে, মার্শাক পরিবার সেন্ট পিটার্সবার্গে চলে যায়। কিন্তু একটি জটিলতা ছিল: ইহুদি হিসেবে মার্শাক পেলে অফ সেটলমেন্টের বাইরে আইনি বাসস্থান করতে পারতেন না, তাই শহরে বসবাসের সময় তিনি স্কুলে ভর্তি হতে পারেননি। দাতব্যকর্মী ও পণ্ডিত ব্যারন ডেভিড গুন্সবার্গ মার্শাকের প্রতিভায় মুগ্ধ হয়ে তাকে প্রভাবশালী সমালোচক ভ্লাদিমির স্তাসভের সঙ্গে পরিচিত করিয়ে দেন। স্তাসভ তার সাহিত্য প্রতিভায় এতটাই মুগ্ধ হন যে তিনি মার্শাক এবং তার পরিবারের জন্য পেলে আইন থেকে ব্যতিক্রমের ব্যবস্থা করেন। তিনি মার্শাককে মাক্সিম গোর্কি এবং ফিওদর শালিয়াপিনের সাথেও পরিচিত করিয়ে দেন।

১৯০৪ সালে, মার্শাক যক্ষ্মায় আক্রান্ত হন এবং সেন্ট পিটার্সবার্গের ঠান্ডা আবহাওয়ায় বসবাস করতে পারেননি। মাক্সিম গোর্কি মার্শাকের জন্য কৃষ্ণ সাগরের উপকূলীয় শহর ইয়াল্টায় নিজের পরিবারের সঙ্গে থাকার ব্যবস্থা করেন (১৯০৪-১৯০৭)। গোর্কি এবং শালিয়াপিন তার পড়াশোনা এবং চিকিৎসার খরচ বহন করেন। তবে তিনি এই সময়ের বেশিরভাগই ক্রিমিয়ার কের্চ শহরে ফ্রেমারম্যান পরিবারের সঙ্গে কাটান।