Printable View
سلام مهندس، اگه بتونی راه درست نصب hadoop روی ویندوز 8 همراه با نرم افزارهایی که لازم دارد را بهم معرفی بفرمایید ممنون میشم ضمنا ابونتو 14.10 رو هم جداگانه روی سیستم دارم ولی چون زیاد باهاش کار نکرده ام باهاش مشکل دارم ، اگه بتونید از روی ویندوز آموزش و راهنمایی بفرمایید ممنون ممنون ممنون میشم.
استفاده از نرم افزار Cloudera-quickstart
سلام و خسته نباشید خدمت مهندسین
میخاستم هادوپ نصب کنم روی ویندوز 7 ولی انگار خوب جواب نمیده از طریق vmware workstation لینوکس ریختم ولی هنوز نتونستم هادوپ نصب کنم از دوستان انجمن گفتن که باCloudera نصب کنم ولی حجمش 3گیگ حالا من ویندوزم 7 32بیت هستش اصلا این نرم افزار جواب میده؟ روش کار کردن باهاش چجوریه؟ هادوپ داخلش هست؟
ممنون میشم راهنماییم کنید
نحوه نصب رو اینجا نوشتم. برای ویندوز 7 هم فرقی ندارد.نقل قول:
نوشته شده توسط arashsh79
ممنون مهندس چون من اصلا با این نرم افزار کار نکردم ولی مجبورم کار کنم هی سوال میپرسم شرمنده
حالا من این بستهCloudera را دانلود کردم بعد توسط vmware اجراش کنم بعد ش میخام یه برنامه ای با هادوپ اجراش کنم ولی استاد گفته خودتون یه برنامه ای روی هادوپ اجرا کنید و تحویل بدیم حالا میخاستم اگه میشه منو راهنمایی کنی چه برنامه ای روش اجرا کنم که هم راحت باشه هم خوب باشه
بی نهایت سپاسگزارم
معروف ترین مثال و در عین حال ساده ترین مثالی که میشه داشت مثال Word Count هست. کد کامل و نحوه اجرا در اینجا به طور کامل توضیح داده شده:نقل قول:
نوشته شده توسط arashsh79
http://hadoop.apache.org/docs/curren...eTutorial.html
ممنون مهندس جان ولی من هنوز نتونستم رو ویندوزم اجراش کنم ارور میده که براتون عکسشو گذاشتم
من با VMware® Workstation ورژن 10 اجراش میکنم ولی ارور میده اگه لطف کنید راهنماییم کنید ممنون میشم ازتون
ازاینکه زود پاسخگو هستید بی نهایت سپاسگزارم
ضمیمه 130553
از مهندسین عزیز خواهشمندم اگه جواب منو میدونن پاسخ بدن ممنون میشم. بی نهایت سپاسگزارم
تنظیمات مربوط به Intel VT-x/AMD-V و Virtualization را در بایوس سیستم فعال کنید.نقل قول:
نوشته شده توسط arashsh79
ممنونم داداش که پاسخ میدی سپاسگزارم. ولی انگار لبتاپ من تو بایوسش همچین آپشنی نداره شاید قدیمیه اینجوریه dell1510
ولی تو لبتاپ دوستم ریختم که 64 بیت بود جواب داد وبالا اومد ولی توی ترمینال که همون سورس کد هایWord Count را میزنم همش میگه :
no such file or directory یا command not found !!!
فایل هدوپ باید جای خاصی تو سیستمم بریزم؟یا باید برنامه دیگه ای هم بریزم یا اشکال من چیه داداش؟
خوب پس سیستم عامل شما 32 بیتی هست و نسخه 64 بیتی را دانلود کردید. کد رو که نمیشه در در ترمینال به صورت خام اجرا کرد.می بایست کدهارو تبدیل به پروژه با فایل اجرایی jar کنید و در بخش job ها یک task نوع MapReduce در پنل مدیریتی Hue ایجاد کنید تا اجرا شود.نقل قول:
نوشته شده توسط arashsh79
خیلی ممنون داداش شرمنده ام سوال میکنم چون اطلاعات ندارم جالب اینجاست هیچکسی تو دانشگاه هم بلد نیست چیه !
بخش job کجاش میشه؟
پنل مدیریت hue کجاشه؟
البته اون آموزشی که من لینکش رو قرار دادم به صورت کامل از طریق ترمینال(با دستوران جاوا و هدوپ) توضیح داده که اجرا کنید که نیازمند نصب بسته عمومی است. ولی چون شما نسخه آماده مجازی سازی شده رو دانلود کردید و استفاده می کنید مراحل زیر را برای اجرای یک عمل Map/Reduce دنبال کنید:نقل قول:
نوشته شده توسط arashsh79
پس از راه اندازی ماشین مجازی cloudera با تصویر زیر مواجه می شوید:
بر روی Hue کلیک کرده تا وارد پنل واسط کاربری Hue شوید(اگر اکانت نساختید می توانید از یوزرنیم cloudera و cloudera استفاده کنید). پس از وارد شدن از نوار ابزار بالا بر روی Job Designer کلیک کنید تا با پنجره زیر روبرو شوید:
در این پنجره بر روی گزینه New Action کلیک کنید و از نوار بازشده ، MapReduce را انتخاب کنید. با اینکار با پنجره زیر روبرو می شوید که به دلیل طولانی بودن تبدیل به دو عکس کردم:
در اینجا یک نام دلخواه برای job ای که میخواهید انجام دهید انتخاب میکنید. در بخش jar path آدرس فایل اجرایی پروژه را بعد از کامپایل می نویسید.(در صورت وجود و نیاز می توانید بخش های Job Properties و Files رو تکمیل نمایید).
پس از آن بر روی دکمه Save کلیک کنید. تا الان Job شما در لیست قرار گرفته است. برای اجرای این Job می بایست نام Job را از لیست انتخاب کنید و بر روی دکمه Submit کلیک کنید تا اجرا شود. روند کار با می توانید از بخش Log View پیگیری کنید.
ممنون داداش خیلی لطف کردی ولی متاسفانه این استاد ما قبول نکرد میگه باید بسته عمومی نصب کنیم چون کامل باید کدهارو توضیح بدیم خط به خط ..اینم شانس منه
حالا میخام بدونم که من روی سیستمم که ویندوز7 و 32 بیت است باید چی نصب کنم که بتونم اون کدهارو توش اجرا کنم ؟
تو توضیحات گفتین که باید jre باید نصب کنیم و اینکه این بسته عمومی که گفتین کدومشو باید دانلود کنم که به سیستمم بخوره بعد اینکه کجا باید استخراجش کنم
ممنون میشم توضیح بدید
سپاسگزارم
در پست های قبل آموزش نصب به صورت عادی رو توضیح دادم. لطفا مطالعه کنید.نقل قول:
نوشته شده توسط arashsh79
داداش ممنون از لطفت ولی شرمنده ام من اینجارو متوجه نمیشم اگه میشه بیشتر توضیح بدید
اول اینکه من این پوشه هادوپ hadoop-2.6.0-src.tar دانلود کردم بعد همونجا استخراجش کردم که تو قسمت دانلودهامه حالا این فایل را باید جایی دیگه ببرم بریزم؟
دوم اینکه تو توضیحات فرمودین که (در اینجا با مراجعه به خط فرمان سیستم عامل خود و تغییر پوشه جاری به پوشه ای که استخراج کردید و همینطور پوشه bin ) من اینجارو متوجه نشدم اگه میشه یکم بیشتر راهنماییم کنید سپاسگزار میشم
سوم اینکه من تو همین محیط فرمان سیستمم همون تمرینی که فرمودین باید سورس کدهارو اینجا بنویسم؟
بازم از پاسخگوییتون بی نهایت سپاسگزارم
شما سورس کد هدوپ رو دانلود کردید که نیاز به کامپایل دارد. فکر میکنم چون کامپایل سورس کد شما رو گیج میکنه بهتر هست که بسته اجرایی اصلی رو از اینجا دانلود کنید. فرقی نمیکنه که کجا استخراج میکنید ولی بهتر است که در ریشه درایو در ویندوز و در پوشه home در لینوکس باشد. شما با دستورات خط فرمان آشنا نیستید؟ با دستور cd به پوشه ای که فایل های هدوپ در آن قرار دارد بروید و دستورانی که در آن مثال لینک بالا آمده را خط به خط اجرا کنید.نقل قول:
نوشته شده توسط arashsh79
ممنون از راهنمایی که زحمت میکشید من مجددا به یه مشکل برخورد کردم و چند سوال برام پیش اومد
اول اینکه اینبسته اجرایی که زحمت کشیدید را باید چگونه استفاده کنم
دوم اینکه در چه محیطی میتوانم به سورس کد هاش دسترسی داشته باشم
سوم اینکه چطوری با هادپ ارتباطش را برقرار کنم
من با دستورات خط فرمان داس و ویندوز آشنایی دارم ولی متوجه منظور شما از ورود به فولدر مربوطه با فرمان cd نشدم چون نمیدونم فایلی که اکسترکت کردم رو بعد از ورود به پوشه در محیط شل داس چطوری بهره برداری کنم؟
ممنون از پاسخگویی شما
از مهندسین عزیز کسی نیست جواب منو بده خیلی لنگ شدم !!!!
سلام دوستان.
برنامه نویسی هدوپ همون جاوا محسوب میشه؟
زبان اصلی برنامه نویسی در هدوپ جاوا هست ولی برای زبان های دیگر مثل پایتون و اسکالا و ... هم درایور هایی وجود دارد که می توان در آنها برای هدوپ برنامه نوشت.نقل قول:
نوشته شده توسط forogh68
استاد گرامی هدوپ مسءلتون:
امکان استفاده از این هدوپ برای روزانه 600 ترابایت دیتا( انواع فایل به صورت read & write) هست ؟ (لیتنسی خیلی برامون مهمه )
به طور خلاصه یک فایل سرور خیلی حجیم داریم که سرعت دسترسی به فایلهاش خیلی مهمه ( میلی ثانیه)
بله امکانش هست.نقل قول:
نوشته شده توسط joker
سلام،
برای مشاهده آموزش
نصب Hadoop و اجرای روش MapReduce (تک نود Single Node)
روی ubuntu میتوانید به آدرس زیر مراجعه بفرمایید.
http://narmafzaria.blogfa.com/post/10