CUDA আৰু Tensor cores হৈছে Nvidia নামৰ এটা কোম্পানীয়ে বিকশিত কৰা সামগ্ৰী। গতিকে CUDA কোৰ আৰু Tensor কোৰ কি? CUDA ৰ অৰ্থ হ'ল কম্পিউট ইউনিফাইড ডিভাইচ আৰ্কিটেকচাৰ। CUDA কোৰসমূহ আপোনাৰ GPU, স্মাৰ্টফোন, আনকি আপোনাৰ গাড়ীতো উপস্থিত থাকে, যিদৰে Nvidia ডেভেলপাৰসকলে কয়।

CUDA কোৰসমূহ এটা সমান্তৰাল কম্পিউটিং প্লেটফৰ্ম আৰু এপ্লিকেচন প্ৰগ্ৰেমিং আন্তঃপৃষ্ঠ (API) যি চফ্টৱেৰক সাধাৰণ-উদ্দেশ্য প্ৰচেছিঙৰ বাবে নিৰ্দিষ্ট ধৰণৰ গ্ৰাফিক্স প্ৰচেছিং এককসমূহ (GPUs) ব্যৱহাৰ কৰিবলে সামৰ্থবান কৰে।

য'ত টেনছৰ কোৰ যিবোৰ Nvidia দ্বাৰাও বিকশিত কৰা হৈছিল, GPU সমূহতো ব্যৱহাৰ কৰা হয়। টেনছৰ কোৰে মিশ্ৰিত-নিখুঁত কম্পিউটিং সক্ষম কৰে, সঠিকতা বজাই ৰাখি থ্ৰুপুট বৃদ্ধি কৰিবলৈ গণনাসমূহক গতিশীলভাৱে খাপ খুৱাই লয়।

সৰল ভাষাত ক'বলৈ গ'লে, এই কোৰসমূহ আপোনাৰ pc ত GPU সমূহৰ এটা গুৰুত্বপূৰ্ণ অংশ কিছুমান গণনা কৰিবলৈ। দুটা সংখ্যাক গুণ কৰি আন এটা সংখ্যাত যোগ কৰিবলৈ CUDA কোৰ ব্যৱহাৰ কৰা হয়।

য'ত টেনছৰ কোৰ একে কিন্তু 4×4 মেট্ৰিচৰ সৈতে। এই গণনাসমূহে মূলতঃ আপোনাৰ বাবে গ্ৰাফিক্স দ্ৰুতভাৱে ৰেণ্ডাৰ কৰিছে।

CUDA কি?

এনভিডিয়াই বিকশিত কৰা চমুকৈ কম্পিউট ইউনিফাইড ডিভাইচ আৰ্কিটেকচাৰ, ২০০৭ চনৰ ২৩ জুনত মুকলি কৰা, এটা সমান্তৰাল কম্পিউটিং প্লেটফৰ্ম আৰু এপ্লিকেচন প্ৰগ্ৰেমিং আন্তঃপৃষ্ঠ (API)।

সেইটো চফ্টৱেৰক সাধাৰণ-উদ্দেশ্য প্ৰচেছিঙৰ বাবে নিৰ্দিষ্ট ধৰণৰ গ্ৰাফিক্স প্ৰচেছিং এককসমূহ (GPUs) ব্যৱহাৰ কৰিবলে সামৰ্থবান কৰে, এটা পদ্ধতিক সাধাৰণ-উদ্দেশ্যৰ কম্পিউটিং হিচাপে জনা যায়GPUs (GPU) সমূহ।

CUDA এটা চফ্টৱেৰ স্তৰ যি GPU ৰ ভাৰ্চুৱেল নিৰ্দেশনা গোট আৰু গণনা কাৰ্ণেলসমূহৰ নিষ্পাদনৰ বাবে সমান্তৰাল গণনামূলক উপাদানসমূহলে প্ৰত্যক্ষ অভিগম প্ৰদান কৰে। CUDA C, C++, আৰু Fortranকে ধৰি বিভিন্ন প্ৰগ্ৰেমিং ভাষাৰ সৈতে কাম কৰিবলৈ বিকশিত কৰা হৈছিল।

বিভিন্ন প্ৰগ্ৰেমিং ভাষাৰ সৈতে কাম কৰাৰ ক্ষমতাই সমান্তৰাল প্ৰগ্ৰেমিং বিশেষজ্ঞসকলৰ বাবে GPU সম্পদসমূহৰ ব্যৱহাৰ কৰাটো সহজ কৰে যদি আমি ইয়াক পূৰ্বৰ APIসমূহ যেনে Direct3D বা OpenGL ৰ পৰা পৃথক কৰোঁ, যাৰ বাবে আপোনাৰ এটা অধিক উন্নত হোৱাৰ প্ৰয়োজন হ'ব গ্ৰাফিকেল প্ৰগ্ৰেমিংৰ দক্ষতা ভিত্তি।

CUDA ৰ সৈতে GPU এ প্ৰগ্ৰামিং ফ্ৰেমৱৰ্কসমূহো সমৰ্থন কৰে, যেনে OpenMP, OpenACC, OpenCL, আৰু HIP যি এনে ক'ড CUDA লৈ কমপাইল কৰিব পাৰে। CUDA ৰ বাবে ব্যৱহৃত প্ৰথম নামটো আছিল কম্পিউট ইউনিফাইড ডিভাইচ আৰ্কিটেকচাৰৰ সংক্ষিপ্ত ৰূপ। কিন্তু পিছত এনভিডিয়াই সাধাৰণতে ব্যৱহৃত সংক্ষিপ্ত ৰূপটো বাদ দিলে।

এটা শক্তিশালী Nvidia গ্রাফিক্স কাৰ্ড GTX 1080 Ti

CUDA ৰ বিষয়ে অধিক

এটা বিশেষ কম্পিউটাৰ প্ৰচেছৰ হিচাপে, গ্ৰাফিক্স প্ৰচেছিং ইউনিটে (GPU) বাস্তৱৰ প্ৰয়োজনীয়তা পূৰণ কৰে -সময়, গণনা-নিবিড় 3D গ্ৰাফিক্স ৱৰ্কলোড।

প্ৰায় 2012 GPUs বিকশিত হৈছিল আৰু ডাঙৰ ব্লকসমূহৰ বাবে ফলপ্ৰসূ ডাটা প্ৰচেছিং সামৰ্থবান কৰা অতি সমান্তৰাল বহু-কোৰ চিস্টেমলৈ পৰিণত হৈছিল।

যেতিয়া সমান্তৰালভাৱে তথ্যৰ বিশাল ব্লকসমূহ প্ৰচেছ কৰা হয়, এই ডিজাইন এলগৰিদমৰ বাবে সাধাৰণ-উদ্দেশ্যৰ কেন্দ্ৰীয় প্ৰচেছিং এককসমূহ (CPUs)তকৈ উন্নত, যেনে:

• ক্ৰিপ্টোগ্ৰাফিক হেচকাৰ্য্যসমূহ
• মেচিন শিক্ষণ
• আণৱিক গতিবিদ্যাৰ চিমুলেচন
• পদাৰ্থ বিজ্ঞান ইঞ্জিন
• এলগৰিদমসমূহ সজাই পৰাই

CUDA স্থাপত্যৰ ব্যৱহাৰ এতিয়া আৰু ভৱিষ্যতে

• 3D গ্ৰাফিক্সৰ ত্বৰান্বিত ৰেণ্ডাৰ
• ভিডিঅ' ফাইল বিন্যাসৰ ত্বৰান্বিত আন্তঃৰূপান্তৰ
• ত্বৰিত এনক্ৰিপচন, ডিক্ৰিপচন, আৰু সংকোচন
• জৈৱ তথ্যবিজ্ঞান, যেনে, এন জি এছ ডি এন এ ক্ৰমবিন্যাস BarraCUDA
• বিতৰিত গণনা, যেনে প্ৰটিনৰ স্থানীয় ৰূপান্তৰৰ ভৱিষ্যদ্বাণী কৰা
• চিকিৎসা বিশ্লেষণ চিমুলেচন, উদাহৰণস্বৰূপে, চিটি আৰু এম আৰ আই স্কেন ছবিৰ ওপৰত ভিত্তি কৰি ভাৰ্চুৱেল বাস্তৱতা
• ভৌতিক চিমুলেচন, বিশেষকৈ তৰল গতিবিদ্যাত
• মেচিন লাৰ্নিং সমস্যাত স্নায়ু নেটৱৰ্ক প্ৰশিক্ষণ
• মুখ চিনাক্তকৰণ
• বিতৰিত কম্পিউটিং প্ৰকল্প, যেনে [ইমেইল সুৰক্ষিত] আৰু ব্যৱহাৰ কৰা অন্যান্য প্ৰকল্প BOINC
• আণৱিক গতিবিদ্যা
• ক্ৰিপ্টোকাৰেন্সী খনি
• গতিৰ পৰা গঠন (SfM) চফ্টৱেৰ

টেনছৰ কোৰ কি?

টেনছৰ কোৰ নামৰ বিশেষ কোৰসমূহে মিশ্ৰিত-নিখুঁত প্ৰশিক্ষণৰ অনুমতি দিয়ে। এই বিশেষ কোৰসমূহৰ প্ৰাৰম্ভিক প্ৰজন্মই এটা ফিউজড মাল্টিপ্লাই-এড এলগৰিদমৰ সৈতে এই কাম কৰে। ইয়াৰ ফলত এটা 4 x 4 FP16 বা FP32 মেট্ৰিক্সত দুটা 4 x 4 FP16 মেট্ৰিক্স গুণ কৰা আৰু যোগ কৰা সম্ভৱ হয়।

চূড়ান্ত ফলাফল হ'ব FP32 মাত্ৰ সামান্য নিখুঁততাৰ ক্ষতিৰ সৈতে, মিশ্ৰিত নিখুঁত কম্পিউটিংক তেনেকৈয়ে নিৰ্ধাৰণ কৰা হৈছে যদিওইনপুট মেট্ৰিচসমূহ কম-সঠিকতা FP16 হ'ব পাৰে।

কাৰ্য্যক্ষেত্ৰত, ইয়াৰ ফলত গণনাসমূহ যথেষ্ট ত্বৰান্বিত হয় আৰু মডেলৰ চূড়ান্ত ফলপ্ৰসূতাৰ ওপৰত কম প্ৰভাৱ পৰে। এই ক্ষমতাক পিছৰ মাইক্ৰ'আৰ্কিটেকচাৰে আৰু কম নিখুঁত কম্পিউটাৰ সংখ্যাৰ উপস্থাপনলৈ সম্প্ৰসাৰিত কৰিছে।

প্ৰথম প্ৰজন্মক V100 ৰ পৰা আৰম্ভ কৰি ভল্টা মাইক্ৰ'আৰ্কিটেচাৰৰ সৈতে প্ৰৱৰ্তন কৰা হৈছিল, প্ৰতিটো প্ৰজন্মৰ লগে লগে নতুন GPU মাইক্ৰ'আৰ্কিটেকচাৰৰ সৈতে গণনাৰ বাবে অধিক কম্পিউটাৰ সংখ্যাৰ নিখুঁত বিন্যাস উপলব্ধ কৰা হৈছিল।

আমি তলৰ অংশত প্ৰতিটো মাইক্ৰ’আৰ্কিটেচাৰ প্ৰজন্মৰ লগে লগে টেনছৰ কোৰৰ ক্ষমতা আৰু কাৰ্য্যক্ষমতা কেনেকৈ সলনি আৰু উন্নত হৈছে সেই বিষয়ে ক’ম।

টাইটান V দ্বাৰা নিৰ্মিত এটা গ্ৰাফিকভাৱে ৰেণ্ডাৰ কৰা ছবি

টেনছৰ কোৰে কেনেকৈ কাম কৰে?

প্ৰথম প্ৰজন্ম:

ভল্টা GPU মাইক্ৰ'আৰ্কিটেকচাৰক প্ৰথম প্ৰজন্মৰ টেনছৰ কোৰৰ সৈতে অন্তৰ্ভুক্ত কৰা হৈছিল। এই কোৰসমূহে মিশ্ৰিত নিখুঁততা আৰু FP16 নম্বৰ ফৰ্মেটৰ সৈতে প্ৰশিক্ষণ লোৱাটো সম্ভৱ কৰি তুলিছিল।

এইটোৱে কিছুমান GPU ৰ বাবে teraFLOP থ্ৰুপুটত 12x বুষ্টলৈকে পাব পাৰে। শীৰ্ষ-স্তৰৰ V100 ৰ 640 কোৰে পূৰ্বৰ প্ৰজন্মৰ Pascal GPU সমূহৰ তুলনাত 5x লৈকে পৰিৱেশন গতি বৃদ্ধি কৰে।

দ্বিতীয় প্ৰজন্ম:

টুৰিং GPU সমূহৰ প্ৰৱৰ্তনৰ লগে লগে, দ্বিতীয় প্ৰজন্মৰ টেনছৰ কোৰ প্ৰৱৰ্তন কৰা হৈছিল। Int8, Int4, আৰু Int1 সমৰ্থিত টেনছৰ কোৰ নিখুঁততাৰ তালিকাত যোগ কৰা হৈছিল, যিবোৰ আছিলপূৰ্বতে FP16 ত সীমাবদ্ধ আছিল।

মিশ্ৰিত নিখুঁত প্ৰশিক্ষণ পদ্ধতিৰ বাবে, GPU ৰ পৰিৱেশন থ্ৰুপুট Pascal GPU ৰ তুলনাত 32 গুণলৈকে বৃদ্ধি কৰা হৈছিল। তৃতীয় প্ৰজন্ম:

এটা এম্পিয়াৰ GPU ত আৰ্কিটেকচাৰে FP64, TF32, আৰু bfloat16 নিখুঁততাৰ বাবে সমৰ্থন যোগ কৰি ভল্টা আৰু টুৰিং মাইক্ৰ'আৰ্কিটেকচাৰসমূহৰ পূৰ্বৰ উন্নতিত সম্প্ৰসাৰিত কৰে।

গভীৰ শিক্ষণ প্ৰশিক্ষণ আৰু অনুমান কাৰ্য্যকলাপ এই অতিৰিক্ত নিখুঁত বিন্যাসসমূহৰ দ্বাৰা বহুত বেছি ত্বৰান্বিত হয়। উদাহৰণস্বৰূপ, TF32 বিন্যাসে FP32 ৰ সৈতে একেদৰে কাম কৰে আৰু কোনো ক'ড পৰিবৰ্তন নকৰাকৈ 20x স্পীডআপলৈকে নিশ্চয়তা দিয়ে।

তাৰ পিছত, মাত্ৰ কেইটামান শাৰীৰ ক'ডৰ সৈতে, স্বয়ংক্ৰিয় মিশ্ৰিত নিখুঁত প্ৰণয়নে প্ৰশিক্ষণ অতিৰিক্ত 2x দ্ৰুত কৰিব।

তৃতীয় প্ৰজন্মৰ NVLink এ ব্লেজিংলি দ্ৰুত বহু-GPU পাৰস্পৰিক ক্ৰিয়া সামৰ্থবান কৰিবলে, তৃতীয়-প্ৰজন্মৰ ৰে ট্ৰেচিং কোৰ, আৰু বিৰল মেট্ৰিক্স গণিতৰ সৈতে বিশেষায়িতকৰণ এম্পিয়াৰ মাইক্ৰ'আৰ্কিটেকচাৰৰ অতিৰিক্ত দিশসমূহ।

চতুৰ্থ প্ৰজন্ম:

হপাৰ মাইক্ৰ'আৰ্কিটেকচাৰ-ভিত্তিক চতুৰ্থ প্ৰজন্মৰ টেনছৰ কোৰৰ ভৱিষ্যত মুক্তিৰ পৰিকল্পনা কৰা হৈছে। পৰৱৰ্তী H100 ত চতুৰ্থ প্ৰজন্মৰ Tensor Cores.

যিটো ২০২২ চনৰ মাৰ্চ মাহত মুকলি হোৱাৰ আশা কৰা হৈছে, ই FP8 নিখুঁত ফৰ্মেটসমূহ চম্ভালিব পাৰিব আৰু, NVIDIA অনুসৰি, বিশাল ভাষা মডেলসমূহক “এটা আচৰিত 30X দ্বাৰা ত্বৰান্বিত কৰিব পূৰ্বৰ প্ৰজন্মৰ তুলনাত।”

এটা RTX গ্ৰাফিক্স কাৰ্ড হৈছেগ্ৰাফিক্স অতি দ্ৰুতভাৱে ৰেণ্ডাৰ কৰিবলৈ ব্যৱহাৰ কৰা হয় কাৰণ ইয়াত টেনছৰ কোৰ থাকে।

CUDA কোৰ আৰু টেনছৰ কোৰৰ মাজৰ পাৰ্থক্য

টেনছৰ কোৰ বৰ্তমানে টাইটান V আৰু টেছলা V100 ত সীমাবদ্ধ। দুয়োটা GPU ত 5120 CUDA কোৰৰ এটা একক নিখুঁত বহুগুণ-সঞ্চয় কাৰ্য্যৰ সৰ্বাধিক ক্ষমতা আছে (উদাহৰণস্বৰূপে, fp32 ত: x += y * z) প্ৰতি GPU ঘড়ীত (যেনে Tesla V100 PCIe কম্পাঙ্ক 1.38Gz)।

প্ৰতিটো টেনছৰ কোৰে সৰু মেট্ৰিচৰ বাবে 4×4 সৰু মেট্ৰিচত কাম কৰে। প্ৰতি এটা GPU ঘড়ীত, প্ৰতিটো টেনছৰ কোৰে এটা মেট্ৰিক্স বহুগুণ-সঞ্চয় কাৰ্য্য সম্পূৰ্ণ কৰিব পাৰে।

ই দুটা 4×4 FP16 মেট্ৰিক্স গুণ কৰে আৰু 4×4 FP32 মেট্ৰিক্স যোগ কৰে যাৰ ফলত এক্যুমুলেটৰ হয় (সেয়াও এটা fp32 4×4 মেট্ৰিক্স)।

যিহেতু ইনপুট মেট্ৰিচসমূহ fp16 আনহাতে গুণন ফলাফল আৰু এক্যুমুলেটৰ fp32, এলগৰিদমটোক মিশ্ৰিত নিখুঁততা বুলি জনা যায়।

শুদ্ধ শব্দটো সম্ভৱতঃ কেৱল “4×4 মেট্ৰিক্স কোৰ” হ’ব, কিন্তু NVIDIA বিপণন দলে “টেনছৰ কোৰ” ব্যৱহাৰ কৰিবলৈ বাছি লৈছিল।

টেনছৰ কোৰৰ সম্পূৰ্ণ ব্যাখ্যা সংক্ষিপ্তভাৱে

CUDA কোৰ যুক্ত GPU

উপসংহাৰ

• CUDA আৰু Tensor কোৰ হৈছে প্ৰডাক্ট, দুয়োটা Nvidia নামৰ এটা কোম্পানীয়ে বিকশিত কৰিছে। CUDA ৰ অৰ্থ হ'ল কম্পিউট ইউনিফাইড ডিভাইচ আৰ্কিটেকচাৰ। এই CUDA কোৰসমূহ আপোনাৰ GPU, স্মাৰ্টফোন, আনকি আপোনাৰ গাড়ীতো উপস্থিত থাকে।
• য'ত টেনছৰ কোৰ, যিবোৰ Nvidia দ্বাৰাও বিকশিত কৰা হৈছিল, GPU সমূহতো ব্যৱহাৰ কৰা হয়। “টেনছৰ কোৰ” নামৰ বিশেষ কোৰবোৰে মিশ্ৰিত-নিখুঁত প্ৰশিক্ষণৰ অনুমতি দিয়ে। প্ৰথম প্ৰজন্মৰ টেনছৰ কোৰে মিশ্ৰিত নিখুঁততা আৰু FP16 নম্বৰ ফৰ্মেটৰ সৈতে প্ৰশিক্ষণ লোৱাটো সম্ভৱ কৰি তুলিছিল।
• এইটোৱে কিছুমান GPU ৰ বাবে teraFLOP থ্ৰুপুটত 12x বুষ্টলৈকে পাব পাৰে। Int8, Int4, আৰু Int1 সমৰ্থিত টেনছৰ কোৰ নিখুঁততাৰ তালিকাত যোগ কৰা হৈছিল।
• মিশ্ৰিত হোৱাৰ বাবেনিখুঁত প্ৰশিক্ষণ পদ্ধতি, GPU ৰ পৰিৱেশন 32 গুণলৈকে বৃদ্ধি কৰা হৈছিল। ভৱিষ্যতে হপাৰ মাইক্ৰ’আৰ্কিটেকচাৰ ভিত্তিক চতুৰ্থ প্ৰজন্মৰ টেনছৰ কোৰৰ মুক্তিৰ পৰিকল্পনা কৰা হৈছে।

অন্যান্য প্ৰবন্ধ