Robot.txt
আপনার ওয়েবসাইটের কোন পৃষ্ঠাগুলি এবং কোন পৃষ্ঠাগুলি robot.txt ফাইল এবং রোবট মেটা ট্যাগ দ্বারা ইন্ডেক্স করা হবে না সে সম্পর্কে সার্চ ইঞ্জিনগুলির নির্দেশাবলী৷
 |
| SEO bangla tutorial |
আপনি ওয়েবসাইটটি সূচী করার জন্য অনুসন্ধান ইঞ্জিনগুলিকে নির্দেশ করতে পারেন। আপনি HTML পৃষ্ঠার Robots.txt ফাইল, রোবট মেটা ট্যাগ বিভাগ বা X-Robots-Tag সহ HTTP হেডারে সার্চ ইঞ্জিন ব্যবহার করতে পারেন।
Robot.txt ফাইল
একটি ওয়েবসাইট ক্রল করার নির্দেশাবলী সহ robots.txt ফাইলটি সাইটের রুট ডিরেক্টরিতে স্থাপন করা হয়। সার্চ ইঞ্জিন বটগুলি robots.txt ফাইল অনুসরণ করে এবং ক্রল করে নিয়ে আসে। কিন্তু robots.txt বটকে বলে যে কোন পৃষ্ঠাগুলি ক্রল হবে এবং কোন পৃষ্ঠাগুলি হবে না৷ যদি robots.txt ফাইলটি না থাকে, সার্চ ইঞ্জিন বট মনে করে আপনি আপনার সাইটের জন্য কোনো নির্দেশনা প্রদান করেননি। তাই সে পুরো সাইটটি ক্রল করে বা কিছু পৃষ্ঠা এড়িয়ে যায়।
একটি robot.txt ফাইল প্রাথমিকভাবে দুটি অংশে বিভক্ত। যেমন:
1) ব্যবহারকারী-এজেন্ট: [ব্যবহারকারী-এজেন্টের নাম]
2) অনুমতি না দেওয়া: / [URL স্ট্রিং ক্রল করা যাবে না]
মনে রাখবেন যে একটি robot.txt ফাইল সবসময় নোটপ্যাড টেক্সট ফরম্যাটে থাকবে।
নীচে একটি robot.text ফাইলের উদাহরণ দেওয়া হল:
ব্যবহারিক দূত: *
অনুমতি না দেওয়া: wp-admin
অনুমতি না দেওয়া: wp-admin / অন্তর্ভুক্ত
অনুমতি না দেওয়া: wp-content/plugins
অনুমতি না দেওয়া: wp-content/cache
অনুমতি না দেওয়া: wp-content/theme
রোবট মেটা ট্যাগ
মেটা ট্যাগ বিভাগে HTML ওয়েবপেজে রোবট ব্যবহার করা হয়। এটি যেকোনো নির্দিষ্ট বা সমস্ত সার্চ ইঞ্জিনের জন্য হতে পারে। আমরা কিছু সাধারণ মেটা ট্যাগ নিয়ে আলোচনা করব যা সাধারণত ব্যবহৃত হয়।
Index/Noindex: Index/Noindex সার্চ ইঞ্জিনকে বলে কোন পেজ ক্রল করা হবে, কোনটি হবে না। আপনি noindex ট্যাগ ব্যবহার করলে, সার্চ ইঞ্জিন পৃষ্ঠাটি ক্রল করা বন্ধ করবে।
সাধারণত সার্চ ইঞ্জিন সব পেজ ক্রল করে তাই আপনি ইনডেক্স ট্যাগ ব্যবহার না করলেও এটি অপ্রয়োজনীয় হবে।
অনুসরণ / NoFollow: অনুসন্ধান ইঞ্জিনগুলিকে ফলো / NoFollow ট্যাগ সহ যেকোনো পৃষ্ঠা অনুসরণ বা nofollow করতে বলা হয়। ফলো ট্যাগ দিলে সার্চ ইঞ্জিন বট সেই লিংক ফলো করবে অর্থাৎ লিংক জুস দিলে আর নোফলো ট্যাগ দিলে লিংক জুস পাস হবে না। সার্চ ইঞ্জিন স্বাভাবিকভাবেই সমস্ত পৃষ্ঠা অনুসরণ করে, তাই আপনি ফলো ট্যাগ ব্যবহার না করলেও, এটি অপ্রয়োজনীয় হবে।
নো আর্কাইভ: সার্চ ইঞ্জিনগুলিকে নো আর্কাইভ ট্যাগ দিয়ে বলা হয় যে কোনও পৃষ্ঠার ক্যাশে করা সংস্করণ কপি না করতে। সাধারণত, যখন একটি সার্চ ইঞ্জিন একটি পৃষ্ঠা ক্রল করে এবং সূচী করে, তখন এটি ক্যাশে করা সংস্করণের একটি অনুলিপি সংরক্ষণ করে যাতে ব্যবহারকারীরা ফলাফল পৃষ্ঠা থেকে পূর্ববর্তী সংস্করণটি অনুসন্ধান করতে এবং দেখতে পারে।
এখানে noindex এবং nofollow ট্যাগের একটি উদাহরণ রয়েছে:
<! DOCTYPE html>
<html>
<head>
<মেটা নাম = "রোবট" সামগ্রী = "noindex, nofollow" />
</head>
<body> </body>
</html>
আবার, আপনি যদি কোনো নির্দিষ্ট পৃষ্ঠা বা লিঙ্কের জন্য সার্চ ইঞ্জিন বটকে nofollow করতে চান, তাহলে নিচের নির্দেশাবলী অনুসরণ করুন।
<a href = ”example” rel = ”nofollow”> সাইন ইন করুন
এক্স-রোবট-ট্যাগ
X-Robot-tag URL-এর HTTP হেডারে ব্যবহৃত হয়। এটি মেটা ট্যাগের চেয়ে বেশি নমনীয়তা এবং কার্যকারিতা প্রদান করে। আপনি সার্চ ইঞ্জিন ব্লক করতে চান, আপনি প্রচলিত HTML ট্যাগ ব্যবহার করতে পারেন. এবং যদি আপনি একটি নন-এইচটিএমএল ফাইল বা ফোল্ডার ব্লক করতে চান তবে এক্স-রোবট-ট্যাগ ব্যবহার করুন।
উদাহরণস্বরূপ: ধরুন আপনি একটি ফাইল বা ফোল্ডার ব্লক করতে চান (example.com/no-bake/old-recipes-to-noindex)।
<ফাইল"/? No - bake /। *”>
হেডার সেট X-Robots-Tag "noindex, nofollow"
</files>
অথবা একটি নির্দিষ্ট পিডিএফ ফাইল,
<ফাইল". pdf $”>
হেডার সেট X-Robots-Tag "noindex, nofollow"
</files>
ধন্যবাদ আমাদের Tech Shikun- টেক শিখুন ব্লগের সাথে থাকার জন্য। নিয়মিত প্রযুক্তি বিষয়ক বিভিন্ন গুরুত্বপূর্ণ আর্টিকেল পেতে আমাদের সাথেই থাকবেন আশা করি। আর হ্যাঁ এই আর্টিকেলটি যদি আপনার ভালো লেগে থাকে তাহলে অবশ্যই কমেন্ট করে জানাবেন এবং আপনার বন্ধুদের সাথে শেয়ার করবেন।
Tags: এসইও কি,এসইও কিভাবে শিখবো,এসইও শিখতে কতদিন লাগে,এসইও মার্কেটিং,এসইও এর গুরুত্ব,এসইও এক্সপার্ট,এসইও কোর্স,এসইও অডিট কি,এসইও অপটিমাইজড,অনপেজ এসইও,অফপেজ এসইও কি,অনলাইন এসইও,অনপেইজ এসইও,অর্গানিক এসইও,অফপেজ এসইও,এসইও ফ্রেন্ডলি আর্টিকেল,এসইও ইন্টারনেট,এসইও সার্চ ইঞ্জিন অপটিমাইজেশন,এসইও এর কাজ কি,এসইও এর প্রকারভেদ,এসইও এর প্রয়োজনীয়তা,এসইও টিউটোরিয়াল,এসইও ওয়েবসাইট, এসইও কিভাবে করে, এসইও কিভাবে করতে হয়