Apache Kafka یک کارگزار پیام توزیع شده محبوب است که برای مدیریت حجم زیادی از داده های زمان-واقعی طراحی شده است. خوشه کافکا بسیار مقیاس پذیر و دارای تحمل خطا است و همچنین نسبت به سایر واسطه های پیام مانند ActiveMQ و RabbitMQ از توان بسیار بالاتری برخوردار است. اگرچه معمولاً از آن به عنوان یک سیستم پیام رسان انتشار / اشتراک استفاده می شود ، بسیاری از سازمان ها نیز از آن برای جمع آوری ورود به سیستم استفاده می کنند زیرا فضای ذخیره سازی مداوم را برای پیام های منتشر شده ارائه می دهد.
یک سیستم پیام رسانی انتشار / اشتراک به یک یا چند تولید کننده اجازه می دهد پیام ها را بدون در نظر گرفتن تعداد مصرف کنندگان یا نحوه پردازش پیام ها منتشر کنند. متقاضیان دارای اشتراک در مورد به روزرسانی ها و ایجاد پیام های جدید بطور خودکار مطلع می شوند. این سیستم نسبت به سیستم هایی که مشتری ها بطور دوره ای در مورد آن نظرسنجی می شوند تا مشخص شود که آیا پیام های جدید در دسترس است یا خیر، بسیار کارآمدتر و مقیاس پذیر است.
در این آموزش ، Apache Kafka 2.1.1 را به صورت ایمن روی سرور Debian 10 نصب و پیکربندی می کنید ، سپس با تولید و استفاده از یک پیام Hello World راه اندازی خود را تست می کنید. سپس می توانید KafkaT را به صورت اختیاری برای نظارت بر کافکا نصب کنید و یک خوشه چند گره کافکا را تنظیم کنید.
پیش نیازها
برای دنبال کردن ، به موارد زیر نیاز خواهید داشت:
یک سرور Debian 10 با حداقل 4 گیگابایت رم و یک کاربر غیر ریشه با امتیازات سودو. در صورتی که کاربر غیر ریشه تنظیم نکرده اید، مراحل ذکر شده در راهنمای راه اندازی سرور اولیه برای Debian 10 را دنبال کنید.
OpenJDK 11 روی سرور شما نصب شده است. برای نصب این نسخه ، دستورالعمل های نصب Java را با Apt در Debian 10 در مورد نصب نسخه های خاص OpenJDK دنبال کنید. کافکا در جاوا نوشته شده است ، بنابراین به JVM نیاز دارد.
توجه: نصب های بدون رم 4 گیگابایتی ممکن است باعث شود سرویس کافکا از کار بیفتد، در حالی که دستگاه مجازی جاوا (JVM) در هنگام راه اندازی یک استثناء Out Of Memory را به همراه داشته باشد.
مرحله 1 – ایجاد کاربر برای کافکا
از آنجا که کافکا می تواند درخواست ها را از طریق شبکه انجام دهد ، بهترین کار برای ایجاد یک کاربر اختصاصی برای آن است. در صورت به خطر افتادن سرور کافکا ، این کار آسیب به دستگاه Debian شما را به حداقل می رساند. در این مرحله شما کاربر اختصاصی کافکا را ایجاد خواهید کرد.
به عنوان کاربر sudo غیر ریشه خود وارد شوید ، با دستور useradd کاربري بنام kafka بسازید:
sudo useradd kafka -m
فلگ -m تضمین می کند که یک هوم دیرکتوری برای کاربر ایجاد می شود. این هوم دیرکتوری، / home / kafka ، بعداً به عنوان دیرکتوری فضای کاری شما برای اجرای دستورات عمل خواهد کرد.
رمز عبور را با استفاده از passwd تنظیم کنید:
sudo passwd kafka
رمز عبوری را که می خواهید برای این کاربر استفاده کنید وارد کنید.
در مرحله بعدی ، کاربر کافکا را با دستور adduser به گروه سودو اضافه کنید ، تا امتیازات لازم برای نصب وابستگی کافکا را داشته باشد:
sudo adduser kafka sudo
کاربر kafka شما اکنون آماده است. با استفاده از su وارد این حساب شوید:
su -l kafka
اکنون که کاربر اختصاصی کافکا را ایجاد کرده اید ، می توانید به دانلود و استخراج باینری های کافکا بروید.
مرحله 2 – دانلود و استخراج باینری های کافکا
در این مرحله، باینری های کافکا را در پوشه های اختصاصی در دیرکتوری هوم کاربر kafka خود دانلود و اکسترکت می کنید.
برای شروع ، دایرکتوری را در / home / kafka با نام Downloads برای ذخیره دانلودهای خود ایجاد کنید:
mkdir ~/Downloads
در مرحله بعدی، حلقه را با استفاده از apt-get نصب کنید تا بتوانید فایلهای از راه دور را دانلود کنید:
sudo apt-get update && sudo apt-get install curl
در صورت درخواست، Y را تایپ کنید تا دانلود curl را تأیید کنید.
پس از نصب Curl ، از آن برای دانلود باینری های کافکا استفاده کنید:
curl “https://archive.apache.org/dist/kafka/2.1.1/kafka_2.11-2.1.1.tgz” -o ~/Downloads/kafka.tgz
دایرکتوری به نام kafka ایجاد کنید و به این فهرست تغییر دهید. این دایرکتوری پایه نصب کافکا خواهد بود:
mkdir ~/kafka && cd ~/kafka
با استفاده از دستور tar ، آرشیوی را که دانلود کرده اید استخراج کنید:
tar -xvzf ~/Downloads/kafka.tgz –strip 1
شما فلگ –strip 1 را برای اطمینان از استخراج محتوای بایگانی در ~ / kafka / و نه در دیرکتوری دیگری در داخل آن ، مانند ~ / kafka / kafka_2.12-2.1.1 / مشخص کرده اید.
اکنون که باینری ها را با موفقیت دانلود و استخراج کرده اید ، می توانید پیکربندی کافکا را انجام دهید تا امکان حذف موضوع فراهم شود.
مرحله 3 – پیکربندی سرور کافکا
رفتار پیش فرض کافکا به ما اجازه نمی دهد تا عنوان، دسته بندی، گروه یا نام فید را برای انتشار پیام ها حذف کنیم. برای تغییر این، پرونده پیکربندی را ویرایش می کنید.
گزینه های پیکربندی کافکا در server.properties مشخص شده است. این پرونده را با nano یا ویرایشگر مورد علاقه خود باز کنید:
nano ~/kafka/config/server.properties
بیایید تنظیماتی را اضافه کنیم که به ما امکان حذف عناوین کافکا را می دهد. خط هایلایت شده زیر را در زیر فایل اضافه کنید:
~/kafka/config/server.properties
…
group.initial.rebalance.delay.ms
delete.topic.enable = true
فایل را ذخیره کنید و از nano خارج شوید. اکنون که Kafka را پیکربندی کرده اید، می توانید برای راه اندازی و فعال کردن کافکا در هنگام راه اندازی فایل های واحد systemed ایجاد کنید.
مرحله 4 – ایجاد فایلهای واحد سیستمی و راه اندازی سرور کافکا
در این بخش فایلهای واحد سیستمی برای سرویس کافکا ایجاد می کنید. این به شما کمک می کند تا خدمات متداول مانند شروع، متوقف کردن و راه اندازی مجدد کافکا را به روشی سازگار با سایر سرویس های لینوکس انجام دهید.
ZooKeeper سرویسی است که کافکا برای مدیریت وضعیت و تنظیمات خوشه ای از آن استفاده می کند. معمولاً در سیستم های توزیع شده به عنوان یک جزء اساسی مورد استفاده قرار می گیرد. در این آموزش از Zookeeper برای مدیریت این جنبه های کافکا استفاده خواهید کرد. اگر تمایل دارید اطلاعات بیشتری در مورد آن بدانید ، به مطالب ZooKeeper رسمی ما مراجعه کنید.
ابتدا فایل واحد را برای zookeeper ایجاد کنید:
sudo nano /etc/systemd/system/zookeeper.service
تعریف واحد زیر را در پرونده وارد کنید:
/etc/systemd/system/zookeeper.service
[Unit]
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
User=kafka
ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties
ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target
بخش [Unit] مشخص می کند که ZooKeeper به شبکه نیاز دارد و سیستم فایل قبل از شروع آن آماده است.
در بخش [Service] مشخص شده است که systemd برای شروع و متوقف کردن سرویس باید از پرونده های zookeeper-server-start.sh و zookeeper-server-stop.sh استفاده کند. همچنین مشخص می کند در صورت خارج شدن غیرطبیعی ، ZooKeeper باید به طور خودکار مجدداً راه اندازی شود.
در مرحله بعد، فایل سرویس systemd را برای kafka ایجاد کنید:
sudo nano /etc/systemd/system/kafka.service
تعریف واحد زیر را در پرونده وارد کنید:
/etc/systemd/system/kafka.service
[Unit]
Requires=zookeeper.service
After=zookeeper.service
[Service]
Type=simple
User=kafka
ExecStart=/bin/sh -c ‘/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1’
ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target
بخش [Unit] مشخص می کند که این فایل واحد به zookeeper.service بستگی دارد. این امر اطمینان می دهد که با شروع سرویس کافکا ، zookeeper به طور خودکار شروع می شود.
در بخش [Service] مشخص شده است كه systemd باید برای شروع و توقف سرویس از فایلهای پوسته kafka-server-start.sh و kafka-server-stop.sh استفاده كند. همچنین مشخص می کند در صورت خارج شدن غیر عادی ، کافکا باید به طور خودکار مجدداً راه اندازی شود.
اکنون که واحدها تعریف شده اند ، کافکا را با دستور زیر شروع کنید:
sudo systemctl start kafka
برای اطمینان از شروع موفقیت آمیز سرور ، گزارش های ژورنال را برای واحد kafka بررسی کنید:
sudo journalctl -u kafka
خروجی مشابه موارد زیر را مشاهده خواهید کرد:
Mar 23 13:31:48 kafka systemd[1]: Started kafka.service.
اکنون یک سرور کافکا روی درگاه 9092 دارید که درگاه پیش فرض برای کافکا است.
شما سرویس kafka را شروع کرده اید ، اما اگر می خواهید سرور خود را دوباره راه اندازی کنید ، هنوز به طور خودکار شروع نمی شود. برای فعال کردن kafka در بوت سرور ، این سرور را اجرا کنید:
sudo systemctl enable kafka
اکنون که سرویس ها را شروع و فعال کرده اید ، زمان آن رسیده است که نصب را بررسی کنید.
مرحله 5 – تست نصب
بیایید پیام Hello World را منتشر و استفاده کنیم تا مطمئن شویم که سرور کافکا به درستی رفتار می کند. انتشار پیام در کافکا به موارد زیر بستگی دارد:
تهیه کننده، که امکان انتشار سوابق و داده ها به عناوین را فراهم می کند.
مصرف کننده، که پیام ها و داده ها را از عناوین می خواند.
ابتدا با تایپ کردن دستور زیر عنوانی به نام TutorialTopic ایجاد کنید:
~/kafka/bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic TutorialTopic
می توانید با استفاده از اسکریپت kafka-console-producer.sh یک تهیه کننده از خط فرمان ایجاد کنید. این تهیه کننده نام میزبان ، پورت و نام عنوان سرور کافکا را به عنوان آرگومان میشناسد.
رشته Hello, World را با تایپ کردن دستور زیر برای عنوان TutorialTopic منتشر کنید:
echo “Hello, World” | ~/kafka/bin/kafka-console-producer.sh –broker-list localhost:9092 –topic TutorialTopic > /dev/null
فلگ – broker-list لیست کارگزاران پیام برای ارسال پیام به آن ها که در این مورد localhost: 9092 است را تعیین می کند. –topic موضوع را به عنوان TutorialTopic تعیین می کند.
در مرحله بعد ، می توانید با استفاده از اسکریپت kafka-console-consumer.sh یک مصرف کننده کافکا ایجاد کنید. انتظار می رود نام میزبان و پورت سرور ZooKeeper و نام تاپیک به عنوان آرگومان باشد.
دستور زیر از پیام های TutorialTopic استفاده می کند. توجه داشته باشید که از فلگ –from-beginning استفاده کنید که امکان استفاده از پیام هایی را که قبل از شروع مصرف کننده منتشر شده است ، فراهم کند:
~/kafka/bin/kafka-console-consumer.sh –bootstrap-server `localhost:9092` –topic TutorialTopic –from-beginning
–bootstrap-server لیستی از ورودی ها به خوشه کافکا را ارائه می دهد. در این حالت ، از localhost استفاده می کنید: 9092.
Hello, World را در ترمینال خود مشاهده خواهید کرد:
خروجی
Hello, World
این اسکریپت همچنان اجرا می شود و منتظر انتشار پیام های بیشتری برای موضوع خواهد بود. با خیال راحت یک ترمینال جدید باز کنید و یک تهیه کننده راه اندازی کنید تا چند پیام دیگر انتشار دهد. شما باید همه آنها را در خروجی مصرف کننده ببینید. اگر می خواهید در مورد نحوه استفاده از کافکا اطلاعات بیشتری کسب کنید ، به اطلاعات موجود در لینک کافکا رسمی مراجعه کنید.
وقتی آزمایش انجام شد ، CTRL + C را فشار دهید تا اسکریپت مصرف کننده متوقف شود. اکنون که نصب را آزمایش کرده اید ، می توانید برای اجرای بهتر خوشه کافکا ، به نصب KafkaT بروید.
مرحله 6 – نصب KafkaT (اختیاری)
KafkaT ابزاری از Airbnb است که مشاهده جزئیات مربوط به خوشه کافکا و انجام برخی کارهای اجرایی از خط فرمان را برای شما آسانتر می کند. از آنجا که این یک Ruby gem است ، برای استفاده از آن به Ruby نیاز خواهید داشت. برای ساختن سایر gemها که به آن بستگی دارد ، به بسته build-essential نیز احتیاج خواهید داشت. آنها را با استفاده از apt نصب کنید:
sudo apt install ruby ruby-dev build-essential
اکنون می توانید KafkaT را با استفاده از دستور gem نصب کنید:
sudo CFLAGS=-Wno-error=format-overflow gem install kafkat
گزینه CFLAGS = -Wno-error = format-overflow هشدارهای فرمت بیش از حد را غیرفعال می کند و برای gem ZooKeeper ، که وابسته به KafkaT است ، لازم میباشد.
KafkaT از .kafkatcfg به عنوان فایل پیکربندی برای تعیین نصب و ورود به فهرست سرورهای کافکا استفاده می کند. همچنین باید دارای ورودی باشد که KafkaT را به عنوان مثال ZooKeeper به شما نشان دهد.
یک فایل جدید با نام .kafkatcfg ایجاد کنید:
nano ~/.kafkatcfg
خطوط زیر را اضافه کنید تا اطلاعات لازم در مورد سرور کافکا و مثال Zookeeper خود را مشخص کنید:
~/.kafkatcfg
{
“kafka_path”: “~/kafka”,
“log_path”: “/tmp/kafka-logs”,
“zk_path”: “localhost:2181”
}
اکنون آماده استفاده از کافکا هستید. برای شروع ، در اینجا نحوه استفاده از آن برای مشاهده جزئیات مربوط به همه پارتیشن های کافکا آورده شده است:
kafkat partitions
خروجی زیر را مشاهده خواهید کرد:
Output
Topic Partition Leader Replicas ISRs
TutorialTopic 0 0 [0] [0]
__consumer_offsets 0 0 [0] [0]
…
این خروجی TutorialTopic و همچنین __consumer_offsets یک عنوان داخلی که توسط کافکا برای ذخیره اطلاعات مربوط به مشتری استفاده می شود ، نشان می دهد. با خیال راحت می توانید خطوط شروع شده با __consumer_offsets را نادیده بگیرید.
برای کسب اطلاعات بیشتر در مورد KafkaT ، به منبع GitHub آن مراجعه کنید.
اکنون که KafkaT را نصب کردید ، می توانید Kafka را به صورت اختیاری بر روی خوشه ای از سرورهای Debian 10 تنظیم کنید تا یک خوشه چند گره ایجاد شود.
مرحله 7 – تنظیم یک خوشه چند گره (اختیاری)
اگر می خواهید با استفاده از سرورهای Debian 10 بیشتر ، یک خوشه چند کاره ایجاد کنید، مرحله 1 ، مرحله 4 و مرحله 5 را روی هر یک از ماشین های جدید تکرار کنید. علاوه بر این، برای پرونده های ~ / kafka / config / server.properties تغییرات زیر را انجام دهید:
مقدار ویژگی broker.id را طوری تغییر دهید که در کل خوشه بی نظیر باشد. این ویژگی به طور منحصر به فرد هر سرور موجود در خوشه را مشخص می کند و می تواند هر رشته ای را به عنوان مقدار آن داشته باشد. به عنوان مثال ، “server1” ، “server2” و غیره ، به عنوان شناساگر مفید خواهند بود.
مقدار ویژگی zookeeper.connect را به گونه ای تغییر دهید که همه گره ها به همان مثال ZooKeeper اشاره کنند. این ویژگی آدرس نمونه ZooKeeper را مشخص می کند و از قالب <HOSTNAME/IP_ADDRESS>:<PORT> پیروی می کند. برای این آموزش ، شما از your_first_server_IP: 2181 استفاده خواهید کرد و your_first_server_IP را با آدرس IP سرور Debian 10 که قبلاً تنظیم کرده اید جایگزین کنید.
اگر می خواهید چندین نمونه ZooKeeper برای خوشه خود داشته باشید ، مقدار ویژگی zookeeper.connect در هر گره باید یک رشته یکسان با کاما باشد که در آن آدرس های IP و شماره پورت همه موارد ZooKeeper را نشان می دهد.
توجه: اگر یک فایروال دارید که روی سرور Debian 10 با نصب Zookeeper فعال شده است ، حتما پورت 2181 را باز کنید تا اجازه ورود از سایر گره های خوشه را دریافت کنید.
مرحله 8 – محدود کردن کاربر کافکا
اکنون که تمام مراحل نصب انجام شده است ، می توانید امتیازات ادمین کاربر kafka را حذف کنید. قبل از انجام این کار ، مانند هر کاربر سودو غیر ریشه خارج شوید و دوباره وارد سیستم شوید. اگر هنوز همان بخش شل را اجرا می کنید که این آموزش را با آن شروع کرده اید ، فقط exit تایپ کنید.
کاربر کافکا را از گروه سودو حذف کنید:
sudo deluser kafka sudo
برای بهبود بیشتر امنیت سرور کافکا ، رمزعبور کاربر kafka را با استفاده از دستور passwd قفل کنید. این اطمینان می دهد که هیچ کس نمی تواند با استفاده از این حساب به طور مستقیم وارد سرور شود:
sudo passwd kafka -l
در این مرحله فقط کاربر root یا یک کاربر sudo می توانند با وارد کردن دستور زیر به عنوان kafka وارد شوند:
sudo su – kafka
در آینده اگر می خواهید قفل آن را باز کنید ، از passwd با گزینه -u استفاده کنید:
sudo passwd kafka -u
شما اکنون با موفقیت امتیازات ادمین کاربری kafka را محدود کرده اید.
نتیجه
اکنون Apache Kafka به طور ایمن روی سرور Debian شما اجرا شده است. شما می توانید با ایجاد تهیه کنندگان و مصرف کنندگان از بین مشتری های کافکا ، که برای اکثر زبان های برنامه نویسی در دسترس است، از آن در پروژه های خود استفاده کنید. برای کسب اطلاعات بیشتر در مورد کافکا، همچنین می توانید با آپاچی کافکا مشورت کنید.
پاسخ ها