タグ: linux

kubernetesにelasticsearchを導入するのでドハマリ

helmの標準リポジトリからインストールしたら成功したけど、elasticsearchが6.7までしか導入できないので、metrics-beatが動作しない。



helm install elastic/elasticsearch \

      –name elasticsearch \

      –set client.replicas=3 \

      –set master.replicas=3 \

      –set master.persistence.storageClass=local-storage \

      –set master.persistence.size=8Gi \

      –set data.replicas=3 \

      –set data.persistence.storageClass=local-storage \

      –set master.podDisruptionBudget.minAvailable=2 \

      –set cluster.env.MINIMUM_MASTER_NODES=2 \

      –set cluster.env.RECOVER_AFTER_MASTER_NODES=2 \

      –set cluster.env.EXPECTED_MASTER_NODES=2 \

      –set client.serviceType=LoadBalancer \

      –namespace elasticsearch

で、色々ググったらelastic社の公式リポジトリを使えば7.2も導入できるっぽい。


helm repo add elastic https://helm.elastic.co

で、StorageClassの指定方法が判らず2時間ほど悪戦苦闘して、以下のようにすればいけることが判明。


helm install elastic/elasticsearch –name=elasticsearch –namespace=elasticsearch –set volumeClaimTemplate.storageClassName=local-storage

kibanaは特に問題なし


helm install elastic/kibana –name kibana –namespace kibana –set service.type=LoadBalancer –set elasticsearchHosts=http://elasticsearch-master.elasticsearch:9200/

これで、コンテナは簡単とか言わないでほしいな。

By PC 、、、、コメントする

fluentdにハマり中

haproxyのアクセスログをfluentdに食わせるところでドハマリ中。haproxyのログが変な形式だしrsyslog経由だしIPv6だしrubyの正規表現あんまり詳しく知らないので何度やってもparseに失敗してエラー吐く。ちゃんとfluentdを調べないと。。。

By PC 、、コメントする

どこにでもある逸般の誤家庭のk8s

今まで仮想化といえばkvm+virshで仮想マシンを増殖させていたんですが、そろそろアプリ増える度に仮想マシン作るのも効率悪いというか仮想マシン増えすぎで管理が億劫になってきたのと、いい加減コンテナ仮想化のお勉強もしないと思い始めてきたのでk8sを導入。といっても導入しただけなメモ。

Nodeは、とりあえずMaster兼Node×3＋Node×1でコンテナホストはCentOS7.6-x86。kubesprayで設定をバラ巻いたんだけどかなり色々ハマった。コンテナエンジンは、Docker嫌いなのでcri-oを採用。

ハマリどころ1:余計な物は導入しない

kubesprayで導入する場合は、コンテキストにDocker/etcd/flannel/weave/cri-o/kubeletはyumリポジトリも含めて導入しない。入っていたらアンインストールしないと、kubesrayでばら撒いた設定と思いっきり競合する。しかも競合して動かない理由やログはansibleの実行結果から読み解くのは至難の業。

ハマリどころ2:SELinux, Firewalldはオフに

SELinuxは推奨されていない＆kubesprayのplaybookで無効化してくれると思いきやAnsibleが途中で止まる。Firewalldも動いているとWarningが出て途中までは導入できるけど、flannelやweaveが導入された後に設定される仮想I/FがFirewalldに止められるので事前にそれも含めて許可設定しておくか無効にしておいて後から設定のほうが良さげ。

ハマリどころ3:Pythonのバージョンが酷い

CentOSに導入されているAnsibleは2.7.5でPython2.7.5をデフォルトで使おうとするけど、hosts.iniを自動生成するinventory.pyはPython 3.xを要求する。CentOS標準の3.4とepelにある3.6のいずれかなんだけど3.6にはraumel-yamlが必要なのにsubesprayのrequiements.txtにはraumel-yamlがない。そして、公式ドキュメントにあるhosts.iniはエラーが出て生成してくれずissueを見るとhosts.yamlを生成しろと書いてる。hosts.yamlは生成できたけど、cluster.ymlのPlaybookを実行するためのAnsibleで使うraumel-yamlだとやはり動かない。結局、サンプルを参考に手動でhosts.iniを作成してkubesprayのcluster.ymlのplaybookを実行。

他にもcri-oだとkubesprayのnode追加(scale)や削除(remove)が対応していないとか制約があるとか、コンテナ内からどうも名前解決が微妙な挙動をしているとか、Storageが未構成だとか、とりあえずdashboardが動く状態までは持って行けたけど、あと2～3回試行錯誤しながら作り直して設計をちゃんと考えないと仮想マシンを移植するのは非常に怖い。

 

By PC, taruki.com 、、、、

Network構成悩み中

Network構成をどう見直すか悩み中。
現在は、以下のIntranetとDMZの2つのVLANを運用していて、サーバーはOpenvSwitch+TagVLANにしているけど、いくつか問題あり。

問題その1:Debainのパッケージ更新でちょくちょくOpenvSwitchがちゃんと構成されなくなる

リモートからでは手も足も出なくなるので、ローカルのインターフェースは持っておきたい

問題その2:サーバー側は全部同じNICを通るので、ネットワークが切れたらDRBD+PacemakerでSplitBrainが発生する

なので物理的に別のバックアップ用LANは持っておきたいけど、10GBのSwitchを増やすお金も要件もないので、1GBにしておきたい

現状はこんな感じ。

で、色々考えた結果これで良いんじゃね？と思った。macvtapなのでホスト⇔ゲスト間は通信できないけど、非常用にホスト同士が通信できて、ゲスト同士のDRBDのバックアップネットワークになるので冗長性も確保できそう。IPv6のLinkLocalで通信できれば良いからIPアドレス割り当ても不要だしこれで良いんじゃね？

By PC 、

DRBD9とlinstorのメモ

drbdmanageがすっごく不安定なので、linsotrを試してみたメモ。
基本は、3Ware社のドキュメント通りで大丈夫だけど、ビルド部分でドハマリした。
LINBITのGitリポジトリから、drbd-9.0,linstor-server,linstor-client,linstor-api-py,drbd-utilsを取得して、dpkg-buildpackage -bでビルド。masterブランチから直接ダウンロードするとビルドエラーになるし、linbit社のDownloadページからtarballをダウンロードするとdebianディレクトリがなくパッケージが作れないので、リリースタグの付いているブランチを取得する。
(これでめっちゃハマった)
依存関係は逐次潰しながらインストールしていった時のログを残してなかったけど、busterにあるパッケージをaptするだけで基本OK。
パッケージをaptでインストールしたら、drbd.service, linstor-controller.service, linstor-satellite.serviceがsystemdに登録されるので、enable化とstartを行う。



# VG作成

vgcreate drbdpool /dev/vdb1

# LV作成

lvcreate –thin -L 15G drbdpool/thinPool

# node登録

linstor node create testvm [IPアドレス]

# Storage Pool登録

linstor storage-pool create lvmthin testvm testpool drbdpool/thinPool

# Resource登録(確認コマンドは、resource listじゃなくて、resource-definition list)

linstor resource-definition create testResource

# Volume登録(確認コマンドは、volume listじゃなくて、volume-definition list)

linstor volume-definition create testResource 2G

# 登録したResourceの作成(–auto-place 1は、冗長化なし)

linstor resource create testResource –auto-place 1

その後、snapshotを実行したらカーネルが刺さったwww
KernelのLVM周りで完全に応答がなくなるので、busterのKernelかLVM2が怪しいような気がする。
DRBDのSnapshotが不安定なら、zfsとかbtrfsのSnapshotで対応するしかないか。

使う時は、「/dev/drbd/by-res/testResource/0」もしくは、「/dev/drbd1000」だけど前者の方が分かり易そう。
実際に、マウントしたりして使用中になったら、こんな風に見える。



linstor resource list

lqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqk

x ResourceName x Node   x Port x Usage x    State x

tqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqu

x testResource x testvm x 7000 x InUse x UpToDate x

mqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqj

drbdadm status

testResource role:Primary

  disk:UpToDate

By PC 、、、