Home Assistant Накопичення досвіду

[FOX.kissfm]

2 минуты назад, standov сказал:

не треба БД на HDD, ця історія була актуальна 10 років тому на маленьких ссд де були відповідно малі ресурси запису, на умовному 1тб ссд TLC ресурсу запису для інфлюкса в домашньому використанні вистачить на 100 років. ВД ред 1тб має ресурс 600тб, ви ніколи не нагенерите інфлюксом стільки даних від будинку. 

Дякую, ви мене заспокоїли, а то вже щось засіпався від можливості заміни ССД кожен рік )

 

3 минуты назад, standov сказал:

я зараз зберігаю 2 роки, колись зберігав взагалі без обмежень але як перейшов на проксмокс то обмежив на 2 роки. Але в мене в ОХ в інфлюкс льється не все підряд а десь мабуть сотня метрік, більшість з них  з полісі (1 хвилина + при змінах), використано диска показує біля 4г, але там 1г на ось бо там на дебіані контейнер. 2 роки як на мене зручно дивитися "що було минулою зимою", теоретично 1 рік теж можна але тоді не вийде подивитися 2 зими "повністю"

А це в ОХ десь в конфігах налаштовується - правила, що віддавати в БД?

[standov]

1 минуту назад, FOX.kissfm сказал:

А це в ОХ десь в конфігах налаштовується - правила, що віддавати в БД?

так, в опенхабі налаштовується. як в ХА не скажу бо я не такий прошарений в ньому, але думаю теж має бути шось аналогічне

в ох (в мене) то виглядає так
 

Strategies {
    everyMinute   : "0 * * * * ?"
    every5Minutes : "0 */5 * * * ?"
    everyHour     : "0 0 * * * ?"
    everyDay      : "0 0 0 * * ?"

    //default = every5Minutes
}

Items {
    FCSOLAR* : strategy = restoreOnStartup, forecast

    gPersist* : strategy = everyChange, restoreOnStartup
    gStatus* : strategy = everyChange, restoreOnStartup
    gElectricity* : strategy = everyChange, everyMinute, restoreOnStartup
    gGas* : strategy = everyChange, every5Minutes, restoreOnStartup
    gHVAC* : strategy = everyChange, everyMinute, restoreOnStartup
    gSecurity* : strategy = everyChange, everyMinute, restoreOnStartup
    gWaterSupply* : strategy = everyChange, everyMinute, restoreOnStartup
    gWeather* : strategy = everyChange, everyMinute, restoreOnStartup

    gLog* : strategy = everyChange, everyMinute
    gAlerts* : strategy = everyChange, restoreOnStartup
    gAutomation* : strategy = everyChange, restoreOnStartup
    gAutoManager* : strategy = everyChange, restoreOnStartup
}

тобто всі айтеми з відповідних груп мають зазначені полісі.
 

[standov]

26 минут назад, FOX.kissfm сказал:

Бо я скільби бачу конфігів - то всі ставлять параметр

  purge_keep_days: 7
  auto_purge: true

я так думаю що це йде від використання говно-маліни )

[standov]

5 минут назад, FOX.kissfm сказал:

а то вже щось засіпався від можливості заміни ССД кожен рік )

головне не купляти фейкові китайські, в мене з usff колись йшов "в комплекті" ssd sundisk і він в мене за пару років "посипався", затягнув за собою все. Коли я потім повивчав то виявилося що там від сану лише наліпка, а так це китайський підвал ляо

[FOX.kissfm]

Только что, standov сказал:

оловне не купляти фейкові китайські, в мене з usff колись йшов "в комплекті" ssd sundisk і він в мене за пару років "посипався", затягнув за собою все. Коли я потім повивчав то виявилося що там від сану лише наліпка, а так це китайський підвал ляо

так, китайським компам також не довіряю.

[standov]

5 минут назад, FOX.kissfm сказал:

так, китайським компам також не довіряю.

ну компи мабуть простіше, бо по ссд вони беруть биті ссд за 3 копійки, випаюють з них ще живі чипи та пересобирають з 2-3штук битих роблять 1робочий. і проблема в тому що ті чипи хоч і живі але вже так само зношені просто ще не фатально. і воно типу живе але не довго і не прогнозовано

Змінено 26 лютого користувачем standov

[mib]

17 минут назад, standov сказал:

я так думаю що це йде від використання говно-маліни )

Я храню 3 дня больше связано с размером базы она в таком варианте у меня 1,5 гб, бекапы делаются на гугл диск а там всего 15гб, а размер бекапа получается в таком варианте 500-600 гб

Но в длинной усредненной статистике за 1 час ХА хранит бесконечно

[standov]

2 минуты назад, mib сказал:

Я храню 3 дня больше связано с размером базы она в таком варианте у меня 1,5 гб, бекапы делаются на гугл диск а там всего 15гб, а размер бекапа получается в таком варианте 500-600 гб

Но в длинной усредненной статистике за 1 час ХА хранит бесконечно

о_о а скільки ж там метрик що 1.5 за 3 дні?? чи ХА туди якихось додаткових тегів ліпить без міри? чи ви раз в секунду пишете?

Змінено 26 лютого користувачем standov

[standov]

1.5тб на 3 дні в мене вийшло 300+ кб даних в хвилину, це прям ну хз чо так багато. Чи це розмір самого контейнера? типу 1.4 під ось і 0.1 під дані?)

Змінено 26 лютого користувачем standov

[mib]

4 минуты назад, standov сказал:

о_о а скільки ж там метрик що 1.5 за 3 дні?? чи ХА туди якихось додаткових тегів ліпить без міри? чи ви раз в секунду пишете?

У меня по умолчанию вроде это раз в 30 секунд, а так просто много сущностей один инвертор штук 300 пишет проксмокс пару сотен и всякие там счетчики

Я сначала пошел по пути запретив все и каждую сущность отдельно разрешал, потом чего то нужного не увидел так как забыл, в итоге разрешил все что есть и просто сократил время хранения полной статистики, меня в целом такой вариант устраивает

А еще пробовал вариант все хранить дефолтно 10 дней но автоматизацией чистить маловажное за 3 дня но тоже быстро устал добавлять туда сущеости

В итоге оно так как то работает и в целом меня устраивает, плюс храню сейчас бекапы за последних 10 дней на гуглдиске

[mib]

3 минуты назад, standov сказал:

1.5тб на 3 дні в мене вийшло 300+ кб даних в хвилину, це прям ну хз чо так багато. Чи це розмір самого контейнера? типу 1.4 під ось і 0.1 під дані?)

Контейнеру выделено 32 гб без бекапов он окого 6 гб с бекапами до 15

[standov]

2 минуты назад, mib сказал:

в итоге разрешил все что есть и

а, ну тоді може хз. А в ХА нема такого як в ОХ, робиш групу з полісі і просто що треба до неї приєднуєш? бо триста від лише інвертора це пояснює звісно, в мене від інвертора мабуть з десяток пишеться. 

Змінено 26 лютого користувачем standov

[mib]

Только что, standov сказал:

а, ну тоді може хз. А в ХА нема такого як в ОХ, робиш групу з полісі і просто що треба до неї приєднуєш? бо триста від лише інвертора це пояснюю звісно, в мене від інвертора мабуть з десяток пишеться. 

Там можно в рекодере исключать/добавлять группами

Вот сейчас глянул у меня 148 устройств у них сейчас включено 1107 объектов (я у розеток выключил замер напряжения и ампер оно спамило безбожно) и 71 вспомогательное это всякие там счетчики день/ночь

Надо бы конечно сесть почистить лишнее но пока оно не мешает то и ладно

[mib]

Jk bms еще много пишет там же куча ячеек напряжений и состояний

[standov]

2 минуты назад, mib сказал:

Jk bms еще много пишет там же куча ячеек напряжений и состояний

а воно по дефолту пише все? бо в ох логіка зворотня, нічо не пишеться доки ти сам не дозволиш, відповідно я не пишу то що мені не потрібно для якихось історичних правил або аналізу

[mib]

3 минуты назад, standov сказал:

а воно по дефолту пише все? бо в ох логіка зворотня, нічо не пишеться доки ти сам не дозволиш, відповідно я не пишу то що мені не потрібно для якихось історичних правил або аналізу

по дефолту пишет все но в рекодере можно все запретить и потом разрешать то что нужно

но если к примеру у розеток я знаю что мне нужно мощность и потребление то у инвертора для какой то там диагностики я не знаю что мне может понадобится так же у бмс если что то пойдет не так можно будет увидеть когда и что поэтому пишу все

раньше у меня еще были составные счетчики это грубо говоря сумма потреблений всех розеток и релюшек, это была самая большая сущность в базе, сейчас эту функцию выполняет инвертор, соотвественно это я удалил и оно стало чуть меньше, но котел считает отдельный счетчик

поесть можно сделать как Алекс Квази убрать все и добавить пару десятков датчиков и база будет до 100 мб

[standov]

зрозумів. в мене є спеціальна група gLog, коли мені шось треба діагностичне "тимчасове", я айтем додаю в неї, чекаю годину/добу дивлюся що там мені треба а потім прибираю його з групи

[Enot123h]

Подивився, N100 для своїх 10 Вт дуже бодр та весел. Особливо в порівнянні з моїм с-70, на якому навіть віртуалку не ризикнув запускати. Почав пускати слину, віддам кредит за соняшні панелі - апгрейднусь, може і на щось швидше, по документації н100 16 ГБ ОЗП макс, але з 32 пишуть працює, а хочеться 64-128 Гб. Поки ZFS + samba + transmission у контейнері тягне і запас ще є.

www.cpubenchmark.net/compare/1817vs5157vs3715/AMD-C-70-APU-vs-Intel-N100-vs-AMD-Ryzen-3-3100

[mib]

2 минуты назад, Enot123h сказал:

але з 32 пишуть працює

я на редит встречал что и 48 вроде ставили и тоже с ней работает

но планка 32 стоит как половина моего  soyo m2 plus2

а мне как раз 16 стало маловато, в тех случаях когда винду в ВМ запускал, в итоге жаба душила гадюку и купил просто еще один soyo

но к этому времени уже купил 4 юсб диска

если бы вернуться назад то наверно купил бы плату с н100 которая у них как nas позиционируется с 6ю sata

с другой стороны при наличии солнечной станции какая там уже разница сколько оно потребляет

[Enot123h]

10 минут назад, mib сказал:

в итоге жаба душила гадюку и купил просто еще один soyo

Так можна і до кластера куба чи вмваре докотитися, з окремим сховищем iSCSI з 10G сіткою, щоб віртуалки прозоро мігрували між нодами

Ще б кеш з PCIe SSD у strip raid

root@db-server-2-3:/# dd if=/dev/zero of=/var/lib/clickhouse/test1.img bs=1G count=1 oflag=dsync
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.15113 s, 933 MB/s 😋

Змінено 26 лютого користувачем Enot123h

[mib]

3 минуты назад, Enot123h сказал:

Так можна і до кластера куба чи вмваре докотитися, з окремим сховищем iSCSI з 10G сіткою, щоб віртуалки прозоро мігрували між нодами

в феврале мне жена уже не разрешает

 

[standov]

8 минут назад, Enot123h сказал:

з окремим сховищем iSCSI з 10G сіткою, щоб віртуалки прозоро мігрували між нодами

проксмокс кластер + ceph. нащо вам ті пропрієтарні рішення )

22 минуты назад, Enot123h сказал:

а хочеться 64-128 Гб

а якщо не секрет, нащо? ну тобто які задачі вдома на "сервері" (на ноутів мене в самого 64 :)) вимагають стільки? зфс на 12тб чудово себе відчуває на 16, ну хочеться прям по канонам ну хай 32. Але що ще?

Змінено 26 лютого користувачем standov

[standov]

23 минуты назад, Enot123h сказал:

oflag=dsync

а в чому прикол? ну тобто ви dd тестуєте спеціально під якісь задачі? 

[Enot123h]

12 часов назад, standov сказал:

а в чому прикол? ну тобто ви dd тестуєте спеціально під якісь задачі? 

Цікав був максімум, без буферизації трохи менше, але все одно швиденько 6048 Mb/s

Цитата

dd if=/dev/zero of=/var/lib/clickhouse/test3.bin bs=1G count=1 oflag=direct
1+0 records in
1+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 1.41976 s, 756 MB/s

 

13 часов назад, standov сказал:

а якщо не секрет, нащо?

Під лабу, але то я трохи загнув 32-64 вистачить щоб і кластер куба у віртуалках підняти, хоча це кілька разів на рік потрібно і можна у хмарі робити...
Короче N100 дісно оптимальний варіант по ціна/швидкодія/енергоспоживання

Не витримав заказав asrock N100M та 32 Гб ОЗП
Протестую, буду продавати asrock C70M1 з 8 ГБ ОЗП за 1000 грн, у роботі була пів року, може кому на NAS чи HA треба

Змінено 27 лютого користувачем Enot123h

[standov]

1 час назад, Enot123h сказал:

Цікав був максімум, без буферизації трохи менше, але все одно швиденько 6048 Mb/s

Dsync жеж дуже специфічна синтетична історія, яка у випадку hdd ще і дуже забавно працює (шоб не сказати криво), воно наприклад "чекає" оберт диска щоб головка потрапила в ту саму точку запису. Мені не дуже понятно що в реальному житті демонструє самк цей режим ) він фактично обходить буфер диска, який призначений нівелювати нюанс геометрії і фізики. Воно може має якийсь сенс у випадку ssd (безбуферний режим) але не hdd, Імхо ткстування в oflag=direct, у іипадку hdd, значно більш реалістичний тест швидкості без кешей ос, я більше про це.