Mr. D

VMware вигадали VMFS, яка достатньо ефективна і є невід'ємною частиною інфраструктури VMware. Якщо є ресурси, вважаю, є сенс оптимізувати файлову систему під потреби. Відновлення даних с кожним роком стає все складнішим й складнішим. Та вже деякий час не має ніякого сенсу на фоні ціни одного умовного TiB.

Що ж цікава тема. Тоді продовжимо. Block device - це як HDD, так й SSD, які під'єднані до комп'ютера в більшості випадків. Операційна система за допомогою або свого kernel або якихось додаткових програм працює з HDD та SSD використовуючи LBA, тобто просто вказуючи які блоки LBA треба прочитати, а які треба записати. Напишу ще раз, що ні HDD, ні SSD нічого не знає про файлову систему, яку використовує операційна система або інша програма, яка працює з HDD\SSD як з block device'ом. Мені здається, з цим вже всі погодились в цій темі. Які є прикладі file device'ів або file інтерфейсів. Це NFS різних видів, SMB різних видів, можливо, S3, також Apple щось своє має на цей рахунок. Й ось це називають file-інтерфейсами. Але до теми CMR HDD та SMR HDD це не має відношення, очевидно, що iSCSI - це block over IP. Далі про TRIM. Це команда, яку застосовує host для того, щоб повідомити програму керування HDD або SSD, а фактично block device, про те що деякий LBA range вже не потрібен операційній системі або, скажімо, host'у. Навіщо виробники додали таку функцію? Це пов'язано з тим, як саме працює пристрій зберігання типу NAND (саме цей вид storage device'ів частіше за все називають SSD, але ж це може бути й NOR). NAND технологічно має можливість записати одночасно тільки відносно великий block, а це значить у разі модифікації лише одного біта в блоці потрібно весь блок прочитати, модифікувати біт й далі записати. Дещо довго, блоків багато, не дуже ефективно. Дуже зручно коли транслятор пристрою збереження даних все ж додатково знає, які логічні LBAs вже непотрібні, тоді й оптимізувати\дефрагментувати дані буде дещо ефективніше, чим програма керування SSD й займається "в вільний від роботи час". Продовжуємо. А чи не схоже технологічне обмеження SSD на технологічне обмеження SMR HDD, які мають замість блоків великі стрічки? Так, це і є те ж саме фактично. Тому SMR HDD розуміють TRIM, який допомагає оптимізувати запис, який є технологічним обмеженням технології SMR (й зовсім не потрібно на цьому етапі розуміти, що track'и запису дещо перекриваються, точніше written track та read track мають різну ширину). Тому SMR HDD (програма керування таким HDD) фактично знає які блоки не потрібні, далі в cache збирається нова стрічка й записується відносно швидко. Й у разі NVR цього достатньо для нормальної роботи NVR. Але давайте для прикладу візьмемо NAS. NAS з одного боку працює з block-пристроями (мені, наприклад, зручно працювати з ZFS), а з іншого боку (з боку користувачів) працює як "файл" (SMB Opportunistic Locks обговорювати не будемо). Тому я роблю висновок, що немає принципової різниці для NVR HDD має CMR або SMR write technology. Для ще більшої страховки можливо використовувати на SMR HDD не 100% простору, а менше, щоб була можливість ефектично формувати стрічки. Але це лише моя здогатка, яка в чомусь походить від принципу роботи деяких SSD. NAS одночасно може вирішити видалити блоки в різних місцях диску, що у разі послідовного запису має меншу ймовірність (тобто видалення одного великого файлу (або кількох), які одночасно потрапили в кілька стрічок та навряд розкидані по всім SMR стрічкам). Тепер про Hikvision. Немає в мене підтвердження, яка файлова система розгорнута на HDD. Хоч я й можу під'єднатися до Hikvision через SSH, там мене зустрічає або якийсь BusyBox, або psh або ще щось. Й далі ходу немає. Тому як саме Hikvision працює не зрозуміло. Але в будь-якому випадку, навіть ОС Hikvision працює через LBA та, припускаю, підтримує ATA TRIM.

Є необхідність влаштувати кабелі в такій кількості, щоб надалі була можливість реалізувати такі функції 1) Керування освітленням; 2) Керування розетками (ввімкнена або вимкнена); 3) Під'єднання проводових датчиків сигналізації (датчики контакту, датчики об'єму); 4) Під'єднання проводових протипожежні датчики у тому числі визначення наявності побутового газу та CO; 5) Ethernet-мережа; 6) Керування або автоматизація внутрішніх ролетів Що і як буде керувати поки, що не зрозуміло. Варіантів відносно багато. Окрім деякої автоматизації керування освітленням хотілося б мати максимальну надійність та мати можливість завжди ввімкнути освітлення мануально (KNX?). Традиційно саме зараз все не потрібно, але пізніше поступово поки що є бажання додати. Кабелі, звісно, додавати з часом не зручно, тому саме зараз хотілося б всі кабелі й влаштувати. Поки що бачу ситуацію так. Розетки традиційно до кожної окремо 2,5 мм ВВГнг. Освітлення від кожної точки окремо 1,5 мм ВВГнг (трекові світильники або точкові світильники звісно можливо об'єднати в єдину групу, як й LED стрічку, яка, скоріше, за все буде 24 V, а таку напругу від щитка тягнути не зручно, тому окреме питання де саме встановлювати той блок живлення або LED-драйвер). На всі датчики мідний F/UTP-cat.6 8 x 0,57 мм. Додатково до вимикачів освітлення також FTP (можливо, KNX сподобається, тоді FTP кабель треба буде використати). Ethernet відповідно на тому ж F/UTP-cat.6 8 x 0,57 мм. Так, тем багато, є вже якась кількість обговорень, але можливо є якість сучасні тенденції (як, наприклад, перехід на оптичні кабелі). Як краще зробити?

"...VPN (скорочення від англ. virtual private network — віртуальна приватна мережа) — узагальнена назва технологій, які дозволяють створювати віртуальні захищені мережі поверх інших мереж із меншим рівнем довіри. VPN-тунель, який створюється між двома вузлами, дозволяє приєднаному пристрою чи користувачу бути повноцінним учасником віддаленої мережі і користуватись її сервісами — внутрішніми сайтами, базами, принтерами, політиками виходу в Інтернет..." uk.wikipedia.org/wiki/VPN Про що саме питання?

Мені здається, пан плутає Public VPN та Private VPN. Десь щось хтось купив. Й в тому продукті була інтеграція з якимось cloud-сервісами, до яких наразі можливо під'єднатися тільки через Public VPN. Про це є, дійсно, повідомлення на різних форумах. Але пан побачив слово "автомобіль", та вирішив, що в темі про електроавтомобілі можливо обговорити образу й систему EGR ДВЗ. ) Або просто такий собі тролінг. )

Я порівняв значення слова\терміну або його деякий відносний рівень. VPN можливо використовувати або можливо не використовувати. Окрім VPN є ще TLS, є мінімальна безпечна довжина ключів та інше. Наразі багато систем використовують cloud-сервіси. Але ж знову що й кому потрібно. Якщо Ви знаєте виробника камер відеоспостереження, які точно безпечні, будь ласка, напишіть.

Будь-яка сучасна система відеонагляду, скоріше за все, інтегрується в наявну IT-інфраструктуру (маленьку або більшу; навіть якщо це лише один Інтернет-маршрутизатор та одна Wi-Fi мережа). Існують деякі підходи та технології загалом у світі. Технологій багато, технології об'єднуються й виникає деякий продукт. Якийсь інтегратор може запропонувати проєкт з різними пристроями. Мабуть, Ви пишете про те, що більшість таких проєктів такі як вказано вище. Тоді це питання до інтеграторів, чому вони працюють таким чином. Той, хто має можливості, час або натхнення намагається розібратися й зібрати те, що йому цікаво або потрібно. Наразі можливо мати вдома систему яка буде з 200 метрів визначати людей та записувати номери автомобілів. Та й відслідкувати в якому напрямку надсилаються якісь дані теж є можливість, але потрібна деяка кваліфікація для цього. Й в цьому разі можливостей багато, але й різних нюансів багато. Щось не зручне, щось не сумісне, десь написано, що сумісне, а по факту не працює й так далі. Без досвіду - це дуже багато часу. А потім це все ще й треба підтримувати в робочому стані та визначати який саме пристрій не працює. Вибір обладнання дуже великий. Автоматизація будинку - неминуче майбутнє.

Зрозуміло. Щось схоже на керування китайськими IoT-пристроями Tuya та аналогами. Думаю, є готові простіші рішення, можливо, обмежені в можливостях. Але загалом, дійсно, несумісностей буває багато. Тільки в назву PoE різні виробники вкладають дещо різні значення. Як, наприклад, MikroTik, який називає свій Passive PoE теж PoE, який не підходить для камер відеоспостереження, тому що ті хотіли би працювати з приблизно IEEE 802.3 af/at.

VPN - це загальна назва категорії технологій. Це достатньо поширена мережева технологія або мережевий механізм. Мабуть, VPN можливо сприймати як "автомобіль", який може виробляти будь-яка країна. Тому загалом коментарі вище можливо сприймати як "для того, щоб дістатися в магазин, можливо використати автомобіль (VPN)".

Й ось відповідь "...TRIM/UNMAP is supported for external hard drives with SMR (Shingled Magnetic Recording) to improve Write performance over time. One of the shingled write benefits is that all physical sectors are written sequentially in a direction radially and are only rewritten after a wrap-around. Rewriting a previously written LBA (Logical Block Addressing) will cause the previous write to be marked invalid and the LBA will be written to the next sequential physical sector. The TRIM/UNMAP enables the OS to inform the drive which blocks are no longer considered to be in use and can be reclaimed internally by the HDD to ensure that later write operations perform at full speed..." support-en.wd.com/app/answers/detailweb/a_id/25185#subject3 Тому це проблема NVR, якщо той або його драйвер\операційна система не знає, що робити з TRIM. Мені здається, це і є рішенням у випадку (з вашого прикладу), коли кілька файлів, скажімо, з різних камер з однаковими або приблизно однаковими датами опинились в одній стрічці SMR HDD. Загалом дякую Вам за діалог на тему CMR та SMR HDD. Маю ось такий NVR Hikvision DS-7616NI-K2/16P та ніяк не можу зрозуміти, яка файлова система розгорнута на HDD. Припускаю, Hikvision щось придумав своє.

Програма керування HDD нічого не знає про файлову систему, але знає якими секторами (яка кількість загалом) оперує host. Драйвер файлової системи нічого не знає про фізичну структуру SMR HDD, скільки стрічок існує, на якій пластині знаходиться деякий довільний сектор. Все вірно? Тоді питання - програма керування HDD знає який сектор вільний або зайнятий? Драйвер файлової системи повідомляє про це HDD?

Поки я бачу якісь невідповідності, які й хотів би зрозуміти. Спочатку мова йшла про відсутність, як Ви називаєте, блокового доступу до HDD у NVR. Я надав Вам приклад, де чітко видно, що NVR працює з HDD як з block-пристроєм, як й більшість звичайних комп'ютерів.

Тепер давайте спробую ще раз пояснити свою думку про SMR та CMR. Припустимо, є CMR HDD, на якому є 200 секторів. Якась частина секторів використана під файлову структуру й залишилось 190 секторів для даних користувача. Користувач записує 2 файли на CMR HDD по 75 секторів, тобто перший файл займає умовно місце з 11 до 85 сектори, інший файл займає 86 - 160 сектори. Запис виконується послідовно, тобто HDD записує всі сектори один за одним (запис відносно швидкий). Далі користувач вирішує змінити перший файл в секторі 12. CMR HDD переписує сектор 12. А тепер все теж саме, але про SMR HDD. На етапі запису файлів різниці немає. Умовно швидкості запису однакові. ...користувач вирішує змінити перший файл в секторі 12. SMR HDD для перезапису сектора зчитує сектори з 11 до 20 включно, змінює 12 сектор й записує сектори 11 - 20 ще раз. Й це значно більший розмір даних ніж у випадку CMR HDD та потребує більше часу. Але що відбувається, коли працює NVR? NVR видаляє перший файл, й замість нього без зчитування будь-яких даних записує (перемагнічує) третій файл послідовно в секторах 11 - 85. Й це ідентична процедура як на CMR, так й на SMR HDD (майже ідентична). Тому ще раз напишу, різниці у разі систем відеоспостереження між CMR та SMR HDD немає. Звісно, програма керування всім цим процесом складніша. Але принципова різниця саме в тому, що SMR має відносно великі bands, які й створють всі ці незручності в якихось окремих ситуаціях, але не для побутових систем відеоспостереження. Ви вирішили всіх заплутати й додали ще й iSCSI до цього всього.

Все по темі. Думаю, поступово ми прийдемо до відповіді. HDD в процесі виробництва безпосередньо виробником умовно фізично форматується, а саме створюються tracks та disk sectors. Далі вже для деякої зручності користувач може залучити деякі механізми форматування й з'явиться те, що називається clusters або blocks. Все вірно? Ось так для прикладу виглядає HDD з яким працює якийсь Linux administrator@localhost /]$ lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS sda 8:0 0 1T 0 disk ├─sda1 8:1 0 1G 0 part /boot └─sda2 8:2 0 1023G 0 part ├─rl-root 253:0 0 70G 0 lvm / ├─rl-swap 253:1 0 3.9G 0 lvm [SWAP] └─rl-home 253:2 0 949.1G 0 lvm /home sr0 11:0 1 1024M 0 rom [administrator@localhost /]$ findmnt /home TARGET SOURCE FSTYPE OPTIONS /home /dev/mapper/rl-home xfs rw,relatime,seclabel,attr2,inode64,logbufs=8,logbsize=32k,noquota [administrator@localhost /]$ cat /sys/class/block/sda/queue/physical_block_size 512 [administrator@localhost /]$ cat /sys/class/block/sda/queue/logical_block_size 512 Тоді в мене питання NVR (або Linux в цьому випадку) працює з HDD як з block-пристроєм або все ж як з file-пристроєм? Додатково ще таке питання, якщо файл розміром в 1 GiB буде видалено користувачем, що буде фактично робити HDD, як багато буде виконано роботи, весь 1 GiB буде перемагнічено або все ж ні?

Що таке "блоковий" рівень?

Давайте розберемося як саме NVR працює з файловою системою та які файлові операції виконуються, та яку файлову систему має NAS. Все що робить NVR - записує один або кілька файлів одночасно, потім видаляє якусь кількість старих файлів. Вірно?

Так, cloud - це непоганий варіант. На жаль, навіть не знаю це платні сервіси\послуги або ні. В будь-якому випадку збереження на зовнішніх серверах відео в кількості терабайт не може бути безплатним. За допомогою STUN не потрібно жодної реальної IP-адреси. Це питання налаштування. VPN на маршрутизаторі - це додаткові обчислювальні витрати (VPN буває відповідно різним, споживає більше або менше обчислювальних ресурсів). Так, звісно, далеко не всі побутові маршрутизатори мають таку можливість. Але десь можливо замінити програму керування на DD-WRT або OpenWrt. Здається, китайські виробники намагаються зробити все якомога простіше. Система відеоспостереження - це частина цифрової інфраструктури звичайно, тому якісь частини інфраструктури вже можуть бути наявними, тоді якось відбувається інтеграція з тим, що вже є. Й такий варіант, звісно, складніший.

Й те, що стосується припущень про те, що однакові фізично HDD мають різну ціну шляхом різних програм керування. Навіть якщо це так, то нічого дивного в цьому немає. Microsoft Windows ніколи не була безплатним програмним комплексом, тому логічно, що програма керування HDD, яку розробляли інженери, має якусь ринкову ціну. Якась частина витрат виробника HDD полягає й в тому, що в лабораторіях інженери розробляють як нові фізичні пристрої та й програми.

NVR не оперує доріжками або секторами. NVR нічого не знає й не намагається виконати будь-яку адаптацію до наявного фізичного пристрою збереження даних. NVR працює з логічним рівнем, таким як файлова система. Тобто NVR генерує новий файл та починає його записувати, поступово додавати нові дані. Де саме фізично знаходяться дані знає лише HDD. Файлова таблиця відповідно має адресу початку файлу й далі формується ланцюжок. Принципова різниця CMR та SMR в тому, що SMR читає всю стрічку, розмір якої, мабуть, кілька сот мегабайт або мебібайт навіть якщо потрібно змінити один байт у всій стрічці. NVR не робить модифікацію даних такого типу, а лише видаляє старі файли, звільняючі простір для нового послідовного запису. SMR HDD з точки зору споживача мають недоліки тільки у разі модифікації великої кількості маленьких файлів. Необхідність читання великого блоку даних для модифікації будь-чого в цьому великому блоці і є та сама технологія SMR. Й це пов'язано з тим, що всім відомо, намаганням виробників підвищити фізичну щільність даних на пластинах HDD.

Не зовсім зрозумів питання. VPN - це загальна назва категорії технологій. За допомогою будь-якої VPN-технології створюється тунель між пристроєм оператора та у цьому випадку мережею, в якій знаходяться камери відеоспостереження (або навіть відеореєстратор). На мою думку, це типова схема роботи систем відеоспостереження, до яких є доступ ззовні. Кожний компонент відповідно може бути будь-якого виробника. Можливо, звісно, просто під'єднати камеру до наявної мережі, налаштувати port forwarding на наявному маршрутизаторі та через, скажімо, Web-інтерфейс однієї камери переглядати Live View або записи, але це менш безпечний варіант.

Вважаю, навіть навпаки SMR менше підходить навіть для побутового NAS, ніж для NVR. Якщо NVR записав стрічку 256 MiB, навіщо протягом наступної хвилини NVR модифікує цю стрічку? Як саме NVR записує дані, що NVR постійно треба модифікувати вже записані файли, якщо NVR більшість часу саме записує, а не постійно модифікує наявні файли?

Впевнений, що там, де використовується 15 тис. HDD, окрім питання періодичної заміни дисків, є багато інших питань. Й вся та система споживає багато електроенергії. Вся інфраструктура має кілька генераторів та загалом це бізнес, який обслуговує достатньо багато людей. Але фізичне обслуговування - це виконання розроблених інструкцій відповідними виробниками й той, хто виконує фізично роботи не приймає рішення який HDD встановлювати. Порівнювати NVR побутового рівня з кількома HDD та велику інфраструктуру з якимось RAID50 або RAID60 дещо некоректно. Й знову ж немає різниці у разі побутового NVR SMR або CMR HDD використовується. Будь-що інше як температурний режим, вібрації, загальна тривалість роботи впливає значно більше.

Інтернет, маршрутизатор з VPN, NVR (якщо потрібен запис), IP-камери (статичні або PTZ; можливо з PoE), VPN застосунок в телефон та застосунок від виробника NVR або камер. Все разом налаштовуєте та переглядаєте або Live View, або записи. Якщо сподобається, буде ще й перелік моментів (без необхідності пошуку), коли хтось заходив на територію та список номерів автомобілів, які їздили по сусідній дорозі.

S.M.A.R.T. в багатьох випадках має статистику, на базі якої можливо прийняти рішення про необхідність заміни HDD. Вважаю, не треба багато кваліфікації, щоб побачити повідомлення NAS-системи про те, що диск у відповідному слоті має відповідний health status та фізично виконати заміну on-the-fly. Якщо в одній системі є кілька сот дисків, достатньо мати 10 дисків в Spare-режимі, які будуть автоматично під'єднані до відповідного namespace'а, та кожен місяць протягом 15 хвилин замінювати старі диски, марковані як погані. Це лише виглядає як багато роботи.

Що таке SOHO-HDD? Виробники HDD не використовують такий термін (SOHO - маленький офіс/домашній офіс). Звідки така статистика, що HDD у персональному компьютері працює в режимі 50/50 (запис/читання)? Яким саме чинном наявність запитів на запис блокує перегляд Live View з камер відеоспостереження, якщо задача NVR лише скопіювати відповідні відео дані, які були отримані від камери відеоспостереження, та надіслати для перегляду (фактично виконавши роль деякого шлюзу)? Для цього ніякі операції з HDD не потрібні. Все можливо виконати використовуючи RAM. Що таке Self Scan? Для того, щоб перевірити всі наявні сектори на можливість коректного читання (фактичну валідність даних) з них треба багато часу. Будь-який HDD у разі прийняття рішення про те, що сектор є поганим виконає заміщення такого сектору іншим з наявного запасу. Це стане відомо тільки у разі читання даних з такого сектора. Енергоспоживання менше - це менше витрат на електроенергію або менша необхідна потужність. Теплокорекцію виконують відповідні системи охолодження (звісно, можливо й підігравати). Надмірне охолодження як й акустичні шуми впливають на якість роботи HDD також. Немає різниці у разі запису даних з камери відеоспостереження використовується CMR або SMR HDD в NVR. NVR в більшості випадків не виконує часткову модифікацію, вже записаних даних. SMR HDD потребує більше часу у разі модифікації відповідного band'а. За рахунок технології запису та наявності буфера частково до деякого моменту особливості роботи SMR HDD не помітні. SMR HDD достатньо погано підходять для деяких NAS dataset'ів, але навіть у разі NAS не завжди SMR відрізняється в роботі від CMR.