COVID-19 - pomóż w walce z wirusem

[szopen]

Masz stary, nieużywany już komputer? leżące odłogiem RaspberryPi? albo może inny SBC/SoM? ewentualnie starego androidowego smartfona?
(Niestety jeśli chodzi o RPi to tylko interesują nas modele 3B, 3B+ lub 4B, pozostałe "zabytki" mają zbyt małą moc obliczeniową. a konkretnie chodzi o brak procka arm64, update: od lipca 2020 używanie RPi3 oraz wycofanej wersji RPi4-1GB zaczyna tracić sens - ilość przydzielanych zadań obliczeniowych na sprzęcie z małą ilością RAM spadła na tyle, że większy pożytek przyniesie użycie w celach obliczeniowych np. starego smartfona czy tabletu, również androidowe tv-boxy się kwalifikują, choć nie wiem czy ten ostatni wybór to rozsądne posunięcie.)
Jeśli TAK, to możesz się przyłączyć do jednego z projektów obliczeń rozproszonych wspierających naukowców pracujących nad wirusem.

Temat może nie jest już tak "gorący" jak był w marcu czy kwietniu, ale nadal jest warty uwagi (i pewnie jeszcze długo będzie, ale nawet gdyby się zdezaktualizował to F@H w pełni automatycznie przerzuci swoje siły na obliczenia związane z innymi groźnymi chorobami, a Boinc zapewne będzie trzeba przerzucić ręcznie na inny projekt - tego wciąż nie wiem, bo nie drążyłem tematu, gdyż walczyłem z problemami ze sprzętem, a temat koronawirusa jest jednak jak najbardziej wśród najistotniejszych). Edit: nic nie trzeba robić, chyba, że chcemy zmienić całkowicie profil obliczeń - w ramach BOINC są też projekty ukierunkowane na inne dziedziny nauki.

---

Wcześniej już wspominałem o projekcie Folding@home https://foldingathome.org/ zwany też skrótowo FAH lub F@H
m.in. tam:
http://forum.jdtech.pl/Watek-home-assist...2#pid48722
w kontekście integracji z HA, bądź wręcz instalacji wraz z HA na tej samej maszynie (wymagana architektura amd64).
Kwestie związane ze słynnym wirusem są ładnie opisane w FAQ na tamtejszym forum
https://foldingforum.org/viewtopic.php?f=24&t=32463
Generalnie FAH wymaga do pracy procesora zgodnego z x86 (w pewnych wypadkach wymagania są wyższe, tj. wymagane 64bity), ale daje się uruchomić także na starszym sprzęcie, pracującym pod windows już od xp w górę, a także na osx czy linuxie (link dla posiadaczy starych systemów chcących instalować klienta ręcznie w systemach rodzaju win xp, ubuntu 9 czy osx 10.6.4 https://download.foldingathome.org/relea...c/release/ )
użycie współczesnego oficjalnego instalatora jest znacznie bardziej banalne.
Ten projekt jest o tyle fajny, że pod windowsem lub linuxem umożliwia wykorzystanie zwykle bardzo wydajnych GPU do obliczeń - wspierane są karty graficzne nvidii i amd (należy mieć zainstalowany pełny pakiet sterownika), karta graficzna jest wykorzystywana tylko przy ustawieniach użytej mocy obliczeniowej na Medium (używa GPU i większość rdzeni CPU) lub Full (używa wszystkie rdzenie CPU i GPU, to ustawienie się nadaje dla komputerów dedykowanych tylko obliczeniom), ustawienie Light wyłącza z obliczeń kartę graficzną i korzysta tylko z jednego rdzenia CPU, oczywiście aby GPU brał udział w obliczeniach, musi być wspierany, dla przykładu dość archaiczny GF 560 GTX ma moc obliczeniową około 1TFLOP (czyli 1000GFLOP)
https://foldingathome.org/support/faq/in...uirements/
https://foldingathome.org/support/faq/in...uirements/

Przy okazji - dorzuciłem sobie sygnaturkę ze statystykami (obrazek jest generowany na extremeoverclocking.com na podstawie oficjalnych statystyk F@H), opis jak wygenerować swój własny:
https://folding.extremeoverclocking.com/?nav=IMAGES

ale… do rzeczy, bo nie o tym chciałem tu napisać :O

---

Tak się składa, że po "niedoszłym do realizacji" projekcie zalega(ł) u mnie w chacie Nvidia Jetson Nano, czyli taki SBC może mało, ale jednak pod wieloma względami podobny do RPi, ale z "dość wypasionym" 128-rdzeniowym GPU Maxwell, więc zacząłem się zastanawiać czy nie dałoby się go zaprząc jakoś do tego projektu, niestety FAH skupia się jedynie na architekturze x86 a właściwie amd64, a tymczasem Jetson bazuje na procku w architekturze arm, więc zacząłem szukać jakiejś alternatywy i… znalazłem (choć nie do końca, ale o tym dalej), a jest to projekt

Fold for Covid https://foldforcovid.io/ powstały jako wsparcie projektu Rosetta@home https://boinc.bakerlab.org/ przy zaangażowaniu firmy balena https://www.balena.io/

Jak dla mnie główna zaleta to wsparcie architektury arm, ale dla wielu w szczególności początkujących atutem będzie wręcz banalna instalacja.

Mamy 3 możliwości:
1) użycie na jednym z wielu wspieranych SBC czy SoM, a wśród nich RaspberryPi modele 3 i 4 czy Nvidia Jetson
(pobieramy obraz, ewentualnie podając dane logowania do WiFi, "wypalamy" go na karcie TF używając balenaEtcher https://www.balena.io/etcher/ ) rozwiązanie to angażuje nasz moduł czy "komputerek jedno-płytkowy" w 100%
2) użycie na jakimś starym komputerze, którego nie planujemy już używać (droga jest podobna, ale nie całkiem - tworzymy bootowalny pendrive, który instaluje obraz systemu na dysku twardym, UWAGA: zamazując dane na hdd/ssd, więc jeśli mamy jakiekolwiek istotne dane lub rozważamy ewentualne użycie w innym celu w przyszłości używając obecnie zainstalowanego systemu, to przed użyciem instalatora robimy całkowity backup, albo lepiej podmieniamy hdd/ssd na inny - może być niemal dowolnie mały), to rozwiązanie również angażuje w 100% użyty komputer (nie da się go używać do innych celów), jak dotąd nie wypróbowałem tej wersji, choć mam w planie jeśli tylko 32-bitowe x86 jest wspierane (muszę podmienić hdd w starym netbooku) 32-bitowe procesory w tym projekcie nie są jednak wspierane (tj. w foldforcovid.io, bo normalny klient Boinc jest dostępny https://boinc.berkeley.edu/download_all.php ) - ponoć 32-bitowe wyszły ze sprzedaży 13 lat temu? ale netbook na atomie trzyma się do dziś świetnie (no prawie )
3) zwyczajna instalacja klienta BOINC, i przyłączenie się do projektu Rosetta@home oraz wybór teamu Fold for Covid, ten rodzaj instalacji jest odpowiedni dla komputera, który służy normalnie do innych zadań (tego akurat nie mam w planie, bo FAH i tak już zużywa całą nadmiarową moc obliczeniową u mnie)

Zasadniczo wszytko co trzeba wiedzieć i pobrać do instalacji mamy w linku
https://foldforcovid.io/#get-started

Przeczytaliście? macie sprzęt? - więc do dzieła!

Aby nie było że ściemniam - tutaj moje statystyki (nie są imponujące, w końcu dopiero co włączyłem się do tego projektu, a sprzet nie jest topowy ale to taka mrówcza robota - każdy nawet najmniejszy wkład się liczy)
https://www.boincstats.com/stats/-1/user...544/charts

Jeśli chodzi o RPi to może nie są jakoś superwydajne, ale w takim modelu obliczeń również się przydają (przebijają wydajnością słabsze atomy)
https://boinc.bakerlab.org/rosetta/cpu_list.php

Jetsony można tam znaleźć po użytym procku wyszukując taki ciąg:
ARMv8 Processor rev 1 (v8l) [Impl 0x41 Arch 8 Variant 0x1 Part 0xd07 Rev 1]

Realnie większość obliczeń w projekcie BOINC wykonują akademickie farmy serwerów bazujące np. na AMD EPYC 7702 (dwuprocesorowy serwer ma łącznie 128 rdzeni i 256 wątków, ale nie są to tanie zabawki - jeden procesor kosztuje koło 8000€) lub starszych Xeonach E5 (też efekt skali w przypadku np. E5-2630V4 czyli 10r 20w i około 25 tysięcy komputerów z tymi prockami; albo E5-2697V2 12r 24w), ale w projekcie uczestniczy koło 250 tysięcy komputerów i większość tej liczby to jednak prywatny sprzęt domowych uczestników projektu, a nawet "biedne RPi" ma 4 rdzenie po prawie 1,5 GFLOP'a, co daje łącznie na 4 rdzeniach prawie 6GFLOP'ów.

W ramach ciekawostek - oprócz nowszych SBC Raspberry jest wsparcie dla chyba całej rodziny modułów Nvidia Jetson oraz płytek bazowych dla modułów nvidii
np. Aetina ACE-N510
https://www.aetina.com/products-detail.php?i=234

projekt obejmuje też całkiem egzotyczny (dla zwykłych zjadaczy chleba) sprzęt np. moduły bazujące na NXP i.MX8M
jak np Google Coral
https://coral.ai/
Boundary Devices Nitrogen8M Mini
https://boundarydevices.com/product/nitrogen8m-mini/
czy Variscite DART-MX8M
https://www.variscite.com/product/system...xp-imx-8m/

---

No dobra nie byłbym sobą gdybym trochę nie ponarzekał (czytaj: spojrzał na to z innej perspektywy).
Mimo niewątpliwych plusów - jak możliwość "zatrudnienia" do obliczeń czegoś innego niż x86, niestety ten projekt ignoruje całkowicie istnienie GPU - wszystkie obliczenia są wykonywane jedynie przez CPU, więc "lepsza połowa" Jetsona Nano mi się jednak marnuje, jest to kwestia głównego projektu, bo i klienty x86 nie korzystają z GPU.

Choć wieść gminna niesie, że Jetson Nano wcale nie jest taki wydajny jakim go w reklamach malują, a w każdym razie nie w stosunku do swojej ceny - jest 3x droższy od RPi, swój egzemplarz kupiłem akurat w ramach promocji i gdy $ był tańszy, teraz na 100% bym się nie zdecydował…

Narzekań ciąg dalszy: tym razem na wypust Nvidii - w standardowym starter-kit'cie (to się oficjalnie nazywa: "zestaw programistyczny") dostajemy moduł (SoM) + płytę "główną", czyli miejsce do zainstalowania modułu i… kartonowe pudełko do poskładania jako podstawka, takie coś zamiast obudowy (!) oczywiście góra nie jest osłonięta w żaden sposób, mi się wtedy promocyjnie trafił zestaw brandowany przez waveshare zawierający dodatkowo zasilacz (niestety w wersji micro-USB), kartę pamięci i czytnik do tej karty, dokładnie taki (teraz cena jest raczej nie do przyjęcia…):
https://www.waveshare.com/product/ai/jet...?sku=16531
a wierząc w sukces planowanego projektu domówiłem do kompletu obudowę (tego modelu już nie produkują, anteny w wizualizacji nie są do kompletu - one "przynależą" do karty WiFi, której nie znajdziemy w starter-kicie!):
https://www.waveshare.com/jetson-nano-case-b.htm
Poczytałem też wtedy w necie zachwyty nad trybem low-power i tym, że sprzęt może chodzić bez chłodzenia i… w to uwierzyłem nie zamawiając nic do chłodzenia, jak się okazało zemściło się to wkrótce po tym, gdy się przyłączyłem z tym sprzętem do projektu Fold for Covid - Jetson Nano zaczął freezować, obliczenia przekraczały time-out'y, bo procek prawdopodobnie throttlował itd… jak się okazałó radiator w połączeniu z obudową ograniczającą przepływ powietrza wystarczyły, by samodzielnie (bez wykorzystania GPU!) pracujący na pełnych obrotach procek się przegrzewał, teraz mam tam samoróbkę z jakiegoś wentylatora z odzysku (wątpliwa estetyka), ale sprzęt w końcu działa:
   
chociaż w sumie całe "arm'owe stanowisko antycovid'owe" nie jest jakoś specjalnie estetyczne…
Taki mały komentarz do zdjęcia - Jetson Nano jest na nim zasilany przez micro-USB - takie rozwiązanie jest dopuszczalne tylko w tzw. trybie małej mocy (gdy nie wykorzystujemy do obliczeń GPU Maxwell), przy pełnym wykorzystaniu mocy obliczeniowej zalecany jest zasilacz 5V 4A (mam taki, ale używam go z Odroid'em MC1 solo, bo ma on możliwość zasilania tylko za pomocą "baryłki").
Ostatnio tymczasowo doposażyłem go w malutki ekranik (docelowo będzie może wykorzystany do budowy playera Volumio opartego na RPi3B+):
   
Natomiast na stałe na "tymczasowo" zamontowanym wentylatorze zagościł grill (bo prowizorka bywa najtrwalsza, ale kiedyś może się szarpnę na pasujący do fabrycznych mocowań wentylator?), choć jak widać kable z tyłu nie dodają uroku konstrukcji
   

miejsce na resztę tekstu jeśli tylko jeszcze coś mi zaświta, bo najważniejsze już napisałem.

---

No i zaświtało - można wykorzystać nieużywanego smartfona, wprawdzie klient FAH kiedyś wypuszczony przez Sony już nie działa, ale przecież są inne projekty - choćby wspomniany wyżej BOINC (w którym działa opisany wyżej foldforfovid.io, a jeśli mam być dokładny to chodzi oczywiście o Rosetta@home, bo BOINC umożliwia również udział w innych projektach, nie tylko tych medycznych).

Oficjalny klient BOINC
https://play.google.com/store/apps/detai...eley.boinc
logujemy się w nim normalnie danymi naszego account managera (BAM, gridrepublic lub extremadurathome), można w nim włączyć również pracę na akumulatorze (niezalecana), bądź wybierać rodzaje ładowarek na których mają się odbywać obliczenia, a na których nie; przesyłać dane przez łącze komórkowe (domyślnie tylko WiFi) itd. w zasadzie domyślne ustawienia są OK (i są dość nieinwazyjne dla zwykłego korzystania ze smartfona), ale wymagają dość mocnego sprzętu (więc np. na RM4X zredukowałem wykorzystanie procesora z domyślnych 4 rdzeni na 2, ale resztę ustawień zmieniłem na takie by sprzęt mimo to był wykorzystywany w miarę intensywnie).

Inne aplikacje biorące udział w podobnych projektach (nie testowałem, bo i tak da się w danym momencie wykorzystywać tylko jedną):

DreamLab (fundacji Vodafone, normalnie służy do wspomagania obliczeń w badaniach nad rakiem, ostanio włączony też do projektów związanych z Covid, ponoć ma małe wymagania sprzętowe)
https://play.google.com/store/apps/detai...reamlabapp

HTC Power To Give
https://play.google.com/store/apps/detai...om.htc.ptg

Pewnie są jeszcze inne, ale tu podlinkowane są z pewnością wystarczające do wykorzystania starego sprzętu w zbożnych celach.

UWAGA - AndroBOINC wykorzystujący oficjalne logo projektu BOINC nie jest klientem (tzn. nie wykonuje obliczeń), jest to tylko "aplikacja zdalnego sterowania flotą własnych klientów", niestety rozwój tej apki została porzucony przez developera dawno temu, więc nie działa na każdym sprzęcie (właściwie to prawdopodobnie na niczym współczesnym, nie mam tyle weny aby próbować na wszystkim, więc uznaję, że nie działa)
https://play.google.com/store/apps/detai...androboinc

---

Zapraszam do pochwalenia się wynikami wszystkie osoby, które się przyłączyły do akcji (niezależnie czy miałem na to jakikolwiek wpływ, "stali zwijacze" też mile widziani).
Jeszcze info dla początkujących - na początku nie ma co się zrażać pozornym brakiem wyników - przeliczenie jednego WU na słabszym sprzęcie trwa kilka dni (FAH skróciło timeouty z okazji koronawirusa, więc slaby sprzęt x86 proponuję wykorzystać w Boinc, gdyby nie nadążał w FAH), statystyki cogodzinne w FAH generowane są dla użytkowników z dorobkiem powyżej 100k punktów, w głównym rankingu dla nowicjuszy dostępne są tylko te informacje generowane raz na dobę (podobnie grafika, którą prezentuję w stopce ma też pewne ograniczenia, na 100% drużyna musi mieć miejsce <1000 w ogólnym rankingu, "team HA" dopiero niedawno się załapał na to minimum, reszta do sprawdzenia w linku gdzieś wyżej bo użytkownicy też muszą mieć jakiś minimalny dorobek, grafika jest i tak generowana raz dziennie), jedynie "na żywo" czyli co godzinę podliczane są WU i punkty (ale bez rankingu) w oficjalnych statystykach projektu.

---

PS miejsce (dział) wybrałem nieprzypadkowo - temat częściowo łączy się z innym tu opisanym projektem, a jetson miał być wykorzystany w zastosowaniu związanym z tematyką działu, ale sił i sprzętu mi zabrakło…

[szopen]

Taka mała aktualizacja - podziękowania od teamu projektu Rosetta@Home
https://twitter.com/RosettaAtHome/status...9390555136
jakkolwiek to jeszcze nie znaczy, że badania się skończyły, moc obliczeniowa była, jest i będzie potrzebna (w braku zadań ściśle powiązanych z Covid-19 serwery przydzielały i będą przydzielać zadania związane ze zwalczaniem innych groźnych chorób, w tym choćby raka czy wirusa ebola, który ostatnio znowu się intensywnie uaktywnił w Afryce).
Inne projekty (w tym chyba najbardziej rozpoznawalny FAH - w tym momencie u mnie obliczają się projekty numer 16422 i 16426) nadal pracują nad zagadnieniami związanymi z Covid.

Z drugiej strony ilość zadań obliczeniowych w Rosetta@Home dla sprzętu dysponującego małą ilością RAM (1,5GB lub mniej) jest bardzo mała, więc RPi "trójki" przeznaczę z powrotem do normalnych projektów użytkowych, a zamiast nich do akcji wkroczył stary telefon, który leży w zapasie (to Redmi 4X i jest on w zupełności wystarczającym sprzętem na jednostkę obliczeniową, a klient, choć niezbyt nowoczesny umożliwia takie ustawienia by np. obliczać wyłącznie w końcowej fazie ładowania akumulatora, z wyłączonym ekranem itd. - takie są ustawienia domyślne, choć można je zmodyfikować w dość dowolny sposób, w tym nawet umożliwiając obliczenia przy zasilaniu akumulatorowym) - może uzupełnię posta u góry w sposób wykorzystania starego smartfona w ten sposób?

Może powinienem przypomnieć, że pandemia Covid-19 wcale się nie skończyła, a wiele obostrzeń w PL zostało zlikwidowanych ze względów gospodarczych (zatrzymanie gospodarki na dłuższy okres może wywołać kryzys znacznie poważniejszy niż ten ostatni sprzed 100 lat), to jednak nie można tracić czujności i rozsądku - wystarczy spojrzeć na wykresy:
https://www.arcgis.com/apps/opsdashboard/index.html
nie dość, że w większości Świata nie widać spadków (w tej formie wykresu chodzi o stabilizację wyniku, zamiast systematycznego wzrostu), to jeszcze trzeba mieć na uwadze potencjalnie możliwe "zjawisko drugiej fali" (gdy likwidacja obostrzeń, a przede wszystkim spadek czujności ludzi powoduje nawrót epidemii).

[szopen]

I kolejna mikroaktualizacja - to tak byśmy nie zapomnieli o wirusie przy okazji wakacji - artykulik podsumowujący pierwsze miesiące działania FAH od momentu ukierunkowania obliczeń na Covid-19
https://pubmed.ncbi.nlm.nih.gov/32637963/
(artykulik nie jest najświeższy, ale wcześniej go nie linkowałem, moje "maszyny" pracują cały czas, wyłączyłem tylko największy grzejnik na czas upałów, więc spadam nieco w statystykach, co widać w sygnaturce).

Osobiście wciąż zachęcam do przyłączenia się do projektu F@H, zapotrzebowanie na moc obliczeniową wciąż jest duże, a projektów wspieranych przez F@H wiążących się z SARS-CoV-2 jest kilkanaście.
Warto wspomnieć, że do przydziału zadań w tym projekcie użyto (przynajmniej na jakiś czas) jednego z mocniejszych superkomputerów, bo tak duży był odzew światowej społeczności i to było jedyne sensowne rozwiązanie by nie marnować mocy obliczeniowej udostępnionej przez woluntariuszy.

Nieco inaczej sytuacja wygląda w przypadku Rosetta@home, gdzie w tej chwili nie widzę sensu w udostępnianiu kolejnych "maszyn" pokroju RPi3, które mają zaledwie 1GB RAMu (z powodu coraz mniejszego zapotrzebowania na te "lżejsze" kawałki obliczeń oraz faktu, że podstawowy cel dotyczący bezpośrednio Covid został w tym projekcie już osiągnięty i w tej chwili obliczeniom podlegają tylko projekty nieco bardziej ogólne, ale z drugiej strony nie namawiam do odłączania sprzętu od projektu, bo na RPi3B+ wciąż obliczenia statystycznie zajmują ponad 90% czasu pracy, choć bywało już znacznie mniej - przypuszczalnie wielu mniej cierpliwych odłączyło swój sprzęt tuż po ogłoszeniu wstępnego sukcesu obliczeń). W statusach serwerów cały czas widać, że ilość zadań w kolejce do obliczeń wciąż jest niezerowa:
https://boinc.bakerlab.org/rosetta/server_status.php
w momencie, gdy to piszę, czeka na obliczenia nieco ponad 28 tysięcy WU, a blisko 700 tysięcy WU jest w trakcie obliczeń, aby dać jakiś pogląd na sytuację - 1WU oblicza się na sprzęcie, który udostępniam do obliczeń w tym projekcie przeciętnie od 16 do 30 godzin - najwolniej idzie na tv-boxie (a są to u mnie wyłącznie procesory arm czyli raczej nie są to królowie wydajności - co widać po średniej projektu rzędu 7 godzin, ale większość sprzętu biorącego udział w projekcie to jednak amd64, czyli procki intela i amd) przy czym RPi3 jest w stanie obliczać tylko 1 WU, a najmocniejszy sprzęt z pracujących u mnie w tym projekcie oblicza równolegle 4WU.

[szopen]

Tym razem tylko 2 linki, za to w pierwszym "na żywo" widać postęp obecnej fazy projektu poświęconego znalezieniu związku blokującego rozwój wirusa, o którym tu mówimy (czyli pośrednio są to badania dążące do uzyskania skutecznych lekarstw)
https://covid.postera.ai/covid
https://foldingathome.org/2020/07/28/int...w-therapy/

[szopen]

https://boinc.bakerlab.org/rosetta/forum...p?id=14226

[szopen]

O ile projekt foldforcovid uważam za zamknięty, to FAH jak najbardziej funkcjonuje i mimo mniejszej ilości zadań związanych bezpośrednio z Covid19 (w końcu przecież pojawiło się kilka różnych szczepionek) to jednak badania nie zostały wstrzymane, więc kilka "newsów" (cudzysłowy, bo to niekoniecznie najświeższe wieści).

1. W końcu po latach pojawił się klient FAH dla procesorów w architekturze arm64 (to wiadomość sprzed miesiąca):
https://foldingathome.org/alternative-downloads/
więc wykorzystanie np. RPi4 będzie w końcu możliwe
2. i przedświąteczne covid'owe wieści:
https://foldingathome.org/2020/12/16/sar...potential/

[szopen]

Kolejny nieświeży (ale potwierdzający, że było warto) news w tym temacie:
https://sites.temple.edu/voelzlab/2020/1...-data-set/
(moje systemy automatyki domowej i tak nadal oddają do FAH swoją nadmiarową moc obliczeniową - mi od tego nie ubędzie, a jakiś pożytek dla nauki pozostanie)
https://stats.foldingathome.org/donor/1663740
jeszcze starsze wiadomości do znalezienia tam:
http://www.voelzlab.org/

Generalnie warto zobaczyć jakie zbiory danych są dostępne z różnych dziedzin:
https://registry.opendata.aws/

[szopen]

https://foldingathome.org/2021/07/29/cov...sprint-10/
https://foldingathome.org/2021/09/27/cov...t-funding/