こちらと同じ問題で、ACPI Error: AE_NOT_FOUND になってフリーズしたまま起動しない。
電源周りの問題というコメントがあったので、デュアルモニタを1つに(HDMIを抜く)、USB-SSDを抜く、ということをしたら動きました。
-- > このうち、HDMIは変化がないとわかりました。USB-SSDが問題。
2022年12月29日木曜日
2022年11月21日月曜日
Ubuntu22.04で、mozcの日本語InputModeをHiraganaで固定する
Ubuntu 22.04でmozcを使っています。
英字→日本語にするときに、DirectInputになってマウスでHiraganaに変更していたのですが、こちらのやりかたで固定できました。
ビルドがめちゃくちゃ重くてハングアップしたり聞いたこと無い音でマシンが回っていましたが、なんとか成功しました。
https://gist.github.com/giner/77f5b0f7c14603ce5e78b6fcebf48162
https://github.com/google/mozc/issues/381
使ったコードはこれ
# Make ibus-mozc remember the last used mode (e.g. hiragana) and not switch back to Alphabet on restart
# See https://github.com/google/mozc/issues/381
cd $(mktemp -d)
apt source ibus-mozc
cd mozc-*/
patch src/unix/ibus/property_handler.cc << 'EOF'
--- src/unix/ibus/property_handler.cc.orig 2020-10-28 17:21:18.000849932 +0900
+++ src/unix/ibus/property_handler.cc 2020-10-28 17:21:34.172696046 +0900
@@ -80,7 +80,7 @@
// On IBus 1.4.x, IBus expects that an IME should always be turned on and
// IME on/off keys are handled by IBus itself rather than each IME.
#if IBUS_CHECK_VERSION(1, 5, 0)
-const bool kActivatedOnLaunch = false;
+const bool kActivatedOnLaunch = true;
#else
const bool kActivatedOnLaunch = true;
#endif // IBus>=1.5.0
EOF
sudo apt build-dep ibus-mozc
dpkg-buildpackage -us -uc -b
sudo dpkg -i ../ibus-mozc_*.deb
再起動するには
ibus-daemon -drx
とすればよく、これを好きなショートカットにアサインすればよいです。例えば以下のように custom shortcut から設定。
=== 以下メモ
文字変更をshift + spaceにしているが、変換できなくて再起動しないといけないときがある。
1つのキーアサインで同時にできないか、と思ってやってみた。
上記のショートカットを設定すると、dconfは上書きされるらしい。
そのあとdconf を新たに設定すると、大丈夫なのでは？2024/02/28設定して試し中
dconfは以下も参考に。
https://tabeta-log.blogspot.com/2022/05/ubuntu2204.html
の 入力切り替えを自分で設定する
2022年11月6日日曜日
Ubuntuで停止のCtrlCをMetaCに変えられなかった
できなかったけどメモ
stty intr \^k
とすると、InterruptコマンドをCtrl Kに変えられる。
Macと同じように、Meta(Super) Cに変えたいのだけど、できない。
stty intr 131
として
stty -a
とすると、設定がメタキー＋Cになっているのは見えるが、動作しないようで。。
speed 38400 baud; rows 48; columns 118; line = 0;
intr = M-^C;
stty sane
でデフォルトに戻す。
sttyはシングルバイトでないと使えない
https://stackoverflow.com/questions/36289048/what-does-m-in-stty-output-mean
https://superuser.com/questions/160388/change-bash-shortcut-keys-such-as-ctrl-c
2022年9月4日日曜日
Pythonのループ中で、変数名を動的に作るには、辞書を使う
例: 10回ループして、その都度、変数 var0, var1,... var9 を作って代入
dic = {}
for num in range(10):
dic['var{0}'.format(num)] = "Hello, " + str(num)
>>>dic
{'var0': 'Hello, 0',
'var1': 'Hello, 1',
'var2': 'Hello, 2',
'var3': 'Hello, 3',
'var4': 'Hello, 4',
'var5': 'Hello, 5',
'var6': 'Hello, 6',
'var7': 'Hello, 7',
'var8': 'Hello, 8',
'var9': 'Hello, 9'}
アクセスするには
>>>dic['var0']って感じで。
Hello, 0
https://stackoverflow.com/questions/6181935/how-do-you-create-different-variable-names-while-in-a-loop-python
2022年7月28日木曜日
[未解決]ubuntuでmozcのDirectInput->Hiraganaをショートカットで一発で変換したかった
したかったこと
Ubuntuのmozcで、日本語入力の選択がたまに「DirectInput」になってしまい、これを「Hiragana」に選択しなおすのだけど、これがマウス操作しかなくて面倒。
ショートカット操作でできないかと試したが、できなかった。
やったこと
Mozc側の設定を変更して、Composition時のコマンドで変換、などにする。
変更しても反応なかった。
https://askubuntu.com/questions/561486/how-do-i-switch-input-modes-in-mozc-without-going-to-the-ibus-menu
マウスをソフトで動かす
pyautogui
マウスを動かして、クリックして操作したかったが、Ubuntuのtop bar部分は操作できないようだ。カーソルが動かないが、マウスの位置としては認識されている。pyautoguiはマルチモニターは対応していないらしいが、そこは関係なく操作できなかった。
xdotoolでもだめだった
例:
xdotool mousemove 950 100
xdotool click 3 # left
xdotool click 1 # right
xdotool getmouselocation
2022年7月3日日曜日
CDKのエラーをメモっていく
エラー
--app is required either in command-line, in cdk.json or in ~/.cdk.json というエラ
https://docs.aws.amazon.com/cdk/v2/guide/troubleshooting.html#troubleshooting_app_required
This message usually means that you aren't in the main directory of your AWS CDK project when you issue cdk synth.
ディレクトリが間違っている
cdk workshoptの日本語版はv1だった件
cdk workshopで日本語版でやっていたらv1 の内容だったため、インストールしてたのがv2なのでうまくいかず、このエラー。解決策→英語版はv2で書かれていましたのでそちらを。
/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:843
return new TSError(diagnosticText, diagnosticCodes, diagnostics);
^
TSError: ⨯ Unable to compile TypeScript:
bin/cdk-workshop.ts:6:23 - error TS2345: Argument of type 'import("/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/aws-cdk-lib/core/lib/app").App' is not assignable to parameter of type 'import("/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/@aws-cdk/core/lib/app").App'.
Type 'App' is missing the following properties from type 'App': onValidate, onPrepare, onSynthesize, validate, and 2 more.
6 new CdkworkshopStack(app, 'CdkworkshopStack');
~~~
at createTSError (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:843:12)
at reportTSError (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:847:19)
at getOutput (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:1057:36)
at Object.compile (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:1411:41)
at Module.m._compile (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:1596:30)
at Module._extensions..js (node:internal/modules/cjs/loader:1166:10)
at Object.require.extensions.<computed> [as .ts] (/home/user/Desktop/aws/cdk/cdk-workshop/node_modules/ts-node/src/index.ts:1600:12)
at Module.load (node:internal/modules/cjs/loader:988:32)
at Function.Module._load (node:internal/modules/cjs/loader:834:12)
at Function.executeUserEntryPoint [as runMain] (node:internal/modules/run_main:77:12) {
diagnosticCodes: [ 2345 ]
}
Subprocess exited with error 1
Jupyter Notebook入れ直したときのメモ
jupyter入れ直したらハマったのでメモ
installしようとしたらPermission denied
pipenv install jupyter_contrib_nbextensions && jupyter contrib nbextension install
したら
[Errno 13] Permission denied: '/usr/local/share/jupyter'
というエラー。
pipenv install jupyter_contrib_nbextensions && jupyter contrib nbextension install --user
というように --user をつけてインストールしたらOK
https://github.com/Calysto/matlab_kernel/issues/68
ChromeでJupyterが日本語になっている
Chromeの言語設定から日本語を外してEnglishだけにした
https://stackoverflow.com/questions/52667314/jupyter-notebook-is-displayed-partially-in-french
Did you mean one of: `extra_template_paths, template_name, template_paths`?
起動時、こういうエラーが大量に出る
Config option `template_path` not recognized by `ExporterCollapsibleHeadings`. Did you mean one of: `extra_template_paths, template_name, template_paths`?
nbconvertのバージョンが上がりすぎ？で対応できていないようで
nbconvert = "==5.6.1"
にすればよいらしい。
https://github.com/ipython-contrib/jupyter_contrib_nbextensions/issues/1529
これを下げると、jinja2で500エラーが出るので、6.5に戻した。
ImportError: cannot import name 'contextfilter' from 'jinja2'
jupyter notebookは開くが、その後500エラーになる。
nbconvertを5.6.1に下げていたので6.5.0に上げたら直った。(template_pathsは直っていない)
こちらのコメントでは直っていないようだ
https://github.com/BIG-MAP/PRISMA/issues/2
pipenv.vendor.toml.decoder.TomlDecodeError: Found tokens after a closed string. Invalid TOML. (line 8 column 1 char 102)
Pipfile に余計な文字が混ざっていた
2022年7月2日土曜日
Ubuntu 22.04でpipenvのPkgResourcesDeprecationWarningエラーが出るとき
したいこと
@Ubuntu22.04, Python3.10 がデフォルトなのですが、3.9を使いたい
前提として、 pyenv とpipenvをインストールしてあります
エラー
pipenvをインストールしようとするとこのエラー
/usr/lib/python3/dist-packages/pkg_resources/__init__.py:116: PkgResourcesDeprecationWarning: 0.1.43ubuntu1 is an invalid version and will not be supported in a future release
warnings.warn(
/usr/lib/python3/dist-packages/pkg_resources/__init__.py:116: PkgResourcesDeprecationWarning: 1.1build1 is an invalid version and will not be supported in a future release
warnings.warn(
対処その1
このissueを見ると、バグらしく、 環境変数を書くといいらしい。
$ SETUPTOOLS_USE_DISTUTILS=stdlib pipenv install
この書き方で進んだのですが、
Installing dependencies from Pipfile.lock (fe820e)...
🐍 ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 0/0 — 00:00:00
initできていない気がする。Macでやったときは 初期のPipfileが作成された気がしたのですが。
対処その2
しかたないので、当該フォルダにPipfileを作って入れておきます。例
[[source]]
url = "https://pypi.org/simple"
verify_ssl = true
name = "pypi"
[packages]
requests = "*"
numpy = "*"
pytest = "6.2.4"
[dev-packages]
[requires]
python_version = "3.9"
エラーは出るけど成功しました。3.9が入っていないのでpyenvで同時に作っています。
$ SETUPTOOLS_USE_DISTUTILS=stdlib pipenv install/usr/lib/python3/dist-packages/pkg_resources/__init__.py:116: PkgResourcesDeprecationWarning: 0.1.43ubuntu1 is an invalid version and will not be supported in a future releasewarnings.warn(/usr/lib/python3/dist-packages/pkg_resources/__init__.py:116: PkgResourcesDeprecationWarning: 1.1build1 is an invalid version and will not be supported in a future releasewarnings.warn(Warning: Python 3.9 was not found on your system...Would you like us to install CPython 3.9.13 with Pyenv? [Y/n]: yInstalling CPython 3.9.13 with /home/user/.pyenv/bin/pyenv (this may take a few minutes)...✔ Success!Creating a virtualenv for this project...Pipfile: /home/user/py39/PipfileUsing /home/user/.pyenv/versions/3.9.13/bin/python3.9 (3.9.13) to create virtualenv...⠼ Creating virtual environment...created virtual environment CPython3.9.13.final.0-64 in 803mscreator CPython3Posix(dest=/home/user/.local/share/virtualenvs/py39--M-7vnDl, clear=False, no_vcs_ignore=False, global=False)seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=/home/user/.local/share/virtualenv)added seed packages: pip==22.0.4, setuptools==62.1.0, wheel==0.37.1activators BashActivator,CShellActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator✔ Successfully created virtual environment!Virtualenv location: /home/user/.local/share/virtualenvs/py39--M-7vnDlPipfile.lock not found, creating...Locking [dev-packages] dependencies...Locking [packages] dependencies...Building requirements...Resolving dependencies...✔ Success!Updated Pipfile.lock (9645ca)!Installing dependencies from Pipfile.lock (9645ca)...🐍 ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 14/14 — 00:00:04To activate this project's virtualenv, run pipenv shell.Alternatively, run a command inside the virtualenv with pipenv run.
2022年6月25日土曜日
ダイソーの300円のデジタル腕時計を消音する
ダイソーで300円のスント風の腕時計を買いました。ブループラネットという名前です。
アラームを使わないので、操作音が鳴ってほしくないなということで消しました。
蓋を開けて、飛び出ているバネ部分にシールを貼って絶縁すればかんたんにできました。
2022年5月4日水曜日
Ubuntu22.04の初期設定 自分用
＜初期設定ラベル＞も参照
TODO
cron
リリース後6ヶ月経過して
アップデートされてバグが減ってきた気がします。あまり慌ててリリース直後にインストールしないほうが良かったかなという感想。
日本語入力
fcitx5の挙動がおかしいので、ibus-mozcを使うことにした。
・mozc辞書は user_dictionary.db を HOME/.config/mozc に入れてmozc再起動
使えなくなるときがあるので再起動するコマンド
ibus-daemon & で起動
ibus-daemon -drx で再起動
ibus-setup で設定
これでqi importエラーを直した。
https://askubuntu.com/questions/80448/what-would-cause-the-gi-module-to-be-missing-from-python
・日本語入力のチャタリングはfcitxよりもibusのほうがましかも？未解決のまま。
標準のibus-mozcのほうがエラーが少なくて良さそうだが、何かの拍子に使えなくなり、fcitx5に変更している。
sudo apt install fcitx5-mozc
im-config -n fcitx5
Configure -> Addon -> X Input Method Frontend -> XIM Use On the Spot スタイルを使う をチェックして再起動する。これでチャタリングは減った(？一見そう見える)。変換後補ウィンドウは左下になってしまう。
Adavancedは全部チェック
できていない
Kindle をWineで起動できない
できていない＠2022/05/01
wine version 6.0.3は入るものの、存在するKindle.exeと組み合わせても起動しない。
Koboも使えない。kobosetup.exeを起動すると、ログインは成功して自分の購入した本が見え始めた
ところで落ちる。
012c:err:richedit:ReadStyleSheet skipping optional destination
018c:err:ole:com_get_class_object apartment not initialised
クリーンインストールでバージョンを上げる
・環境はDell vostro UEFI デュアルブート
元のUbuntuを整理しながらバックアップを取る。サイズが大きいからと.configをバックアップ取らなかったのは失敗だった・・・。
Ubuntuのisoファイルをダウンロード。balenaEtcherで、4GBのUSBに焼く。
BIOSでUSBの優先度を上げる。
起動するとインストーラが立ち上がる。Englishにしておく。(あとで一度日本語にすると、ibusが入る。)
どう入れるか聞かれるので、「全部」「もとの20.04は消す」を選択。
BIOSでUSBの優先度を下げる（ 消す）
インストール後のエラー
・BIOSのエラーですというエラーが出る。とりあえず電源OFF→電源ONで復旧する。そのまま実行されるときもある。
[Firmware Bug]: No firmware reserved region can cover thisRMRR .... , contact BIOS vendor for fixesAsking for cache data failedAssuming drive cache: write through
初期設定
Chromeのインストール
sudo apt install gdebi-core wget
sudo apt install gdebi # gui debインストール用
ダウンロードフォルダに移動、debファイルをダウンロードする。
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
またはFirefoxなど最初からあるブラウザでダウンロードする。
sudo gdebi google-chrome-stable_current_amd64.deb
Appearance
ダークモードにする。
サイドバーアイコン24にする。
ディスプレイを自分好みにする。
設定いろいろ
sudo apt install easystroke
バックアップ：home/.easystroke に設定がある。
sudo apt install gnome-tweaks
sudo apt install dconf-editor
sudo apt install vim # デフォルトでは入っていなかった。cronで使うため
crontab -e : vimが入っていないのに選択したためtmp/... とかが作られて設定できていなかった
bashの補完をcase-insensetiveに これのTo Make the changes systemwide:
lsに色をつける
wget https://raw.github.com/trapd00r/LS_COLORS/master/LS_COLORS -O ~/.dircolors
eval $(dircolors ~/.dircolors)
source ~/.bashrc
入力切り替えをShift + space に変更
inputの入れ替えはmeta + space がデフォルト。 Settingsのshortcutで Shift + space に変更しようと思ったら、space のみもセットで変更になり、使えない。
deconfを入れてから、
/org/gnome/desktop/wm/keybindings/switch-input-source
/org/gnome/desktop/wm/keybindings/switch-input-source-backward
を、どちらもCustom valueを
['<Shift>space']
にした。
bluetooth が使えないのを直す
https://askubuntu.com/questions/1403817/i-cant-turn-on-bluetooth-in-ubuntu-22-04-lts
このリンクの通り、Patch file not found ar3k/AthrBT_0x31010000.dfu
が原因だったのでファイルを入れる。
drag dropdができなくなる
ドラッグドロップができないときは、エクステンションを入れる。
sudo apt install gnome-shell-extension-desktop-icons-ng
sudo apt install gnome-shell-extension-prefs
https://stackoverflow.com/questions/72027773/cant-drag-and-drop-in-ubuntu-22-04
前の機種から引き継ぎ
バックアップのhomeから
.bashrc
.profile
いろいろインストール
sudo apt install safe-rm
sudo apt install plocate → sudo updatedb を実行しておく
sudo apt install gnome-shell-extensions でInput Method Panelを入れる
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0689
クリップボードソフト copyQ https://hluk.github.io/CopyQ/
バックアップ
Backupsが標準なのでここに書いたやつを参考に
画像とか
GIMP・・・入れてない
sudo apt install flameshot # スクリーン切り抜き、矢印追加
peek # GIFでの画面キャプチャ
https://qiita.com/pagu_o28/items/ec9b6b1fd4cac440bc58
開発周り
sudo apt install git-all
sudo apt install nodejs # このやり方だと、古いnodejs(v12)が入ってしまった
sudo apt install npm
nvm インストール 公式からダウンロードをコピペしてsh実行
nvm install node # 最新版にする
npm install -g aws-cdk # 最新版になる
python pyenvとpipenv
docker
https://www.digitalocean.com/community/tutorials/how-to-install-and-use-docker-on-ubuntu-22-04
debをダウンロードしてインストールする系
google .deb
vscode deb
vscode .keyconfig, .settings をとりあえず入れる。Setting syncは使っていない。
FontManager、TakaoMincho入れる
sudo apt install font-manager
https://launchpad.net/takao-fonts でzipをダウンロードして、＋キーで選択するだけでよい
レポートしない
・クラッシュレポート機能(Apport)を停止させる
sudo vi /etc/default/apport でenabled=0にする。
・ubuntu-report対策で~/.cache/ubuntu-report/ubuntu.22.04 を空ファイルにしておく
ペースト時に^[[200 がターミナルに入る問題
$ bind 'set enable-bracketed-paste off'
を実行する。.bashrc にいれておく。
戻すには
$ bind 'set enable-bracketed-paste on'
https://matoken.org/blog/2020/11/12/gnu-bash-bracketed-paste-settings/
CapslockをESCに変更 変更効かなくなった
Tweaks -> Keyboard & Mouse -> Addtional Layout Options -> Caps Lock behavior
Tweaks -> Startup Applications
入力切り替えを自分で設定する
例えばShift+Spaceを使いたいときに、GUIから設定するとSpaceも設定されてしまうので、手動で入力。dconfで設定すればよい。
https://askubuntu.com/questions/1403503/how-to-make-supershift-or-shiftspace-to-change-input-language-in-ubuntu
削除していいもの
いらないものを消す
sudo apt-get purge thunderbird*
2022年4月15日金曜日
Ubuntuマウスカーソルを赤く大きくするメモ
◆マウスカーソル赤くする
Tweaks
Appearance
Cursor Yaruから -> Redglassにする
◆マウスカーソル大きくする
Universal Access
Seeing
Cursor size (default は一番小さい)-> Larger(右から2番目)
Command Lineで即時変更はできないようです。
2022年3月19日土曜日
EventBridgeのevent["time"]をdatetimeで処理する
event = {'version': '0', 'id': '11111111-aaaa-bbbb-cccc-1111111111', 'detail-type': 'Scheduled Event', 'source': 'aws.events', 'account': '111122223333', 'time': '2022-3-01T06:00:00Z', 'region': 'ap-northeast-1', 'resources': ['arn:aws:events:ap-northeast-1:111122223333:rule/rule-test'], 'detail': {}}
EventBridgeからのeventがこんな感じで、timeを使いたいときのメモ。tzinfoを入れると、出力が変わります。
import datetime
from datetime import timedelta
from dateutil import tz
JST = tz.gettz('Asia/Tokyo')
UTC = tz.gettz("UTC")
def get_times(event, delta_minutes):
dt = datetime.datetime.strptime(event["time"], "%Y-%m-%dT%H:%M:%SZ")
# dt has no timezone
print(f'event["time"]: {dt}')
# set tzinfo
t1 = dt.replace(tzinfo=JST)
t2 = t1 - timedelta(minutes=delta_minutes)
print(t1,t2)
# set tzinfo
t3 = dt.replace(tzinfo=UTC)
t4 = t3 - timedelta(minutes=delta_minutes)
print(t3,t4)
return t1, t2, t3, t4
get_times(event, 24 * 60)event["time"]: 2022-03-01 06:00:00
2022-03-01 06:00:00+09:00 2022-02-28 06:00:00+09:00
2022-03-01 06:00:00+00:00 2022-02-28 06:00:00+00:00
(datetime.datetime(2022, 3, 1, 6, 0, tzinfo=tzfile('/usr/share/zoneinfo/Asia/Tokyo')),
datetime.datetime(2022, 2, 28, 6, 0, tzinfo=tzfile('/usr/share/zoneinfo/Asia/Tokyo')),
datetime.datetime(2022, 3, 1, 6, 0, tzinfo=tzfile('/usr/share/zoneinfo/UTC')),
datetime.datetime(2022, 2, 28, 6, 0, tzinfo=tzfile('/usr/share/zoneinfo/UTC')))boto3でS3をリストしたときに、Firehoseのデフォルトフォルダに入っているオブジェクトかを判定する
Firehoseのバケットを読むときに、フォルダ構成がデフォルトでyyyy/mm/dd/hhとなっているのですが、単純にバケット名でlist_objectすると、別の残骸が残っている場合にそれも読んでしまうし、yyyy/、 yyyy/mm/ddといった途中のフォルダも入ってしまうので、regexでそれを回避してみました。
import re
import boto3
client = boto3.client("s3")
bucket = "bucket-kinesisfirehose"
response = client.list_objects_v2(Bucket=bucket)
for item in response["Contents"]:
key = item["Key"]
isInFirehoseDir = re.search("\d{4}\/\d{2}/\d{2}/\d{2}/", key)
if not isInFirehoseDir:
continue
# do something2022年3月14日月曜日
[zshで解決]aws cloudformationって打つのが大変
zsh
.zshrc
alias cfn='aws cloudformation'
でエイリアスを設定する。
エイリアスをスペースで展開するコマンドもzshrcに設定する。
function expand-alias() {
zle _expand_alias
zle self-insert
}
zle -N expand-alias
bindkey -M main ' ' expand-aliashttps://www.reddit.com/r/zsh/comments/bbbluo/auto_expand_all_aliases_by_pressing_space/.compact
2022年2月20日日曜日
UbuntuのBackups(Deja Dup)メモ
使い方
以下がとても参考になった。
https://www.howtoforge.com/tutorial/ubuntu-backup-deja-dup/
インストール
sudo apt-get install deja-dup
設定(保存対象、保存先、頻度、暗号化)
リストア 一部だけでも気軽にできます。時間かかりますが。
- 起動して、Restoreをクリックして準備(少し時間かかる。〜1時間とか)
- いつのスナップショットを復元するか
- 保存されているフォルダからどれを復元するかを選べる。復元の保存先も選べる。リストアは、対象が一部でも、時間がかかります。
除外するもの
.vscode/extensions
.config/google-chrome
.npm
.nvm
.pyenv
.venv
全てのnode_modules/フォルダを除外する
.deja-dup-ignore
を各ディレクトリに置くのがよい
https://gitlab.gnome.org/World/deja-dup/-/issues/162
エラー
Another duplicity instance is already running with this archive directory というエラーが出るので、
ps ax | grep -E -i 'deja-dup|duplicity' | grep -v grep
これでpid調べて消して再実行すれば動きました。
https://www.nixcraft.com/t/another-duplicity-instance-is-already-running-with-this-archive-directory-how-to-fix-it/4074
Macbook Airをダイソーのケースに入れる
100円のケースに入れました。書類用のやつです。
商品名は、「すっきり書類収納ファイル・A4ワイド・たっぷり収納できるタイプ・サイズ30.7 x 23.5 x 4.3 cm」
充電器を入れるとパツパツですが、入ります。
パツパツというより、完全には閉じられません。留具は閉まります。
2022年2月18日金曜日
「AWS Glueをローカル環境で実行してみた」をやったときのメモ
クラスメソッドのAWS Glueをローカル環境で実行してみた をやってみましたが、バージョン違いの設定で大変でした。二年半くらい経っているから当然なのかも。以下、エラー回避のメモ。
うまく行ったときのバージョン
- Ubuntu 20.04
- Python 3.7
- aws-cli/2.4.11
- Apach maven 3.6.3
- Java java-8-openjdk-amd64
- Apach Spark spark-2.4.3-bin-hadoop2.8
- LocalStack 0.14.0
- docker-compose version 1.29.2
https://github.com/localstack/localstack
https://github.com/awslabs/aws-glue-libs
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming-etl-libraries.html#develop-local-python
SPARK
対応するバージョンをダウンロードして、SPARK_HOMEを設定するだけでよい。
SPARK_HOME=自分のフォルダ.../spark-2.4.3-bin-spark-2.4.3-bin-hadoop2.8
aws-glue-libs
glueのバージョンに合わせてブランチを選んでclone
https://github.com/awslabs/aws-glue-libs
ここでは、フォルダ名を変えている。/aws-glue-libs-2.0/
LocalStack
こちらを参考にした。
https://zenn.dev/s_ryuuki/articles/412b5f004595b7
awslocalを使う
endpointを解決してくれるので便利
--endpoint-url http://localhost:45xx という指定を省いてよい。
https://github.com/localstack/awscli-local
--profile localstack を使って以下のようなコマンドで操作
awslocal dynamodb create-table \
--table-name aws-glue-local-test-table \
--attribute-definitions \
AttributeName=Id,AttributeType=S \
--key-schema AttributeName=Id,KeyType=HASH \
--provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1 \
--profile localstack
awslocal dynamodb put-item \
--table-name aws-glue-local-test-table \
--item \
'{"Id": {"S": "test"}, "Column1": {"S": "test1"}, "Column2": {"S": "test2"}, "Column3": {"S": "test3"}}' \
--profile localstack
awslocal s3api create-bucket \
--bucket aws-glue-local-test-bucket \
--profile localstack
awslocal s3api list-buckets \
--profile localstack
awslocal s3api list-objects \
--bucket aws-glue-local-test-bucket \
--profile localstackエンドポイントが合っていないというエラー
あとでも出てくる
Connection was closed before we received a valid response from endpoint URL: "http://localhost:4572/aws-glue-local-test-bucket".
ports:
- "4566:4566"
- "4571:4571"
にするとできた。
4566は全てのサービスのポート？TODO
OKのとき
docker container ls
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
89b2de708a51 localstack/localstack "docker-entrypoint.sh" 2 minutes ago Up 2 minutes 0.0.0.0:4566->4566/tcp, 4510-4559/tcp, 5678/tcp, 0.0.0.0:4571->4571/tcp localstackNGのとき
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
b7a6a3bf62f6 localstack/localstack "docker-entrypoint.sh" 53 seconds ago Up 49 seconds 4510-4559/tcp, 0.0.0.0:4569->4569/tcp, 4566/tcp, 0.0.0.0:4572->4572/tcp, 5678/tcp, 0.0.0.0:8080->8080/tcp localstack
実行
./bin/gluesparksubmit ./src/sample.py --JOB_NAME='dummy'
最初はGlue ETLライブラリのバイナリをダウンロードするので時間かかる。
37分だった。
logが多数でるが、INFO、WARNは軽く読んでERRORに対処する。
WARNだとこういうのもあったが無視した。
https://aws.amazon.com/jp/premiumsupport/knowledge-center/ec2-expired-token/
JDKが入っていないので、/jre/tools.jarがないというエラー
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 37:51 min
[INFO] Finished at: 2022-02-17T11:07:06+09:00
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal on project AWSGlueETLPython: Could not resolve dependencies for project com.amazonaws:AWSGlueETLPython:jar:3.0.0: Could not find artifact jdk.tools:jdk.tools:jar:1.8 at specified path /usr/lib/jvm/java-8-openjdk-amd64/jre/../lib/tools.jar -> [Help 1]
[ERROR]
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR]
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/DependencyResolutionExceptionインストールする
sudo apt-get install openjdk-8-jdk
確認
/usr/lib/jvm/java-8-openjdk-amd64$ find ./ -type f | grep tools
./lib/tools.jar が出るはず
BUILDは成功するがその後でエラー
再実行。同じコマンド(./bin/gluesparksubmit ./src/sample.py --JOB_NAME='dummy')で
2分くらいでできた。
sample.pyでjob.initがおかしいらしい
22/02/17 12:58:57 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.10.105, 41321, None)
22/02/17 12:58:57 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 192.168.10.105, 41321, None)
22/02/17 12:58:57 INFO GlueContext: GlueMetrics not configured
22/02/17 12:58:57 INFO GlueContext: fs.s3.impl hadoop configuration is not set. Setting fs.s3.impl to org.apache.hadoop.fs.s3a.S3AFileSystem
Traceback (most recent call last):
File ".../aws-glue-libs/./src/sample.py", line 19, in <module>
job.init(JOB_NAME, args)
File ".../aws-glue-libs/PyGlue.zip/awsglue/job.py", line 42, in init
File "/home/shimo/Desktop/app/spark-2.2.1-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__
File "/home/shimo/Desktop/app/spark-2.2.1-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/utils.py", line 63, in deco
File "/home/shimo/Desktop/app/spark-2.2.1-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py", line 319, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling z:com.amazonaws.services.glue.util.Job.init.
: java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
tokenがエラー( The security token included in the request is invalid)
An error occurred (UnrecognizedClientException) when calling the CreateTable operation: The security token included in the request is invalid.
これは認証というよりエンドポイントの問題だった
Python2.7, glue 0.9にしたがNG
sudo pip2 install pyspark
Python2.7用にしようかとglue0.9を入れたりしたが、submit実行してもうまく行かず。このエラーのdynamicframeが見つからないというのは、モジュールのルートの選択がおかしいようですが、いまいち進めず。
rm: cannot remove '.../aws-glue-libs-0.9/conf/spark-defaults.conf': No such file or directory
.../aws-glue-libs-0.9
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:.../aws-glue-libs-0.9/jars/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/shimo/Desktop/app/spark-2.2.1-bin-hadoop2.7/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
22/02/17 14:06:58 WARN Utils: Your hostname, v3268 resolves to a loopback address: 127.0.1.1; using 192.168.10.105 instead (on interface enp2s0)
22/02/17 14:06:58 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
Traceback (most recent call last):
File ".../aws-glue-libs-0.9/./src/sample.py", line 2, in <module>
from awsglue.transforms import ApplyMapping
File ".../aws-glue-libs-0.9/PyGlue.zip/awsglue/__init__.py", line 13, in <module>
ModuleNotFoundError: No module named 'dynamicframe'
awsglue2.0, Python3.7にする
改めてやり直して実行してエラー。
22/02/17 15:30:31 WARN EC2MetadataUtils: Unable to retrieve the requested metadata (/latest/dynamic/instance-identity/document). Failed to connect to service endpoint:
com.amazonaws.SdkClientException: Failed to connect to service endpoint:
22/02/17 15:49:35 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.RuntimeException: Could not lookup table aws-glue-local-test-table in DynamoDB.
この一文によると、us-east-1にアクセスしている→これはエンドポイントの指定ができていないときのデフォルトだった
22/02/17 15:49:34 INFO DynamoDBUtil: Using endpoint for DynamoDB: dynamodb.us-east-1.amazonaws.com
spark-defaults.confを正しく設定すると動いた
あれこれエラーが出ていたけど、これで直った。(他にも効いているかもしれないけど)
confにポートの情報を入れているけど、上書きされて消えている
.../aws-glue-libs-2.0/conf/spark-defaults.conf
bin/glue-setup.shがconfファイルをいじっているようなので、ここらへんをコメントアウト
mkdir $SPARK_CONF_DIR
rm $SPARK_CONF_DIR/spark-defaults.conf
Generate spark-defaults.conf
echo "spark.driver.extraClassPath $GLUE_JARS_DIR/*" >>$SPARK_CONF_DIR/spark-defaults.conf
echo "spark.executor.extraClassPath $GLUE_JARS_DIR/*" >>$SPARK_CONF_DIR/spark-defaults.conf
docker-compose.ymlのポート部分を変えている
version: "3.3"
services:
localstack:
container_name: localstack
image: localstack/localstack
ports:
- "4566:4566"
- "4571:4571"
environment:
- DOCKER_HOST=unix:///var/run/docker.sock
- DEFAULT_REGION=ap-northeast-1
- SERVICES=dynamodb,s3
spark-defaults.conf
はこうしておく
spark.hadoop.dynamodb.endpoint http://localhost:4566
spark.hadoop.fs.s3a.endpoint http://localhost:4566
spark.hadoop.fs.s3a.path.style.access true
spark.hadoop.fs.s3a.signing-algorithm S3SignerType
どちらもlocalhost:4566 にした。他のポートでもできるのかもTODO
2022年2月16日水曜日
docker Tips、エラーのメモ
初心者のメモです。Ubuntuメイン。
コマンド参照
初心者ハンズオン
https://qiita.com/shiro01/items/04ca672a93384b463701
チートシート
https://pyteyon.hatenablog.com/entry/2021/07/07/021704
公式チートシートPDF。あまり載っていない。
https://www.docker.com/sites/default/files/d8/2019-09/docker-cheat-sheet.pdf
ヘルプ--helpが詳しい
docker --help とすると、docker と打った次で使えるコマンド、オプションが出る。
docker run --help とすると docker run と打った次で使えるコマンド、オプションが出る。
例えば docker run --help だと
-d, --detach Run container in background and print container ID
-i, --interactive Keep STDIN open even if not attached
-t, --tty Allocate a pseudo-TTY
とかが書いてあるので便利。
エイリアスにする
groupに入れてもsudoが回避できないので、
alias docker='sudo docker'
としています。
docker container って打ちまくっていると指がつるので
alias dc='sudo docker container'
alias di='sudo docker image'
としています。
名前がコンフリクトのエラー
docker: Error response from daemon: Conflict. The container name "/aaaaaaaaaa" is already in use by container "xxxxxxxxxx". You have to remove (or rename) that container to be able to reuse that name.See 'docker run --help'.
停止しているものも含めて、名前が既に使われている。
docker container ls -a
というように-aをつけて確認する。
docker container start NAME/ID
で再起動できる。
portを既に使っているエラー
Error starting userland proxy: listen tcp 0.0.0.0:3306: bind: address already in use.
これはUbuntuでmysqlが別に動いていたということでした。
確認する
sudo netstat -tulpn | grep 3306
tcp 0 0 127.0.0.1:33060 0.0.0.0:* LISTEN 1824/mysqld
tcp 0 0 127.0.0.1:3306 0.0.0.0:* LISTEN 1824/mysqld
停める
/etc/init.d/mysql stop
DockerfileからのBuildでエラー
https://docs.docker.jp/get-started/part3.htmlunknown instruction: YUM
VSCODEの自動フォーマットを使っていたら、Dockerfile内の \ $$ の\が消されていたのが問題。このunknownというエラーは改行が失敗しているという事例が出ていました。
→Ctrl ＋P →save without formatting で保存する。
REPOSITORY、TAGがnone
イマイチよくわからないけど例えばこんな感じで。alpineをベースにビルドしようと思ってこんなのができている・・・。あとから気が付きましたが、中のyumインストールがエラーで終了していたようでした。それでも何かしらのイメージができているようです。
REPOSITORY TAG IMAGE ID CREATED SIZE
<none> <none> aaaaaaaaaa 21 seconds ago 5.61MB
alpine 3.14 bbbbbbbbbbb 3 months ago 5.61MB
DockerHubへのPushでエラー
チュートリアルをやっていてエラー。https://docs.docker.jp/get-started/part3.html
denied: requested access to the resource is denied
cli からDockerHubにログインできていなかったのが問題だった
一度Privateにしてから戻す？という回答もあるがこちらは不明
https://stackoverflow.com/questions/41984399/denied-requested-access-to-the-resource-is-denied-docker
docker composeのバージョンが合っていないので上げる
ERROR: Version in "./docker-compose.yml" is unsupported. You might be seeing this error because you're using the wrong Compose file version. Either specify a supported version (e.g "2.2" or "3.3") and place your service definitions under the `services` key, or omit the `version` key and place your service definitions at the root of the file to use version 1.
For more on the Compose file format versions, see https://docs.docker.com/compose/compose-file/
docker-compose 1.25 でymlのバージョン3.8のものを動かそうとしたときにこのエラー。
一回削除して新しく入れ直しました。1.29.2にしたらOKでした。
https://phoenixnap.com/kb/install-docker-compose-on-ubuntu-20-04
[解決]ERROR: Couldn't connect to Docker daemon at http+docker://localhost - is it running?
docker-composeが動かなくてこのエラー
docker-compose up -d
ERROR: Couldn't connect to Docker daemon at http+docker://localhost - is it running?
If it's at a non-standard location, specify the URL with the DOCKER_HOST environment variable.
リブートしたりするのが効いたりする、らしいですが。
https://forums.docker.com/t/couldnt-connect-to-docker-daemon-at-http-docker-localhost-is-it-running/87257/2
sudo忘れだった
sudo docker-compose up -d
で動きました。エラーメッセージが分かりにくかったですね。
[解決]The JAVA_HOME environment variable is not defined correctly
mavenを使おうとして、
mvn --version
とやるとこのエラー
The JAVA_HOME environment variable is not defined correctly
This environment variable is needed to run this program
NB: JAVA_HOME should point to a JDK not a JRE
echo $JAVA_HOME
で
/usr/lib/jvm/open-jdk
となるのでjdKですが？と思ったがそういうことでもないらしい。
こちらを参考にして、
$ sudo update-alternatives --config java
をやって、ここから2を選びました。(java-8-openjdk-amd64)
There are 2 choices for the alternative java (providing /usr/bin/java).
Selection Path Priority Status
------------------------------------------------------------
* 0 /usr/lib/jvm/java-11-openjdk-amd64/bin/java 1111 auto mode
1 /usr/lib/jvm/java-11-openjdk-amd64/bin/java 1111 manual mode
2 /usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java 1081 manual mode
エクスポートします。
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH
できました。
mvn --version
Apache Maven 3.6.3
Maven home: /usr/share/mavenJava version: 1.8.0_312, vendor: Private Build, runtime: /usr/lib/jvm/java-8-openjdk-amd64/jreDefault locale: en_US, platform encoding: UTF-8OS name: "linux", version: "5.4.0-97-generic", arch: "amd64", family: "unix"
設定ができていなかったということですね。
2022年2月15日火曜日
Vagrant error
vagrant 2.2.6
Ubuntu20.04
box centos/7 のダウンロードエラー
時間のかかるダウンロードだったので放置していたらこのエラー。やり直したらレジュームしてくれて完了しました。
An error occurred while downloading the remote file. The error
message, if any, is reproduced below. Please fix this error and try
again.
transfer closed with 329134080 bytes remaining to read
ネットワーク衝突してますエラー
借り物のVagrantfileで設定されていたBridged Network Address(config.vm.network "private_network", ip: "192.168.10.10")と自分のPCのネットワークが衝突していた。Vagrantfile側を192.168.20.10というように変えた。
The specified host network collides with a non-hostonly network!
This will cause your specified IP to be inaccessible. Please change
the IP or name of your host only network so that it no longer matches that of
a bridged or non-hostonly network.
Bridged Network Address: '192.168.10.0'
Host-only Network 'enp2s0': '192.168.10.0'
Shared folderがないですよというエラー
借り物のVagrantfileで設定されていたのが合っていなかったのでその部分コメントアウト した。
Vagrant was unable to mount VirtualBox shared folders. This is usually
because the filesystem "vboxsf" is not available. This filesystem is
made available via the VirtualBox Guest Additions and kernel module.
Please verify that these guest additions are properly installed in the
guest. This is not a bug in Vagrant and is usually caused by a faulty
Vagrant box. For context, the command attempted was:
shareできない
(runningにはなります)
Vagrant was unable to mount VirtualBox shared folders. This is usually
because the filesystem "vboxsf" is not available. This filesystem is
made available via the VirtualBox Guest Additions and kernel module.
Please verify that these guest additions are properly installed in the
guest. This is not a bug in Vagrant and is usually caused by a faulty
Vagrant box. For context, the command attempted was:
mount -t vboxsf -o dmode=755,fmode=644,uid=1000,gid=1000 home_vagrant_ws____________________________________________________________________________________________________________________________________________________________________________________________________ /home/vagrant/ws\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \
The error output from the command was:
mount: unknown filesystem type 'vboxsf'
登録:
投稿 (Atom)