UbuntuでFiddlerが動かないのを直した

徳丸本をやっていてUbuntu16.04でFiddlerを入れました。

mono というフレームワークの上で動くそうです。
https://askubuntu.com/questions/922377/how-to-install-fiddler-on-ubuntu

起動はできて、動いているような気がするんですが・・・キャプチャできないんですが。Windoowsだったら簡単にできるんでしょうか？

なんだかすごく簡単なところでつまずいている気が・・・。

エラーメッセージを見ていなかった

GLib-GIO-Message: 19:21:46.568: Using the 'memory' GSettings backend.  Your settings will not be saved or shared with other applications.

というエラーが出続けていて(直していなかった)、これが問題だったようです。

Pythonの話題ですが、これで直りました。

export GIO_EXTRA_MODULES=/usr/lib/x86_64-linux-gnu/gio/modules/

https://stackoverflow.com/questions/44934641/glib-gio-message-using-the-memory-gsettings-backend-your-settings-will-not-b

もう1つエラーがある

monoのエラーみたいなのですが、いまいち不明。

can not parse as value of type 'i':

公式フォーラムでもスルーされているようですが・・・。

https://www.telerik.com/forums/crash-fiddler-on-linux-and-lost-all-the-internet-connection

VagrantとVirtualBoxをアップデートした

二年前くらいにインストールしたっきりなので使えなかったのでアップデート。(Ubuntu16.04)

vagrantはエラーメッセージが丁寧ですね。

$ vagrant up
No usable default provider could be found for your system.
Vagrant relies on interactions with 3rd party systems, known as
"providers", to provide Vagrant with resources to run development
environments. Examples are VirtualBox, VMware, Hyper-V.
The easiest solution to this message is to install VirtualBox, which
is available for free on all major platforms.
If you believe you already have a provider available, make sure it
is properly installed and configured. You can see more details about
why a particular provider isn't working by forcing usage with
`vagrant up --provider=PROVIDER`, which should give you a more specific
error message for that particular provider.

起動できなかったのですが、強制的にやってみなさいと。

$ vagrant up --provider=virtualbox
The provider 'virtualbox' that was requested to back the machine
'default' is reporting that it isn't usable on this system. The
reason is shown below:
Vagrant has detected that you have a version of VirtualBox installed
that is not supported by this version of Vagrant. Please install one of
the supported versions listed below to use Vagrant:
4.0, 4.1, 4.2, 4.3, 5.0, 5.1
A Vagrant update may also be available that adds support for the version
you specified. Please check www.vagrantup.com/downloads.html to download
the latest version.

vagrantの対応しているvirtualboxのバージョンが5.1までですよと(6.0に上げていた)。

VirtualBoxアップデート

全部削除して

https://rtmccormick.com/2018/03/03/remove-virtualbox-ubuntu-16-04-xenial/

入れる手順は公式どおり

https://www.virtualbox.org/wiki/Linux_Downloads

Vagrantをアップデート

最新版のzipファイルの中身は"vagrant"ファイルでできず。oldfilesのところから.debファイルを探してインストール。

sudo dpkg -i vagrant_2.2.6_x86_64.deb

これで古いvagrantは上書きされました。

・vagrant公式ページの手順ではできないことがありました。

削除はファイルを捨てるだけとか。

https://howtoprogram.xyz/2016/10/23/uninstall-vagrant-ubuntu-16-04/

apt-cacheを見るとそれに残っているバージョンでインストールされるようです。

https://howtoprogram.xyz/2016/07/23/install-vagrant-ubuntu-16-04/

Linuxターミナルでignorecaseにする

terminalで大文字小文字を無視(ignorecase)にしたいときは、
このコマンドをターミナルで実行します。

# If ~/.inputrc doesn't exist yet: First include the original /etc/inputrc
# so it won't get overriden
if [ ! -a ~/.inputrc ]; then echo '$include /etc/inputrc' > ~/.inputrc; fi
# Add shell-option to ~/.inputrc to enable case-insensitive tab completion
echo 'set completion-ignore-case On' >> ~/.inputrc
https://askubuntu.com/questions/87061/can-i-make-tab-auto-completion-case-insensitive-in-bash

ターミナルを再起動すれば適用されています。

PythonでJSON整形

ファイルnopretty.jsonを読んで、整形して別のファイルpprint.jsonに書き込む。

出力がユニコードにならないよう日本語のままにする。

# format_json.py
import json
from pprint import pprint
with open('nopretty.json') as infile:
    data = json.load(infile)
pprint(data)
with open('pprint.json', "w", encoding="utf-8") as outfile:
    json.dump(data, outfile, ensure_ascii=False, indent=4)

pprint(data)は結果のstdout出力なので、コメントアウトにしておいてもよいです。

参考
https://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence

PATHの表示が繋がっていて見づらいので整形する

Pathを表示させるとつながっていて醜いので、改行させます。How to pretty print path in terminal? でしょうか英語では。

LinuxでのPATH表示

~/.bashrc または ~/.bash_profile　にこれを書いて pathを入力するとOK

function path(){
    old=$IFS
    IFS=:
    printf "%s\n" $PATH
    IFS=$old
}

https://www.cyberciti.biz/faq/howto-print-path-variable/

WindowsでのPATH表示

for %a in ("%path:;=";"%") do @echo %~a

https://stackoverflow.com/questions/5471556/pretty-print-windows-path-variable-how-to-split-on-in-cmd-shell

Windowsでmecab+Pythonの文字化け対策

Windowsでmecab+Pythonを使っていると文字化けして困っていたりします。コマンドラインからmecabが使うのは問題ないので、Pythonからsubprocessで呼び出すことに。

これを$ python mecab_call_from_cmd.py で実行するかJupyterで実行するとおなじみの結果が出ます。文字化けなし。

すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
も 助詞,係助詞,*,*,*,*,も,モ,モ
もも 名詞,一般,*,*,*,*,もも,モモ,モモ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
EOS

Raspberry Piでログイン画面ループを直す

状況

あるときRaspberry Piを再起動すると・・・

起動してログイン画面が現れる
→正しいID, passwordを入力する
→再びログイン画面が現れる

というループになりました。

※ID、パスワードが間違っているときは、その旨が表示されるはずなので、
正しく入力できていることは確認できます。

結論

再起動する直前にインストールしたもの(bash-complete)が、起動時にエラーを出していたので起動できていなかった。削除して再起動したら回復。

調べた方法

「Ctrl-Alt-F2」で仮想コンソールを出す(起動中いつでも。戻るときは「Ctrl-Alt-F7」)

$ cat .xsession-errors

でエラーを確認すると、bash_completionでエラーが出ていることが分かりました。

当該の /etc/bash_completion

を消して再起動したらループせず。回復できました。

参考

https://www.raspberrypi.org/forums/viewtopic.php?t=194764

redashをdockerから起動したらflaskのエラー

redashをdockerからインストールして起動して、設定画面で入力して進んだらエラー画面。

flaskが止まってるみたいですね。修正できるのかしら。。

FileNotFoundError
FileNotFoundError: [Errno 2] No such file or directory: '/app/redash/settings/../../client/dist/index.html'
Traceback (most recent call last)
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 2463, in __call__
return self.wsgi_app(environ, start_response)
File "/usr/local/lib/python3.7/site-packages/werkzeug/middleware/proxy_fix.py", line 232, in __call__
return self.app(environ, start_response)
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 2449, in wsgi_app
response = self.handle_exception(e)
File "/usr/local/lib/python3.7/site-packages/flask_restful/__init__.py", line 269, in error_router
return original_handler(e)
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1866, in handle_exception
reraise(exc_type, exc_value, tb)
File "/usr/local/lib/python3.7/site-packages/flask/_compat.py", line 39, in reraise
raise value
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 2446, in wsgi_app
response = self.full_dispatch_request()
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1951, in full_dispatch_request
rv = self.handle_user_exception(e)
File "/usr/local/lib/python3.7/site-packages/flask_restful/__init__.py", line 269, in error_router
return original_handler(e)
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1820, in handle_user_exception
reraise(exc_type, exc_value, tb)
File "/usr/local/lib/python3.7/site-packages/flask/_compat.py", line 39, in reraise
raise value
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1949, in full_dispatch_request
rv = self.dispatch_request()
File "/usr/local/lib/python3.7/site-packages/flask/app.py", line 1935, in dispatch_request
return self.view_functions[rule.endpoint](**req.view_args)
File "/usr/local/lib/python3.7/site-packages/flask_login/utils.py", line 261, in decorated_view
return func(*args, **kwargs)
File "/app/redash/handlers/static.py", line 32, in index
return render_index()
File "/app/redash/handlers/static.py", line 16, in render_index
response = send_file(full_path, **dict(cache_timeout=0, conditional=True))
File "/usr/local/lib/python3.7/site-packages/flask/helpers.py", line 629, in send_file
file = open(filename, "rb")
FileNotFoundError: [Errno 2] No such file or directory: '/app/redash/settings/../../client/dist/index.html'
The debugger caught an exception in your WSGI application. You can now look at the traceback which led to the error.
To switch between the interactive traceback and the plaintext one, you can click on the "Traceback" headline. From the text traceback you can also create a paste of it. For code execution mouse-over the frame you want to debug and click on the console icon on the right side.
You can execute arbitrary Python code in the stack frames and there are some extra helpers available for introspection:
dump() shows all variables in the frame
dump(obj) dumps all that's known about the object

docker-composeの実はパーミッションエラー

$ docker-compose up -d

とすると

Couldn't connect to Docker daemon at http+docker://localhost - is it running?

というエラー。なんのことだろう、と思ったら、

sudo をつけていなかった、というだけでした。

AWSメモ

AWSでプロキシ下でSSHログインするとき

ssh -o ProxyCommand='connect -H proxy.yours.com:8080 %h %p' -i 'path\to\MyKeyPair.pem' ex2-user@ipaddress

こういうエラーが出ますが、これは最初だけ出るそうです。

TheThe authenticity of host '' can't be established.
ECDSA key fingerprint is    SHA256:TER0dEslggzS/BROmiE/s70WqcYy6bk52fs+MLTIptM.
Are you sure you want to continue connecting (yes/no)?

D3 メモ

初歩的なメモ

ローカルでテストするとき サーバを立ち上げておく

js がhttp通信をするために必要。

開きたいindex.htmlのあるディレクトリで

$ python -m http.server 8000 --bind 127.0.0.1

とするとシンプルサーバが立ち上がります。

 http://127.0.0.1:8000/index.html

を開くとD3が使えます。


file:// でアクセスすると、エラーが出ます。

URL scheme must be "http" or "https" for CORS request.

Fetch APIを使っているからhttp通信が必要とのこと。

Google Search Consoleのカバレッジでfeedburnerがあるので消す

Google Consoleを見始めたのですが、

blog-post.html?utm_source=feedburner&utm_medium=feed&utm_campaign=Feed:+blogspot/WepfD+(以前のサイト名)&m=1

という変なのが「カバレッジ　インデックス登録されましたが、サイトマップに送信していません」の中にありました。

よく考えると、かなり前にfeedburnerというのに登録したのでした。

ということで、Boggerの

設定→その他→サイトフィード→フィード リダイレクト URL の登録

を削除しました。

https://help.shopstorm.com/article/300-how-to-disable-feedburner-for-your-blog
https://support.google.com/webmasters/forum/AAAA2Jdx3sUgQxotpq4sY8

フレイバーで公式オンラインショップが閉鎖していた件

昔利用していたシフォンケーキのお店の公式オンラインショップがマルウェアに感染して閉鎖したそうです。ランサムウェアでデータが復旧できなくなったんですかね。

"2019年2月に発生したマルウェア被害の影響によりお客様の情報を含む全てのシステムを消失するに至り"

だそうです。自分はポイントも何もなく、ずっと放置していたアカウントがあっただけなので特には問題ないんですが・・・。

と思ったら、ここのホームページはhttpでした・・・。

オンラインショップを独自でやっていたものの、今後は楽天とYahooでやるようですね〜。なかなか大変です。

世のサイトのクラウド環境などをメモする

aguse.jpでサーバを調べたりできます。



//labo.tv/2chnews/

www849.sakura.ne.jp

Gehirn Managed Certification Authority - RSA DV
組織名	Gehirn Inc.
部門名
所在地	Chiyoda-ku / Tokyo / JP

219.94.128.59


まとめサイト速報＋
135.120.212.49.static.www3607m.sakura.ne.jp


楽天市場　akamai
rakuten.co.jp

逆引きホスト名

a23-210-220-176.deploy.static.akamaitechnologies.com

nmap localhostでポートスキャン

ポートスキャンする

$ sudo apt-get install nmap

でnmapをインストールします。

$ nmap localhost

とすると、開いているポートが確認できます。その中で、

5000/tcp open  upnp

という表示が出ているのでポートが使用されていると確認できました。

$ nmap localhost
Starting Nmap 7.01 ( https://nmap.org ) at 2019-11-03 13:57 JST
Nmap scan report for localhost (127.0.0.1)
Host is up (0.000060s latency).
Not shown: 993 closed ports
PORT     STATE SERVICE
25/tcp   open  smtp
80/tcp   open  http
631/tcp  open  ipp
3306/tcp open  mysql
5000/tcp open  upnp
5432/tcp open  postgresql
8888/tcp open  sun-answerbook
Nmap done: 1 IP address (1 host up) scanned in 0.11 seconds

smtp, http, 

ipp はInternet Printing Protocol　でプリンタ用

upnpはUniversal Plug and Play

sun-answerbookはjupyter notebookなのですが、sun-answerbookに意味は特にないようです。

sudo netstat -antop | grep 8888

で調べると

tcp        0      0 127.0.0.1:8888          0.0.0.0:*               LISTEN      5035/python      off (0.00/0/0)
tcp        0      0 127.0.0.1:34432         127.0.0.1:8888          ESTABLISHED 27320/firefox    keepalive (11.99/0/0)

こういうのが出てきます。

https://q.hatena.ne.jp/1209620998

https://www.reddit.com/r/archlinux/comments/32zaiv/whats_sunanswerbook/

日誌 2019年11月

2019/11/03

bloggerを移転したのですが、検索での順位が下がってしまって、流入が減ってしまいました。これは再計算によってまた上がってくるのでしょうか。Googleの計算方法をあまり気にしていないのですが・・・。

2019/11/04

Chromeのブックマークを整理する方法を考えていたのですが、エクスポートの情報を見てみると、add dateというのがあるようです。これ順にならべておけばよいのかも。

2019/11/05

最近はAWSとRaspberryPiで遊んでいます・・・。世の中のオープンソースに助けられているなぁという実感がありますね。


2019/11/07

AWSで「すべて表示する」のリンクを踏むと・・・

構築の学習

ステップバイステップのガイド、ラボ、およびビデオを通じてソリューションをデプロイする方法を学びましょう。すべて表示する

「ご指定の条件に一致するコンテンツは見つかりませんでした。」と出る件。困ったことです。

2019/11/09

最近はアニメと勉強のコラボレーションがあったりするんでしょうか。K-POPアイドルのファンクラブに入ると韓国語を動画で教えてくれるとか・・・そういうのもあったりして。いいことかなーと思いますが。


2019/11/13

そろそろ、ubunntuをアップデートしておくか。

Ubuntu 16.04 LTSを使用している場合は（※1⁠）⁠，インストールの前にリポジトリのアップデートを行ってください。
※1
ほとんどいらっしゃらないでしょうが……。

と書かれていました。
https://gihyo.jp/admin/serial/01/ubuntu-recipe/0588?page=1


2019/11/19

anacondaが壊れてしまった、というかPythonだけを消したりしたので当然なんですけど・・・。venvの中で消しても本体に影響するのか・・・とここらへんがよく分かってないです。

2019/11/26

とあるパスワードが突然大文字も1文字以上使わないとだめ、とかになっていました。セキュリティ的には正しいんでしょうけど、面倒なことこの上ない。8文字だったら2**8だけ候補が増えるわけで、いいのかな。

興味深いリンクを保存しておく

Cirroteuthid Octopus Billows Like a Circus Tent | Nautilus Live

https://www.youtube.com/watch?v=lbHjs9A7sis

タコの動画

全ての中国人が１メートルの高さから飛び降りたらその震度でアメリカまで津波が起きて大被害が起きると聞いた事があるのだけど如何なもんでしょう？

https://jp.quora.com/%E5%85%A8%E3%81%A6%E3%81%AE%E4%B8%AD%E5%9B%BD%E4%BA%BA%E3%81%8C%EF%BC%91%E3%83%A1%E3%83%BC%E3%83%88%E3%83%AB%E3%81%AE%E9%AB%98%E3%81%95%E3%81%8B%E3%82%89%E9%A3%9B%E3%81%B3%E9%99%8D%E3%82%8A%E3%81%9F%E3%82%89

Read, Attend and Comment: A Deep Architecture for Automatic News Comment Generation

Ze Yang, Can Xu, Wei Wu, Zhoujun Li

https://arxiv.org/abs/1909.11974

A.Ngのメールに書いてあった論文。フェイクコメントを自在に作れるようになってしまう？

株式会社ビヨンド

https://beyondjapan.com/blog/

サーバ導入、運用