The Movie DB（TMDb）のAPI V3への接続がTLS1.2必須になったのでMovieJukeBoxを対応

TMDbからスクレイピングしていたら突如

登録:失敗： EX.Message:要求は中止されました: SSL/TLS のセキュリティで保護されているチャネルを作成できませんでした

となりました。

いよいよというか、私の対応遅れなので突如という表現は誤りですね。

MovieJukeBoxはASP.NET（VB）のWebアプリで、.NET Frameworkのバージョンは4.0を対象にしていました。（2014年に作成したアプリのため）

TLS1.2対応をググって次のサイトを参考に修正しました。

WPFアプリ(.NET frameworkアプリ)でhttps(TLS1.1/TLS1.2)通信をする – nishy software (ja)
https://nishy-software.com/ja/dev-sw/wpf-app-net-https-tls/

上記によるとTLS1.2を利用した通信には.NET Framework4.5以上が必要で、かつ明示的にTLSのバージョンを指定する必要があるとのこと。


そこで 

  1. Webアプリのターゲットフレームワークを.NET Framework4.6.1に変更


  2. WebClientインスタンス作成前に「Net.ServicePointManager.SecurityProtocol = Net.SecurityProtocolType.Tls12」で明示的にTLS1.2を指定する




の2点の改修を実施。

修正したソースは以下の4点
  • DetailForm8.aspx.vb
  • TMDbUpdateBatch.aspx.vb
  • TMDbPersonImageUpdateBatch.aspx.vb
  • PersonMovie.aspx.vb

スクレイピングできるようになりました。








後書き

最近めっきりプログラミングから遠のいてしまい、勘所や自分が作成したコードもすぐに読
めないという状況に焦りました。
普段から取り組んでいないないとすぐに鈍ってしまう・・・
すべてはこのブログのタイトルのとおり「湯の如し」だと思うところです。











コメント

コメントを投稿

このブログの人気の投稿

ダブルクォーテーションで括られたCSVカ​ンマ区切りテキストファイルを SQL Server で Bulk Insert する方法

イメージ
  ダブルクォーテーションで括られたCSVファイルなんて使うのかよ？と私は疑問符なんだけれど、そういうファイルを吐き出すシステムもあるらしいのでメモ。 区切り文字にカンマ[,]を使用しちゃって、データにカンマ[,]が含まれちゃってるから、ダブルクォーテーションで括るしかないんだって。タブで区切ればいいと思うんだけどね。データにタブって普通入らないでしょ。データにダブルクォーテーションが入っててもNGだし。   ポイント 最初の区切り文字を、"にする 最初の列は切り捨てる 2番目以降の区切り文字を","にする 最後の区切り文字を"\r\nにする "はエスケープが必要なので"\になる。 区切り文字は""で囲む インポートする CSVファイルの文字コードは ANSIにしておく。インポートする文字コードがUNICODEだとインポートできない。 ※設定誤りでインポートできていない可能性もあるので、インポートできるかもしれない。 フォーマットファイルの文字コードは ANSI でなければいけない。UNICODEだと「XML の解析: 行 2、文字 0。ドキュメントの構文が正しくありません。」エラーになる。 フォーマットファイルの最終後は改行が必要。改行なしだと「一括読み込みできません。ファイル "C:\Users\****\Desktop\MovieStars.fmt" が不完全か、読み取れませんでした。オペレーティング システム エラー コード (null)。」となる。  
Read more »

PowerShellでTSV／CSVの列を絞り込んで抽出し、（先頭／行末）からＮ行出力する

イメージ
目的 何十万行のCSVやTSVをPowerBI DesktopやSQL Server SSISで読み込むのですが、不要な列があったり、データ量が多いので、開発時はデータを少なくしたい。 Windows標準機能で実施したい。 やること ２つにわけて記載 Powershellで（TSV／CSV）ファイル（S-JIS）から必要な列のみを取り出して、（先頭／末尾）からN行とりだして、別な（TSV／CSV）ファイルへ出力 1について以下を実装 抽出するカラム指定をパラメータ化 区切り文字をパラメータ化 （先頭／末尾）とN行をパラメータ化 対象ファイルをスクリプトへドラッグドロップで実行 対象ファイルと同一フォルダ内へファイル名の末尾に「_Result」を追記して保存） 処理対象ファイル 今回のサンプルはTSVファイルは下図のような9列。 PersonID、adult name、profile_path、biography、homepage、birthday、deathday、place_of_birth サンプル１の基本処理内容 1行目 import-csvで読み込む -Encoding Default でS-JIS指定 -Delimiter "`t"　で区切り文字としてタブを指定 -header @(1..9)　でTSVのヘッダーとして1,2,3・・・,8,9を追加 select "1","3"　で列名（4で追加）が1、３を抽出 export-csv　で「TMDbPersons_Select.txt」に出力 2行目 get-content　で1で作成したTSVを参照 -totalcount　で先頭から10行抽出 select -skip 2　で先頭から2行をスキップ foreach {$_.Replace('"','')}　で「"」を削除 out-file　で「TMDbPersons_Result.txt」に出力 サンプル１（列位置で指定する） import-csv C:\Users\aaat\Desktop\TMDbPersons.txt -Encoding Default -Delimiter "`t" -header @(1..9
続きを読む

IKEAの鏡を壁に取り付ける

イメージ
IKEAの壁掛け鏡 LINDBYN リンドビーンミラーをなるべく壁に傷を残さないように取り付けました。 IKEAの鏡は下記です。 商品番号 904.937.00 重さ4.72kg 税込3,999円 LINDBYN リンドビーン ミラー, ホワイト, 40x130 cm – IKEA   取り付けには壁美人を使用します。 壁側金具「6K」 2枚セット ホワイト / 壁美人.net ホッチキスで壁収納を実現する『壁美人』専門店 (kabebijin.net) 過去に壁美人を使ってホワイトボードを壁に掛けました。 娘の部屋＆おれの部屋に壁掛けホワイトボードを設置しMicrofost Lens ＋ OneDrive で運用してみる。 (yunogotoshi.blogspot.com) IKEA店舗（立川店）では安全のためか、微動だにせずがっちり壁に固定された状態で取り付けられていたため、またWebでも裏面の写真が掲載されていないため、フックをかける部分の大きさ、形状がわからず、購入に躊躇しました。店員さんにお願いして外してもらい、裏面を確認すると、壁美人のフックにかかりそう。そこで購入。 鏡裏面のフック形状はは下図となります。 壁にビスを刺してそこへ引っ掛け、微調整ることを想定しているのか、階段状になっています。 いつものように壁美人をホッチキスで壁に取り付けます。 今回は二つ使います。メーカー仕様によると、静止耐荷重は一つで最大6kgなので12kgの静止耐荷重となります。鏡が4.72kgなので余裕でしょう。フックの間隔は中心点で335mmとなります。 フックとなる壁美人は鏡で見えなくなりますが、化粧カバーを取り付けました。 こんな感じです。 壁美人のフックに引っ掛けるため、上部が少し浮くので、中央部と下部にスペーサーを貼り付けました。 このスペーサーの裏面はテープになっているので取り付けが簡単です。Amazonなどでクッションテープで検索すると出てくるでしょう。 ※私が使用しているのはホームセンターで購入したもので、巻取り型のタイプではありません。 スペーサーを貼ることで、やや傾斜も出ることから、足を長く見せることも可能かもしれません・・・ 取り付けた上部です。 中部から下部です。上部よりやや浮いているので、傾
続きを読む