Translate

SEO対策最初の設定 - robots.txt

-

SEO対策最初の設定 - robots.txt


robots.txt とは
 クローラーと呼ばれる、サイトの巡回してインデックス登録してくれる機能に対して、クロールされるサイトの巡回して良い場所、ダメな場所等を通知してあげる為の設定みたいなもの。

　要約すると：検索エンジンに載せて良いサイト、載せてはいけないサイトを定義する事。

　※クローラーによっては、これを無視してクロール、インデックス登録してくるものもあるので注意が必要

一番最初にする設定

User-agent: *
Disallow:

User-agentは対象とするクローラの事。
例えば日本だと、Google、Bingが有名。

Disallowは、サイトのディレクトリ（URL)を指定します。


例

User-agent: *
Disallow:/example/


こうすると、http://anysite というサイトがあったとして・・・

User-agent:* 　　　　全てのクローラーは
Disallow:/example/   http://anysite/example へのアクセスは許可しない

というような解釈となる。
（逆に言うと、http://anysite/exmaple 以外は全てインデックスして良い　となる）

が、行儀の良いクローラーには有効だけれども、行儀の悪いクローラーはそもそもrobots.txtの定義など関係なくスクレイピングして、インデックス登録するものもあるので、SEO対策的な意味で使うのが良い。


少し、スクレイピングについて書いたけれど、そもそも昨今、違法コピーが横行して、サイトにサイトにバンバン上がっているコンテンツは、この悪意を持ったスクレいピンによるものが多い。


実際、無法にスクレイピングするサイトには意味が無いのだけれども、意思表示的な設定はあるので、機会があれば、そっちも取り上げたいと思う。



このブログの人気の投稿

VBAのADOで「パラメーターが少なすぎます。xを指定してください。」と表示された場合の原因

-
イメージ
ADODBで「パラメーターが少なすぎます。xを指定してください。」が表示される原因。 ADODB.ParameterとADODB.CommandのParameterで更新する時に出る。 .NET系のプログラマーは、データベース更新系のCommandと同じノリでやってしまうのだけれども、VBAの場合、些細なミスで頻繁に「パラメーターが少なすぎます。xを指定してください。」みたいなエラーが表示される。 主な原因は.... SQLの誤り バインド変数の数がSQLで指定しているパラメーターより実際に相違している。 Parameterに追加する際のデータ型が相違している。 エラーの内容と推測しにくいのが、3番目のParameterに追加する際のデータ型が相違しているの分だ。 エラー内容的には、SQLのバインド変数のパラメーター名が誤っているとか、パラメーターの数がズレてしまったとかを内容的には探すのだけれども、どれも問題が無い場合、3番目のデータ型が要注意だ。 しかもやっかいな事に、デバッグで2回実行すると何故か成功する等、振る舞いが不安定なので、余計原因を抑えるのに混乱する。 例えば、ACCESSのデータ型は、大きい数値、数値みたいなデータ型があって、とりあえず、何でもまかなえそうな[BigInt]を指定したりしていると、このエラーが表示される。 Set sql_prm = sql_cmd.CreateParameter("項目名", adBigInt, adParamInput) sql_cmd.Parameters.Append sql_prm アクセスのデータ型で数値は、Numericになるので要注意。 Set sql_prm = sql_cmd.CreateParameter("項目名", adNumeric , adParamInput) sql_cmd.Parameters.Append sql_prm このエラーに遭遇している人で解決が上手くいっていない人は、大抵の場合、エラー内容
続きを読む

ACCESSでバーコードスキャンしたら自動でイベントを起こす方法

-
イメージ
ACCESSでバーコードスキャンをしたら自動でデータベースの登録や検索を行う方法 前回紹介したマクロに、追加する形で紹介しています。 前回：ACCESSでバーコードをスキャンして登録更新する簡単なサンプル バーコードリーダーの機能をまずは確認。 最近のバーコードリーダは、スキャンをした後に＜TAB＞ボタンのコードを自動で送信してくれるものが殆どですが、高機能なバーコードリーダ程、スキャン後の動作を細かく設定出来るが為、初期はスキャン後に追加のアクションがされていない物がある。 バーコードリーダの設定で、スキャン後に＜TAB＞ボタンや＜Enter＞ボタンのコードを細かく設定できる場合はこれを設定しておく。 バーコードスキャン後に＜TAB＞キーが送信される設定例 、入力ボックス側のイベントの[LostFocus]（画像の箇所）に、ボタンを押した時の処理に飛ばすコードを埋め込むだけで、バーコードスキャン後に、自動で処理を行う事が出来ます。 Private Sub Bar1_LostFocus()                  Call Button1_Click End Sub
続きを読む

PostgreSQL 11 でpg_dumpallを使ってバックアップしたデータをリストアするとき文字化けの対処法

-
イメージ
PostgreSQL11でリストア時の文字化けの対処法 pg_dumallの時だけかは分からないけれど、psqlコマンドでリストアすると、文字化けする時がある。（Windowsで実行時） postgresql\data\postgresql.confを修正して、PostgreSQLを再起動すると、文字化けしなくなった。 postgresql.confの lc_messages = 'Japanese_Japan.932' となっている箇所を lc_messages =  'en_US' とすると、文字化けしなくなった。 postgresql 11の64ビット版再起動時のコマンド。 管理者権限で実行する必要がある。 net stop postgresql-x64-11 net start postgresql-x64-11 実行後 文字化けしなくなった。 出てたエラーは、既にオブジェクトが存在しているエラーだけだったなんてオチだったけれど。
続きを読む

ACCESSのVBAを実行するとACCESSが強制終了する事がある

-
イメージ
ACCESSのVBAを実行すると、ACCESSが強制終了する事がある ACCESSのVBAを実行すると強制終了 DoCmd.OpenQuery を疑え ACCESSのVBAを実行するといくつかACCESS自体が突然強制終了する事がある。 基本的にエラーがあれば、デバッグするか、終了するかを確認するダイアログが表示される筈だが、中にはエラーも表示されず、ACCESS自体が突然強制終了する事があるケースについて確認個所を紹介。 ACCESSが強制終了する事があるVBAのマクロの組み方は、Win APIを利用する時など起こりやすいけれど、中には、複雑なVBAのコードを組んでいないにも関わらずエラーも出ず、音も無く強制終了するパターンがある。 まずは、その個所は大抵の場合 DoCmd.OpenQuery で、ACCESSに作成しているクエリーを実行する時である場合がある為、そこにブレークポイントを張って、強制終了している箇所がそこであるか確認を行う。 強制終了している箇所が、　 DoCmd.OpenQuery 　だった場合は、クエリーの中身を確認する。 ACCESSのクエリーも、EXCELみたいな関数が使えるのだが、特に InStrRev関数とMID関数を使っている 場合に起きやすい。 もしも、InStrRev関数の検索文字に記号のような物を利用している場合には(㈱、№　等の環境依存文字）、これを違うものに変更してみて実行してみよう もう一つは、InStrRev関数とMID関数の組み合わせで、InStrRev関数で検索した文字位置から、 MID関数で指定した文字だけ取得するような計算ロジックを入れたりしている場合 、InStrRevで検索対象にヒットしない、つまり 成立しない偽のデータが存在していないか確認 しよう。 その場合、クエリー側を修正するか、データ側を修正すると改善する場合がある。 こういった場合は、 大抵の場合、クエリーの設計に問題があると考えるのが適切なので、そもそも成立せず、関数エラーになるような組み方を改善させる と、ACCESSの強制終了が無くなる場合がある。
続きを読む

VBSでマクロの実行時に警告を非表示にする方法

-
イメージ
マクロ付きExcelファイルを実行する際に、VBScriptで警告を抑制する方法 VBScriptでマクロ付きExcelファイルを起動する際に、マクロの実行警告を表示させないコード 下図のようなメッセージだけ表示するマクロ付きExcelファイルがあるとする。 何の害も無いこのマクロ付きExcelファイルのxlsmファイルを開こうとした場合でも、警告が表示される。 このファイルを開こうとすると・・・ マクロ付きExcelファイルを実行する為の警告メッセージで、「セキュリティの警告：マクロが無効にされました。」と表示され、【コンテンツの有効化】ボタンを押さなければ、マクロが実行出来ない状態となる。 確実にそのファイルが安全だと分かっており、頻繁に開くファイルであった場合には、いちいちボタンを押下する作業が煩わしくなる。 また、マクロ付きExcelファイルである、xslmファイルを自動実行するバッチ処理であったりする場合等は、人がこのボタンを押さないといけない状態だと、無人での自動化の妨げとなる。 このメッセージを抑制、非表示とし、VBScriptで実行する場合は、下記のようなコードで実現できる。 仮に、AutoMacro.vbsとして保存 Dim objExcel Dim objBook Set objExcel = CreateObject("Excel.Application") 'イベント抑制 objExcel.EnableEvents = False set objBook = objExcel.Workbooks.Open("P:\OneDrive\Download\test\testbook.xlsm")) objBook.Close() objExcel.Quit() Set objBook = Nothing Set objExcel = Nothing 共有フォルダーからコピーしてきたファイルは、あらかじめファイルのプロパティで、セキュリティに別途チェックを入れておく必要がある事をお忘れなく。
続きを読む

ACCESSでバーコードをスキャンして登録更新する簡単なサンプル

-
イメージ
ACCESSでバーコード値等をスキャンや入力して、テーブルに登録、検索、更新する方法。 テーブルの内容 Bar = バーコード値等 FillingDate = スキャンした日付 (登録ボタンを押した日付) フォーム テーブルのBar値に登録が無い場合、フォームに入力された値と、今日の日付を登録 フォームに入力された値を、テーブルのFillingDateから検索し、登録された日付を表示 フォームに入力された値を、テーブルのFillingDateから検索し、FillingDateにボタンが押された日付で更新 ソース aOption Compare Database '① Start ------------------------------------------------------------------- Private Sub Button1_Click()     If Bar1.Value = "" Or IsNull(Bar1.Value) Then         MsgBox "入力してください。"         Exit Sub     End If     Dim sql_con As New ADODB.Connection     Dim sql_rs As New ADODB.Recordset     Dim sql_cmd As New ADODB.Command     Dim sql_prm As New ADODB.Parameter               Set sql_con = CurrentProject.Connection     '既存チェック     Dim sql As String          sql = ""     sql = "SELECT COUNT(*) FROM [Data] WHERE Bar = :Bar1"     sql_cmd.CommandText = sql     Set sql_prm = sql_cmd.CreateParamete
続きを読む

ACCESSのVBAでADOを利用したバインド変数を利用したデータベース連携方法

-
イメージ
ACCESSのVBAでバインド変数の利用方法 | 備忘録 今のACCESSのADOは、.NETとほぼほぼ手順が同じ。 参照設定は、[ Microsoft ActiveX Data Objects 6.1 Library ] 色々な言語をやると、久しぶりにACCESSで、しかもレガシーなVB6系であるVBAをやると、色々忘却している。 今回は、バリバリVBAをメインに使ったシステムを作るので、ADOでバインド変数を利用したデータベース連携のサンプルを載せてみる。 データ取得の例 Dim sql_con As New ADODB.Connection Dim sql_rs As New ADODB.Recordset Dim sql_cmd As New ADODB.Command Dim sql_prm As New ADODB.Parameter Set sql_con = CurrentProject.Connection 'sql_con.Open Dim rs As Object sql_cmd.ActiveConnection = sql_con sql_cmd.CommandText = "select * from test where test = ?" Set sql_prm = sql_cmd.CreateParameter("test", adBSTR, adParamInput) sql_cmd.Parameters.Append sql_prm sql_cmd.Parameters("test").Value = "aa" Set sql_rs = sql_cmd.Execute MsgBox sql_rs.Fields(1) データ取得もデータ挿入も全く同じ。 ’ Ins
続きを読む

pgAdmin 4が遅いのは仕方がない | PostgreSQL things.

-
イメージ
pgAdmin 4が遅いのは仕方がない | PostgreSQL things. PostgreSQL 4 が登場してから、管理ツールも維新され、WEBツール化された。 これによって、色々なOSに同じ操作性の管理ツールをインストール出来るようになった。 （pgAdmin はSQL Serverで言うところの、SQL Server Management System:通称SSMSと同じ） 操作性は若干落ちた気がする。 仕方がない、WEBブラウザー特有の癖があるから(´；ω；｀)ﾌﾞﾜｯ よく考えたら、Oracleもいつの間にかWEBかされているが、MicrosoftのSQL SERVERは、WEB化されていない。 アプリケーション型の管理ツールだ。 Windows限定になっているが、簡単に操作、管理出来るのはSQL Serverが無敵なレベルだと思う。 結局の所、スマートフォンもそうだけれども、WEBよりも、アプリケーションタイプのツールの方が、便利で、快適に目的を果たせるツールなのかもしれないな。 WEBの終焉がいづれは来る。　 そんな事が時々呟かれるけれども、WEBが成熟しすぎて、オープンな環境じゃなくなってきたから、そんな日が遠くも無い気もする。 ただ、WEB API ＋ アプリケーションのような形になっていくでは無いかなとは、そんな気はする。 そうなると、マイクロソフトが取った形は完成形なのかもしれない。 UWP（Universal Windows Platform）。 全てのアプリ（Windows, Android, iPhone)　＋ WEB APIの形で開発。
続きを読む

ACCESSのVBAでリストビュー(ListView)を使う為の設定 | Office365

-
イメージ
ACCESSでListView(リストビュー)コントロールを使う   標準のコントロールにはListView（リストビュー）は無い ACCESSでフォームをデザインする場合には、リストビュー（ListView)に変わる、表型のフォームをサブフォームとして使うことで賄えてしまう為、わざわざListViewを利用する機会も少ないのだけれども、ListViewでデザインする必要がある場合には、最初にコントロールの参照設定が必要である。 ACCESSのリボン.コントロールから、上図のようなボタンを押下する。 ACTIVEXコントロールを選択する。 参照設定から[Microsoft ListView Control, version 6.0]を選択すると、フォームのデザイン画面にコントロールが貼り付けされる。 VBAでリストビューを使う時は、注意が必要だ。 インテリセンスを使ってコーディングをする時代だが、捨て去られるVBA(VB6系）プログラムのリストビューは、インテリセンスに候補が表示されないメソッドが殆どだ。 コードのサンプル       With Me!ListView                  .ColumnHeaders.Clear         .ListItems.Clear         .View = lvwReport         .FullRowSelect = True         .GridLines = True                                    With .ColumnHeaders             .Add , , "商品コード"             .Add , , "商品名"             .Add , , "在庫数"         End With              .ColumnHeaders(2).Width = 3000          Dim itm As ListItem          Set itm = ListView.ListItems.Add(, , "1000000")     it
続きを読む

ASP.NETのでクライアント証明書を使ったログイン認証を行う方法

-
イメージ
C#言語のASP.NETのでクライアント証明書を使ったログイン認証を行う方法 クライアント証明書認証とは WEBシステムを構築する際に、最初に直面する問題のログイン画面。 クライアント証明書を発行する仕組みについては、別の機会に紹介したいと思う。 C#でクライアント証明書を発行する方法はここをクリック WEBシステムのログイン画面は、一般的なアプリケーションのログイン画面と違い、ユーザーがWEBブラウザにURLを直接入力すると、全ての機能にアクセス出来てしまう為、最初に作成するログイン画面のログイン情報を持ち回り、検証し、アクセスを受け入れるか拒否するか等コントロールを行う為、アプリケーションとは異なりとても重要な機能。 今回はそのなかでも、通所のIDやパスワード、2段階認証とは違った、クライアント証明書認証型のログインをコントロールする方法についての紹介。 個人的には、アプリケーション構築をする事が多い為、WEB系のシステム開発に携わる機会は少ない方なのだけれども、久々に触ったら、.NetFramework、.NET COREと大きく分かれていて、アプリケーションサイドでも、WPFのMVVM型や、いつもの三層モデルに、UWPやら、ますます開発手法の多様化が進み、一体どれを選択するのが正解なのか、ベンダー側の宣伝文句だけに振り回されず選択するのが非常に困難になってきた。 今回紹介するやり方は、Framework4.7をチョイスしてみた。 >.NetFramework4.7は、MVCも混在させる事が容易で、WEBFormを選択時でも、URLに.ASPXと付かないなど、より現代のWEBに最適なWEBシステムの構築が可能で、検索エンジンに最適化したい場合はMVC、WEBシステムに特化した機能を作りたい場合は、システム構築の工数を大幅に削減できるWEBFormを使うと言った事が容易で、とても便利であったからだ。 話を戻して、クライアント証明書を簡単に説明すると、WEBページにアクセスする為に、入館証のようなIDカードを必要とする認証機能の事である。 利用者がWEBページにアクセスすると、WEBサーバー側がクライアント証明書を、利用者側に求めてきて、具体的には、下のような、端末にイン
続きを読む